人工智能技术飞速发展,在各行各业的应用日益广泛,随之而来的安全风险与挑战也引起了社会各界的广泛关注。为了推动人工智能安全技术的发展,构建更加安全、可靠的人工智能生态体系,5月9日在成都举办的“通信行业‘数据要素x’数据安全应用创新研讨会”上,中国联通牵头发布了《人工智能内生安全白皮书(2024)》(以下简称“白皮书”),该白皮书编写过程中得到国家计算机网络应急技术处理协调中心、中国软件评测中心、中国信通院等行业机构和华为、百度网讯等领先企业的大力支持,标志着我国在AI安全领域迈出了坚实的一步,对于引导和规范AI安全技术的发展具有重要意义。
白皮书以建立安全、可靠、可控的人工智能系统为目标,围绕人工智能内生安全,重点介绍了人工智能自身与应用安全风险,提出了人工智能内生安全体系,明确了人工智能内生安全要求和目标,归纳了监督与管理体系、技术体系的建设要点。在人工智能内生安全体系下,本白皮书从 AI 基础设施、数据、模型、应用服务以及监管等多个维度提供了解决方案和治理措施,并提出人工智能内生安全发展建议,推动我国人工智能技术健康发展。
《人工智能内生安全白皮书(2024)》的发布,不仅标志着中国联通在AI安全领域的深入研究成果和行业领导地位,也体现了中国在推动全球AI安全发展中的积极作用。白皮书的发布,将有助于提升公众对AI安全重要性的认识,促进行业内的交流与合作,共同推进AI内生安全技术的研究与应用,为人工智能的健康发展提供坚实的安全保障。
好文章,需要你的鼓励
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
麻省理工学院研究发现过度依赖AI会导致认知债务,削弱基本思维能力。研究表明交替进行无辅助思考和AI支持工作的模式能保持认知敏锐度。这种认知高强度间歇训练模仿体能训练中的HIIT模式,通过短时间高强度思考与恢复期交替进行,可以强化大脑神经回路,防止认知衰退,提升独立思考能力。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。