人工智能专题：2025先进人工智能安全性评估国际科学报告中期报告 （英文

今天分享的是：人工智能专题：2024先进人工智能安全性评估国际科学报告中期报告 （英文版）

报告共计：132页

《先进人工智能安全国际科学报告：中期报告》由75位人工智能专家共同撰写，旨在为先进人工智能安全提供科学依据。报告聚焦通用人工智能，探讨其能力、风险、评估方法及风险缓解技术，强调未来发展的不确定性，呼吁社会和政府积极应对风险 。

1. 通用人工智能的能力

- 能力获取方式：通过计算密集型的预训练、人力密集型的微调等阶段获得能力，依赖深度学习和Transformer架构，利用大量数据和计算资源进行训练。

- 现有能力：能辅助编程、进行流畅对话、解决数学和科学问题等，但在执行有用的机器人任务、避免虚假陈述、开发全新复杂想法等方面存在局限。

- 近期能力发展趋势：计算资源、训练数据集规模和算法效率等不断提升，推动能力快速发展，在部分基准测试中接近或超越人类水平，但与人类能力相比仍有差异。

- 未来能力发展预测：专家对未来发展速度存在分歧，继续扩大资源和改进算法可能促进发展，但也面临数据和计算资源瓶颈。

2. 评估通用人工智能系统的方法

- 评估目的：确定模型能力和局限性，评估社会影响和下游风险。

- 评估方法：包括案例研究、基准测试、红队测试和对抗攻击、审计等，但这些方法都存在一定局限性，难以全面准确评估模型。

- 模型透明度和解释性：研究模型内部机制有助于理解模型行为，但目前技术仍处于初期，难以提供准确解释和保证。

- 研究挑战：通用人工智能系统复杂，评估困难，缺乏统一评估标准和方法，难以评估下游社会影响。

3. 通用人工智能的风险

- 恶意使用风险：包括通过虚假内容伤害个人、传播虚假信息和操纵舆论、用于网络攻击和双重用途科学风险等。

- 故障风险：产品功能问题可能导致不切实际的期望和过度依赖；存在偏见和代表性不足问题，影响公平性；可能出现失控场景，尽管目前可能性较小，但未来发展存在不确定性。

- 系统性风险：可能对劳动力市场产生重大影响，导致就业结构变化和不平等加剧；存在全球人工智能发展差距，影响公平性；市场集中和单一故障点可能引发系统性问题；对环境和隐私也存在潜在风险，如能源消耗和数据泄露等。

- 跨领域风险因素：技术上，系统应用广泛难以测试，开发者对其内部运作了解有限；社会层面，开发者激励不足，监管难以跟上技术发展速度。

展开全文

4. 减轻风险的技术方法

- 风险管理和安全工程：开发和激励系统的风险管理实践困难，可采用分层防御策略，结合多种风险缓解措施。

- 训练更可靠的模型：在使模型行为符合开发者意图、减少幻觉、提高鲁棒性和去除危险能力等方面取得了一定进展，但仍面临挑战。

- 监测和干预：开发了多种监测和干预技术，如检测人工智能生成内容、异常和攻击，但这些技术并不完善。

- 公平性和代表性：通用人工智能系统可能存在偏见，减轻偏见需在系统开发和部署的各个阶段进行，但实现公平性面临诸多挑战。

- 隐私保护方法：虽然有一些隐私保护技术，但现有工具难以扩展到大型通用人工智能模型，无法为用户提供有效控制。

以下为报告节选内容