针对强人工智能安全风险的技术应对策略

作     者：刘宇擎 张玉槐 段沛奇 施柏鑫 余肇飞 黄铁军 高文 Liu Yuqing;Zhang Yuhuai;Duan Peiqi;Shi Boxin;Yu Zhaofei;Huang Tiejun;Gao Wen

作者机构：北京大学计算机科学技术系北京100871 

出 版 物：《中国工程科学》 (Strategic Study of CAE)

年 卷 期：2021年第23卷第3期

页      面：75-81页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：中国工程院咨询项目“新一代人工智能安全与自主可控发展战略研究”(2019-ZD-01) 

主　　题：强人工智能 安全风险 风险评估 应对策略 

摘      要：未来进入强人工智能(AGI)时代,人类可能面临重大安全风险。本文归纳了AGI与传统人工智能的区别,从模型的不可解释性、算法及硬件的不可靠性、自主意识的不可控性三方面研判了AGI安全风险的来源,从能力、动机、行为3个维度提出了针对AGI的安全风险评估体系。为应对安全风险,从理论及技术研究、应用两个层面分别探讨相应风险的防御策略:在理论技术研究阶段,完善理论基础验证,实现模型可解释性,严格限制AGI底层价值取向,促进技术标准化;在应用阶段,预防人为造成的安全问题,对AGI进行动机选择,为AGI赋予人类价值观。此外,建议加强国际合作,培养强AI研究人才,为迎接未知的强AI时代做好充分准备。