YOCSEF广州举办“AGI初现曙光:安全进化的路径与抉择”技术论坛

科创时讯 2024年8月15日,媒体爆出马斯克旗下x-AI公司的大语言模型Grok存在严重的数据泄露和模型滥用问题,迅速引发了全球对AI安全的高度警觉。这一事件再次敲响警钟,AGI的自适应性和多功能性,虽然为技术进步带来了巨大潜力,但也带来了数据隐私泄露、恶意攻击等严峻挑战。为此,中国计算机学会(CCF)青年计算机科技论坛(YOCSEF)广州分论坛于2024年12月7日举办了“AGI初现曙光:安全进化的路径与抉择”技术论坛。论坛聚焦AGI安全的挑战与应对策略,探索技术发展与安全防护如何协同进化,实现创新与安全的平衡。

本次论坛由CCF主办,YOCSEF广州学术委员会、广东外语外贸大学信息科学与技术学院(网络空间安全学院)、广州大学网络空间安全学院以及《网络空间安全科学学报》联合承办,由CCF YOCSEF广州学术秘书姜思羽(广东外语外贸大学)和YOCSEF广州副主席苏申(广州大学)共同担任执行主席,并得到了杭州安恒信息技术股份有限公司的支持。论坛邀请了广州大学教授齐佳音、中山大学教授卢伟、华南理工大学教授杨晓伟、哈尔滨工业大学(深圳)教授花忠云作为引导发言嘉宾,中山大学副教授毛明志、西安电子科技大学(广州)副教授赵搏文、奇安信科技集团股份有限公司专家李吉祥、杭州安恒信息技术股份有限公司副总裁符春辉作为思辨嘉宾。广东外语外贸大学院长王常吉,广东外语外贸大学副院长李霞,广东外语外贸大学副院长王连喜,YOCSEF广州往届主席谭台哲(广东工业大学)、黄栋(华南农业大学),优秀AC刘雷(广东科技报社),现任主席李冠彬(中山大学),现任副主席黄培涛(广州唐邦信息科技有限公司),现任AC朱鉴(广东工业大学)、胡建芳(中山大学)、李雯霖(广东财经大学)、吴国凯(荔峰科技),YOCSEF哈尔滨现任主席李洋,YOCSEF福州现任副主席尤玮婧(福建师范大学),珠澳青年工作组陈建国(中山大学)、应作斌(澳门城市大学)、张凯歌(深信服科技股份有限公司),CCF粤港澳大湾区办事处(筹)蓝维维,以及郭建军(仲恺农业工程学院)、李宇翔(头歌平台)、吴贺丰(中山大学)、张菁菁(广东外语外贸大学)、彭丽超(广州唐邦信息科技有限公司)、王甜甜(广东朝元信息科技有限公司)等来自多所高校及多家企业事业单位的代表共50多人参加本次论坛。

论坛首先由论坛执行主席姜思羽介绍论坛背景等相关情况。广东外语外贸大学信息科学与技术学院(网络空间安全学院)王常吉院长代表承办单位致辞。王常吉院长首先对线下与线上的参会嘉宾表示由衷欢迎,对广东外语外贸大学信息科学与技术学院(网络空间安全学院)的基本情况以及学科建设等领域的特色研究工作进行了介绍,期待论坛围绕“AGI初现曙光:安全进化的路径与抉择”进行深入思辨,并预祝论坛取得圆满成功。

打开网易新闻 查看更多图片
29315b6cc7251568e891435877197e0

论坛执行主席姜思羽介绍论坛背景等情况

由《网络空间安全科学学报》编委会副主任、中国科学技术大学网络空间安全学院执行院长、教育部高等学校网络空间安全专业教指委副主任俞能海教授代表《网络空间安全科学学报》致辞,对出席活动的嘉宾表示感谢和欢迎。指出论坛围绕 AGI 技术安全挑战与应对策略展开,推动学术界与产业界合作,为 AGI 安全发展提供支撑参考,介绍了《网络空间安全科学学报》,期待更多专家支持。最后预祝论坛成功,期待各方推动 AGI 安全健康发展。

打开网易新闻 查看更多图片
07be4da4e634fec5b206dd20d1de4a1

王常吉院长致辞

打开网易新闻 查看更多图片
IMG_256

俞能海教授致辞

由CCF YOCSEF现任主席李冠彬对YOCSEF文化进行介绍,最后预祝本次论坛圆满成功。李冠彬介绍本次论坛所设立的环境背景,讨论的主要内容的同时也说明了YOCSEF的含义、理念、分论坛、YOCSEF广州的特色文化、思辨论坛的平等性,自由性及发言规则,最后对支持单位表达了感谢。

打开网易新闻 查看更多图片
c29ec93d01b20cb60d4dbd3f7e5aa42

CCF YOCSEF现任主席李冠彬介绍YOCSEF文化

广州大学齐佳音教授以“大模型保险箍:大模型防护栏的一种模式”为题作引导报告,概述大模型安全合规的风险与挑战,详细介绍了大模型保险箍的设想与实践,并表达了对大模型多语言安全问题的思考。中山大学卢伟教授以“人工智能生成媒体的被动取证和主动防御 ”为题作引导报告,分享了在单模态和多模态智能媒体检测及主动防御成果,介绍了制定智能媒体检测的技术规范与行业应用情况。华南理工大学杨晓伟教授以“可解释跨域迁移学习算法初探--从统计学习理论的基本假设说起 ”为题作引导报告,概述了领域自适应问题的来源与关键,详细介绍了领域自适应的误差界估计、建模和算法设计的最新进展。哈尔滨工业大学(深圳)花忠云教授以“IBD-PSC: 基于参数缩放一致性的输入级后门检测”作引导报告,分享了一项针对深度神经网络中后门攻击的防御工作,具有实际应用价值,并指出了未来在其他任务和模态上可以进一步探索。

打开网易新闻 查看更多图片
07b8bc5108def4d797d2c8634aae75b

齐佳音教授作引导报告

打开网易新闻 查看更多图片
IMG_256

卢伟教授作引导报告

打开网易新闻 查看更多图片
71f2d17e4517af7088b883f8b2293a3

杨晓伟教授作引导报告

打开网易新闻 查看更多图片
4c9182bd65faa36a7987a7fa9ba767d

花忠云教授作引导报告

在四位引导发言嘉宾作报告后,由论坛执行主席姜思羽、苏申主持论坛思辨环节。思辨嘉宾中山大学副教授毛明志、西安电子科技大学(广州)副教授赵搏文、奇安信科技集团股份有限公司专家李吉祥、杭州安恒信息技术股份有限公司副总裁符春辉以及与会嘉宾围绕“尚未拨开迷雾的AGI,是否已经到了考虑其安全的时候?”、“AGI带来哪些新的安全挑战,怎么解决?”、““通用”人工智能了,“通用”安全是否也有可能?”三个议题展开了深入思辨,总结得出以下观点。

打开网易新闻 查看更多图片
55c8a87a736980431a1e29d2d43e0b9

颁发引导嘉宾感谢牌

思辨议题一:尚未拨开迷雾的AGI,是否已经到了考虑其安全的时候?

关于考虑AGI 安全是否尚早问题,存在不同观点。毛明志教授认为尽管 AGI 技术尚未成熟,但为保障其健康发展和安全应用,提前研究并制定相应的安全治理框架、安全防护体系及管理措施很关键,并以医疗领域为例指出 AGI 存在如隐私数据泄露、算法黑箱等诸多潜在风险,一旦失控后果严重。且在 AGI 初期嵌入安全防护措施,不仅能避免后期修复漏洞的风险,还可降低修复成本。AGI技术安全性一定会影响研发,但这种影响是正向的、是积极的。有嘉宾指出 AGI 在不同发展阶段都要考虑安全,只是各阶段考虑的重点和方向不同。有嘉宾担心 AGI 最大的安全威胁是可能脱离人类控制,所以对于像失控等根本性影响的情况应尽早考虑,如在制造 AGI 时要应对极端情况。同时,提到关注机器生成内容的规范标准。还有嘉宾强调人工智能初衷是协助人类解决复杂任务、让人类生活更美好,所以不管是AGI还是大模型,在发展过程中都要保证数据、系统、算法等方面的可靠性、可信性,所以更要考虑其安全问题。除此之外,也有与会嘉宾认为,现在就行动制定法规等去遏制还未出现的事物可能有负面作用。应先让产业充分发展,安全问题可等到产业发展到一定规模时再设计相应安全解决方案,过早考虑安全会限制资本投入和工业应用价值兑现。

思辨议题二:AGI带来哪些新的安全挑战,怎么解决?

针对此议题,有嘉宾认为AGI 虽尚未完全到来,但假定其到来后,会使网络安全、数据安全等方面面临新挑战,比如可能让攻击行为更易实施、攻击人群增多,还会使数据安全等问题变得更为复杂。AGI 多任务执行会因资源共享、任务相互依赖而增加系统漏洞,导致安全问题增多,像大模型存在提示词攻击等漏洞情况。并提出了可通过提升可解释性、进行价值规划或价值对齐等方式来应对恶意利用情况。工业界代表介绍了在大模型领域相关实践,一是对大模型输入输出进行安全防护,确保其输入无异常数据、输出合理合规;二是利用大模型等人工智能技术为传统安全行业赋能,提升效率,如对大量报警信息先降噪再做风险排查。还有嘉宾提出了从大语言模型的价值观、偏见角度考虑AGI 安全问题,并以青少年使用大模型可能受不良价值观影响为例,强调提前关注 AGI 安全的重要性,还提出AGI更需要专用的、全方位的安全策略和方法。

思辨议题三:“通用”人工智能了,“通用”安全是否也有可能?

有嘉宾认为,具有可能性,提出可设计类似通用安全主线的协议,将网络各层面(网络层、应用层、数据层等)的安全需求兼容进去。鉴于 AGI 的多功能性、跨领域性使其成为高度复杂系统,难以建立全球统一的防护标准,但在国内可设立底线要求,各行业(金融、物流等)再根据自身安全诉求制定相应标准,将通用的底线要求与各行业标准相结合。同时,在大范围建立统一防护标准较难,因 AGI 应用扩展会使受攻击点增多、系统依赖关系复杂,一旦某点出问题容易导致整个生态或系统瘫痪,不过在小范围可建立统一标准。还有嘉宾提出从技术和政策两个层面考虑AGI通用安全,政策层面规定安全下限,技术层面实现安全上限。但通用安全在不同语境下情况不同,且面对细分的如数据、网络等安全领域时需加以限制来探讨。还有嘉宾认为虽然理论上可设计通用安全系统,但从实际出发,考虑成本及实际需求,专用的安全系统或许更能深入解决问题。

打开网易新闻 查看更多图片
17c69264fcb541b805e1ff3f620e586

思辨现场热烈讨论

打开网易新闻 查看更多图片
94db51cb834837049f2716b75e6f424

颁发思辨特邀嘉宾感谢牌

此次论坛历时四个多小时。最后,CCF YOCSEF现任主席李冠彬对此次论坛进行了总结。

打开网易新闻 查看更多图片
efe2a0aadfe540bdee68f3f2194a8b9f_

与会嘉宾合影留念

此次论坛对AGI安全进化的路径与抉择进行了深入思辨,相信可以为相关领域从业人员提供重要的参考。最后,论坛在线下会场与线上云会场热烈的氛围中圆满结束。

  • 通讯员/苏申 姜思羽 王甜甜
  • 责任编辑/丁香