关注人工智能安全与治理,国科智安与前瞻人工智能达成战略合作
近日,国科智安(北京)科技有限公司(以下简称国科智安)与北京前瞻人工智能安全与治理研究院(以下简称前瞻院)在北京签署战略合作框架协议。双方致力于构建系统化的AI安全与治理框架,护航人工智能的创新旅程,引导其迈向负责任、可持续的未来。将依托各自在人工智能安全技术研究、产业转化、资源整合与市场拓展方面的优势,共同推动大模型安全评测、防护与对齐技术体系的研发与落地,形成具有自主知识产权的核心成果与产业化能力,构建“科研创新—技术转化—产业应用”的协同创新体系。

赵菲菲与曾毅代表双方签约现场
国科智安总经理赵菲菲与前瞻院院长曾毅分别代表双方签约。前瞻院副院长王磊,AI可持续发展与治理中心主任鲁恩萌,AI安全中心主任赵菲菲,AI伦理中心主任范津宇,产业赋能中心主任杨帅及前瞻院核心团队,国科智安CTO王璋盛、副总经理张烁及国科智安核心团队共同出席签约仪式。
协议约定围绕人工智能安全与治理领域开展长期战略协同的原则,确定了三个重点方向。即一为人工智能伦理自动化评估体系。在当前人工智能技术飞速发展的背景下,伦理风险已成为制约AI创新应用的关键瓶颈。传统伦理审查主要依赖专家人工评估,存在效率低下、标准不一、覆盖有限等突出问题,构建“评估-治理-赋能”一体化的人工智能伦理自动评估体系,实现从被动合规到主动治理的范式转变;二是大模型安全评测与攻防靶场。随着大语言模型在各个领域的广泛应用,这些模型的变革潜力日益凸显。确保其安全性、鲁棒性已成为一个至关重要的问题。特别是“越狱攻击”通过精心设计的提示词绕过安全约束并引发有害、偏见或不道德输出的对抗性攻击,已经成为大语言模型安全领域的系统性和严峻的挑战。构建集多维度安全评测、攻击模拟、防御测试分析于一体的系统性大模型安全评估框架;三是具身智能体安全评测与加固方法。聚焦智能体技术在关键领域应用中的安全可信需求,针对其在具身交互安全、多智能体系统鲁棒性、安全加固与价值对齐等方面面临的核心挑战,研究具身智能体安全风险的自动化识别、加固与防控,为智能体技术在具身智能领域的规模化可信应用提供关键技术支撑,构建具身智能体安全评估与加固应用框架。
此次签约标志着国科智安与前瞻院的战略合作迈向了全新阶段,将为国科智安在人工智能安全与治理的创新和应用提供坚实的人工智能安全与治理前瞻研究和产学研落地。

与会人员合影
据介绍,北京前瞻人工智能安全与治理研究院是面向人工智能安全发展与治理的新型研发机构。研究院致力于构建系统化的安全与治理体系,为人工智能的创新和应用提供坚实的安全保障,引领人工智能安全与治理的新趋势。国科智安则定位于全球领先的人工智能安全与治理服务商,专注于攻克新一代人工智能的安全机理、模型与系统,为其应用、防护、评测与加固提供核心支撑。公司愿景是让全球每一人都能受益于安全、可靠的人工智能技术,共同开启人类与AI共融发展的新纪元。 (推广)







