【转载】人工智能时代，“大模型”如何守护数字安全

“安全认知，日见清晰；安全研究，路阻且长；安全行业，大有可为；紧跟创新，保障发展……”在近日举行的第十二届互联网安全大会上，中国工程院院士吴世忠的一番总结，折射了AI（人工智能）时代安全大模型行业的发展现状。

一直以来，技术发展伴生的安全挑战、迭代防护，贯穿着行业发展，也备受各界关注。当天，多位两院院士，中国互联网协会、中国信通院、世界互联网大会等机构组织负责人，以及华为、360、微软等国内外企业代表齐聚，围绕“打造安全大模型”主题，分享来自政产学研用领域的各方观点。

从“百模大战”到探寻更多应用场景

在过去的两年里，随着ChatGPT在全球范围内爆红，AI大模型热潮在国内急速升温，多家互联网巨头纷纷加速布局大模型应用。记者从会上了解到，截至目前，我国已完成备案并上线、能为公众提供服务的生成式人工智能服务大模型达180多个，注册用户数已突破5.64亿。

“AI以激进式的科技创新，全面推进新一轮科技革命和生活赋能。”吴世忠介绍，以颠覆式的应用创新，全面推进新一轮的大国博弈和社会变革。特别是基础模型的突破，展示出强大的新质生产力，激发出科技、经济、社会和国家管理全方位的深刻变化。

中国科学院院士、清华大学计算机系教授张钹也深有感触，大模型的出现标志着AI发展进入新阶段，具备了强大的语言生成能力、人机自然交互能力、迁移（举一反三）能力。“最近一年里，我国在基础模型研发、自然语言处理、多模态生成等领域取得了显著进展，为千行百业的智能化转型提供了坚实支撑”。

“我们已初步构建了较为全面的AI技术产业体系，建成了2500多个数字化车间和智能工厂，经过AI改造研发周期平均缩短20％，生产效率提升35％……”中国信息通信研究院副院长魏亮分享了这样一组数据。他分析认为，大模型技术发展带来高质量算力基础设施和数据集语料库的大量需求，我们要加快推进大模型基础设施化，促进行业应用和中小企业普惠使用，不断创新应用生态、推动纵深发展。

从曾经的“百模大战”，到持续赋能千行百业，再到如今发力探寻具体应用场景。“2024年应该是场景之年，要结合业务找‘明星场景’，然后根据场景设计功能，对大模型进行专项训练。” 360集团创始人周鸿祎认为，我们不能追求全能，通过一个大模型解决所有问题，应该让专业大模型解决专业问题，找到垂直场景和细分切口，并且由多个专业模型组合起来，这样很多问题就可以迎刃而解。

中国工程院院士邬贺铨也提到“协作”的重要性。他认为，需要协作开发行业大模型。这些基础大模型是企业实现数字化转型不可或缺的一环，需要应对包括强大的算力、充足的数据、高水平的研材、新应用的算法等诸多挑战，这就需要大模型提供方与垂直行业紧密合作。

技术向善，也能“向恶”

“ChatGPT问世不到一年，有关人工智能的风险预警，就在科学创新的前沿阵地率先触发。它是典型的两用性技术和双刃剑特性，人们担心技术发展失控、道理伦理失范、网络安全失守。”吴世忠谈到这样一组观察体会——近年来，OpenAI、Meta、DeepMind等国外行业巨头相继加大安全技术和监管措施的投入，国内的百度、阿里、华为、科大讯飞、360、智谱等，也在安全研究上布局投资。这说明，国内外主流厂商逐渐认识到安全研究的重要性，大模型能力增长需要安全研究快速跟进已成为业界共识。

“AI浪潮势不可当。它既是一次工业革命，又是对安全行业的一次机会。”周鸿祎认为，在大模型重塑所有行业、产品时，更多的思考应该是能不能利用AI实现安全技术突破、能不能助力降本增效。以前的“百模大战”解决了大模型从无到有、从0到1的发展过程，如今我们不要再“卷”模型了 ，要重点关注应用层面，其中一个重要场景就是“安全”。

在业界看来，当前AI的发展在基础理论和具体应用上存在诸多不足。“生成式AI存在‘幻觉’缺陷，它会‘胡说八道’，很多情况下还并不知道自己说错了。它和机器产生的错误不一样，后者往往我们可以控制，但前者是本身的错误，是一定会发生且不可控的。这是我们开发应用中需要重点考虑的问题。”张钹这样说。

“AI既有向善的一面，也有向恶的一面。”中国工程院院士、国家数字交换系统工程技术研究中心主任邬江兴认为，AI应用系统安全责任与风险存在严重失衡。AI应用系统网络内生安全的共性问题，在于计算机带来了“娘胎的基因缺陷”，如果不能杜绝软硬件代码设计中的脆弱性，就无法杜绝网络问题。

邬江兴还提到，内生安全的个性问题是当前AI推广应用中的最大障碍，存在着“三大问题”：一是不可解释性，指通过训练拟合阶段的一些工作原理我们并不明确；二是不可判识性，指训练AI的大数据质量高低，直接影响大模型判断结果；三是不可推论性，指AI目前对没有经历过的未知事物无法理解和判断。

吴世忠也坦言，相对于大模型本身的研究，相关的安全研究刚刚开始，不但任重道远，而且困难重重：一是对于大模型的解释性和透明性不足；二是安全保障技术存在复杂性和多样性，比如，攻击手段形式多样导致防御措施难以全面覆盖，训练高效大模型既需要大量数据却又难以有效保护数据隐私；三是伦理和道德问题的复杂性，也增加了制定统一标准的难度；四是安全测试和风险评估的复杂性，包括测评标准多样性、方法不完备性、测试工具局限性等。

“以模制模”，用AI对抗AI

多年来，互联网技术的攻防对抗，宛如一场从未停歇的“魔道较量”，并且随着AI融入更多场景，形势愈发严峻。“大模型在企业运营中的应用日益广泛，数字安全领域也在不断进步，需要不断探索新的防护策略来应对日益复杂的数字化环境。AI等数字技术的应用既是安全防御的重点，也是保障的有利手段，需要将大数据、AI、物联网等技术结合，提升保障能力。”邬贺铨说。

他还建议，要创新升级数字安全防护措施。传统安全防护手段需要向云化、服务化转型，数字安全企业应构建体系化的安全运营服务框架，为各行业提供安全能力，帮助构建和维护安全防御体系。

“不发展是最大的不安全，约束是为了发展，没有约束的发展是不可持续发展。我们要明确这一思路。”中国互联网协会副理事长黄澄清呼吁，鼓励互联网企业利用AI技术提升安全防御的智能化水平，持续加大在人工智能与数字安全领域的研发投入，促进产学研用深度融合，加速技术成果向产业转化。

面对大模型带来新的安全问题，周鸿祎认为，之前的网络安全是人与人的对抗，未来将变成人与机器的对抗，最后会发展成机器与机器的对抗。因此，用传统安全思路解决AI带来的安全问题是不行的，必须用AI重塑安全，“用魔法打败魔法”“以模治模”，用安全大模型解决大模型安全问题，这样既解决了传统安全问题，又解决了安全的新问题。

比如，360安全大模型不断探寻“明星场景”，基于攻击检测、运营处置、追踪溯源、知识管理、数据保护、代码安全等场景训练了六个专有大模型，解决了网络安全发现攻击难、溯源难、处置耗费人力高、漏洞发现难、大模型自身安全漏洞等行业普遍问题。

自今年8月1日起，欧盟《人工智能法案》生效，这是全球首部全面监管人工智能法规。“截至目前，已经有数十个国家先后发布了与人工智能相关的国家战略和法规文件。人工智能的核心关切主要是透明度、公开性、非恶意、负责任、隐私、向善、信任、尊严等，治理研究是将这些落实到从大模型部署、开发、计算推理、数据输入到推广应用的各个环节。”吴世忠说。

“AI时代，确保网络安全不仅是发挥互联网作为全球纽带的核心要素，更是实现AI为人类社会带来福祉的基础前提。”在国际合作方面，世界互联网大会秘书长任贤良表示，我们要推动协同共治，汇聚产学研用各方力量，推动数字安全与新一代信息技术协同创新、示范应用、融合发展，构建理论交流、技术合作、人才培养的良好生态。（记者 李政葳、刘昊）

来源： 光明网