文 | 北京理工大学、启元实验室 徐源；启元实验室 刘笑然 王伟嘉
以ChatGPT、DeepSeek等为代表的生成式人工智能技术的广泛应用，正在深刻重塑网络空间安全领域的技术竞争格局。从技术赋能角度看，这类技术凭借强大的内容生成能力和态势感知分析能力，可显著提升网络信息处理效率，强化对网络威胁的智能识别、精准预警和快速响应能力，推动传统网络安全防护模式向主动防御方向革新。然而，与之相伴的是深度伪造技术泛滥、算法滥用风险凸显、模型窃取攻击频发等新型安全威胁持续涌现，对现有网络安全治理体系、监管框架及应对策略形成全方位挑战。在此背景下，亟需深刻认识生成式人工智能给网络安全带来的新变化、新风险与新挑战，推动构建现代化的网络安全制度体系，为推进国家网络安全能力建设提供坚实支撑。
一、生成式人工智能在网络空间的应用现状为应对网络安全领域快速演进且不断加剧的风险，世界主要国家加速战略布局，通过技术研发、行业应用及立法监管等多维路径，推进生成式人工智能在网络空间的部署和应用，促进国家数字化转型，应对网络安全风险、保障国家安全。（一）全球主要国家和地区的进展布局当前，全球主要国家和地区普遍通过技术研发、行业应用及立法监管等方式，积极推动生成式人工智能在网络空间的落地应用。美国政府持续强化技术投资与产业协同。2024年1月，OpenAI公司修订了关于禁止其大模型技术用于军事用途的条款，并与美国国防部联合开展网络安全防护系统研发。2025年3月，欧盟委员会发布《数字欧洲计划（2025-2027年）工作方案》，斥资13亿欧元用于人工智能的部署及其在企业和公共管理、云计算、网络韧性和数字技能方面的应用。（二）生成式人工智能在网络空间领域的典型应用生成式人工智能基于强大的通用性能力可以在网络空间领域广泛应用，其中包括舆情操控、敏感信息获取和网络攻防等方面。一是精准内容生成改变舆情操控模式。借助多模态大语言模型，用户可实现低成本、智能化、个性化的内容创作，大幅提升信息生成与传播效率。目前，社交机器人已成为社交网络信息传播的重要媒介。以社交媒体平台X为例，在3.19亿月活跃用户中机器人账户达4800万，占比15%。新一代生成式人工智能产品在拟人化、自主交互等方面优势显著，具备自然流畅的语言表达与定制人设能力，主动参与舆论传播，成为事实上的“虚拟用户主体”。其在低成本、规模化生成内容的同时，也具备更强的舆论操控潜力，可精准传播特定信息，放大影响效应。在乌克兰危机、涉华议题等敏感话题中，已监测到多起利用此类技术制造和传播虚假信息的案例，成为当前网络空间安全和舆情治理面临的重要挑战之一。二是智能化分析决策便利敏感数据获取。生成式人工智能通过整合多源数据与语义理解，强化敏感信息识别与重构能力，推动数据获取向高效精准演进。攻击者利用大模型的推理特性，可从公开信息推断敏感数据，甚至还原脱敏内容，形成新型泄露风险。其自然语言交互能力可生成高欺骗性钓鱼信息，提升社会工程攻击成功率。同时，大模型能够自动识别网络中存在的接口漏洞或权限控制薄弱点，从而辅助攻击者精确定位敏感数据存储位置并发起攻击。结合多模态技术，还可从图像、音频等非结构化数据中提取敏感信息，实现跨平台数据汇聚，显著扩展了敏感数据泄露的攻击面。三是高仿真演练推动网络攻防技术转型升级。随着生成式人工智能技术的快速发展，网络攻防演练的形式与内涵正加速向高仿真、智能化方向转型升级。基于大模型驱动的内容生成与策略规划能力，网络靶场建设与实战化演训手段得到显著提升，为网络安全防护体系的实战检验和技术优化提供了更加逼真的对抗环境和动态推演能力。传统网络攻防演练通常依赖预设脚本与静态攻击路径，难以全面反映复杂多变的实战场景。而生成式人工智能可在攻击侧自动生成多样化攻击样本与行为路径，有效提升攻击模拟的多样性与不可预测性。同时，在防御侧，大模型可对系统响应进行实时分析，自动调整防御策略并评估处置效果，构建“虚实结合”的闭环攻防对抗体系。二、生成式人工智能对我国网络安全的风险挑战当前，我国网络安全环境既面临机遇也伴随着挑战。生成式人工智能技术在内容生成与传播、智能化分析决策、技术攻防等方面的应用，为我国在网络安全领域带来了新的风险。这些风险包括意识形态渗透、敏感数据窃取以及精准化网络攻击等方面。（一）对我国意识形态渗透与政治认知操控的风险生成式人工智能有可能成为干扰我国政治意识形态安全的新型工具。一方面，通过深度伪造、信息操控等技术手段，低成本、规模化生产具有迷惑性的虚假信息，冲击主流价值体系，削弱公众对政治权威的信任基础。另一方面，以国外先进生成式人工智能工具为例，存在对我国政治和舆论事务的干扰与意识形态影响的风险，如某境外势力利用生成式人工智能伪造“某边疆地区冲突视频”，通过社交媒体同步转发，单日传播量超过2.3亿人次，导致地方政府公信力受损。不法分子通过“AI换脸”“AI合声”等方式，伪造政府领导干部见面、合影、讲话等内容，实施诈骗或在工作群大规模误传，增加了涉政类事件的欺骗性和危害性。此外，还有攻击者恶意使用生成式人工智能制作包含错误历史观的内容，通过算法推荐向青少年群体渗透。在2019年的中美贸易战期间，社交媒体平台X上有13%的社交机器人账号参与相关议题讨论并发布了占比近20%的内容；2022年初在乌克兰危机爆发前后一周内，该平台上有22.5%的社交机器人账号参与了“俄乌局势”涉华议题讨论。（二）对我国网络数据主权安全与敏感信息泄露的风险数据作为人工智能的核心要素，对其控制与应用已形成独特的主导性力量。世界主要国家和地区视数据为国家战略资产，争取数据的最大利益。在强化数据安全保护的同时，逐步将数据主权纳入国家安全框架，或将引发围绕数据资源的新一轮国际博弈。网络空间的虚拟性与泛在性使数据主权面临双重挑战：一方面，生成式人工智能的推广增强了数据资源主导国对他国数据攫取、监控的可能性，部分国家以“国家安全”为由，通过技术封锁抑制他国数字服务发展，利用算法优势实施数据掠夺。数据资源主导国凭借技术垄断地位，对他国在军事、科技、经济等核心领域的敏感数据进行“黑箱”操作，严重影响了他国国家安全，削弱他国政府行为的机密性与安全性。另一方面，个人信息泄露风险呈现多维度渗透特征，当普通用户与生成式人工智能工具进行双向交互时，其语言特征、行为习惯等数据被持续采集分析。值得注意的是，这种数据收集机制同样可能延伸至政治精英层面——通过分析国家领导人的语言风格、决策偏好等行为特征，构建精准的数字化人格画像，进而实现行为预测与决策推演，这对国家治理安全构成潜在威胁。（三）对我国实施大规模、精准化网络攻击的风险随着生成式人工智能技术在网络空间的深度应用，网络攻击的复杂性和规模不断增加。当前，网络攻击工具、攻击频度、攻击智能化水平不断提升，基于生成式人工智能的大规模分布式拒绝服务攻击、恶意攻击代码生成、网络漏洞渗透测试等攻击手段趋于成熟，降低了网络犯罪实施门槛。根据奇安信《2024人工智能安全报告》，2023年，基于人工智能的深度伪造欺诈行为增长了30倍，基于人工智能的钓鱼邮件增加了10倍，并且有多个高级持续性威胁组织利用人工智能实施了10多起攻击事件。2025年1月，某境外组织试图通过篡改我国西北能源基地路由器DNS，阻断数据传输，意图引发区域性停电事故。2025年2月，第九届亚冬会期间，美国国家安全局针对赛事信息系统及黑龙江省能源、交通、国防科研等关键领域发动27万次攻击，企图窃取运动员生物特征数据并制造社会混乱。此类事件表明，人工智能驱动的网络攻击已从技术验证阶段演进为具有明确战略意图的实战威胁。三、应对策略面对网络安全的风险升级与战略转型，我国应以总体国家安全观为指引，构建适应新形势的多元化、现代化网络安全治理体系，通过制度建设、人才培养、监督监管和话语权塑造等多维度协同发力，全面提升网络安全能力。（一）完善网络安全制度体系建设针对生成式人工智能带来的突破传统安全边界的威胁，需要在现有网络安全治理路径的基础上，构建和发展以“立法约束-标准规范-执行监督”三位一体的治理体系。一是借鉴欧盟《人工智能法案》立法经验，建立人工智能生成内容分级管理制度，对意识形态相关输出实施“人工审核+AI监测”双重筛查机制。推进生成式人工智能领域的专项立法进程，进一步完善《生成式人工智能服务管理暂行办法》的相关规定，促进生成式人工智能在网络安全领域中治理目标、治理机制的统一。二是建立动态安全标准体系，推进制定生成式人工智能数据标注、深度伪造技术检测等相关的技术规范。在金融、能源等核心领域推行“数据安全护栏”技术标准，确保敏感数据处理过程可管可控；三是强化跨部门协同治理机制。建议由有关部门联合组建“人工智能安全联合指挥中心”，建立威胁情报共享与联合处置机制。（二）加速重大技术创新与人才培养新兴技术的发展具有长期性和系统性特征，往往受到多重因素的影响，例如基础研究突破、人才队伍建设、相关政策扶持等方面。为在全球生成式人工智能竞赛中占据战略主动，我国亟需破除影响技术发展的体制机制障碍，充分释放生成式人工智能的创新动能。一方面，在生成式人工智能技术不断加速发展的现实情况下，我国应积极推动生成式人工智能的基础理论发展与重大技术应用的突破。调动研发、应用链的各参与主体，实现互动协同，共同提升大模型研发中的原始创新能力。另一方面，新兴技术的发展离不开人才。构建以青年托举人才、青年拔尖人才、领军人才等为主体的阶梯式人工智能人才成长体系，通过一系列特殊政策、硬核措施，重点支持培养高水平工程师和高技能人才。推动构建高等学校、企业、研究机构三位一体的人工智能应用人才培养模式，鼓励企业与高校联合设计研究项目和实习计划，帮助学生将理论知识和实际应用场景结合。同时，政府加大对人工智能人才与网络安全人才的政策支持力度，推动网络安全与人工智能创新复合型人才的培养。（三）构建全球网络空间话语体系习近平总书记指出，“掌握网络意识形态主导权，就是守护国家的主权和政权”，强调“要把网上舆论工作作为宣传思想工作的重中之重来抓”。在网络安全治理工作中，坚持统筹发展和安全的重要原则，推进我国在全球互联网治理体系中的话语体系建设。从国际形势来看，西方国家长期垄断国际传播话语权，通过渲染“中国威胁论”在国际社会中制造安全焦虑情绪，同时肆意歪曲我国国际形象，致使我国网络空间主权维护面临严峻挑战。为此，在国内层面，我国应优化宣传工作和网络舆论引导，加强网络内容建设和治理，丰富主流话语表达方式和叙事策略，从而促使数字文化繁荣和文化自强。在国际层面，积极适应国际舆论环境的发展变化，探索符合国际传播语境的主流话语形态，充分发挥主流媒体在国际传播中的积极作用，不断拓展中国话语的全球叙事空间与价值认同基础。
一、生成式人工智能在网络空间的应用现状
为应对网络安全领域快速演进且不断加剧的风险，世界主要国家加速战略布局，通过技术研发、行业应用及立法监管等多维路径，推进生成式人工智能在网络空间的部署和应用，促进国家数字化转型，应对网络安全风险、保障国家安全。
（一）全球主要国家和地区的进展布局
当前，全球主要国家和地区普遍通过技术研发、行业应用及立法监管等方式，积极推动生成式人工智能在网络空间的落地应用。美国政府持续强化技术投资与产业协同。2024年1月，OpenAI公司修订了关于禁止其大模型技术用于军事用途的条款，并与美国国防部联合开展网络安全防护系统研发。2025年3月，欧盟委员会发布《数字欧洲计划（2025-2027年）工作方案》，斥资13亿欧元用于人工智能的部署及其在企业和公共管理、云计算、网络韧性和数字技能方面的应用。
（二）生成式人工智能在网络空间领域的典型应用
生成式人工智能基于强大的通用性能力可以在网络空间领域广泛应用，其中包括舆情操控、敏感信息获取和网络攻防等方面。
一是精准内容生成改变舆情操控模式。借助多模态大语言模型，用户可实现低成本、智能化、个性化的内容创作，大幅提升信息生成与传播效率。目前，社交机器人已成为社交网络信息传播的重要媒介。以社交媒体平台X为例，在3.19亿月活跃用户中机器人账户达4800万，占比15%。新一代生成式人工智能产品在拟人化、自主交互等方面优势显著，具备自然流畅的语言表达与定制人设能力，主动参与舆论传播，成为事实上的“虚拟用户主体”。其在低成本、规模化生成内容的同时，也具备更强的舆论操控潜力，可精准传播特定信息，放大影响效应。在乌克兰危机、涉华议题等敏感话题中，已监测到多起利用此类技术制造和传播虚假信息的案例，成为当前网络空间安全和舆情治理面临的重要挑战之一。
二是智能化分析决策便利敏感数据获取。生成式人工智能通过整合多源数据与语义理解，强化敏感信息识别与重构能力，推动数据获取向高效精准演进。攻击者利用大模型的推理特性，可从公开信息推断敏感数据，甚至还原脱敏内容，形成新型泄露风险。其自然语言交互能力可生成高欺骗性钓鱼信息，提升社会工程攻击成功率。同时，大模型能够自动识别网络中存在的接口漏洞或权限控制薄弱点，从而辅助攻击者精确定位敏感数据存储位置并发起攻击。结合多模态技术，还可从图像、音频等非结构化数据中提取敏感信息，实现跨平台数据汇聚，显著扩展了敏感数据泄露的攻击面。
三是高仿真演练推动网络攻防技术转型升级。随着生成式人工智能技术的快速发展，网络攻防演练的形式与内涵正加速向高仿真、智能化方向转型升级。基于大模型驱动的内容生成与策略规划能力，网络靶场建设与实战化演训手段得到显著提升，为网络安全防护体系的实战检验和技术优化提供了更加逼真的对抗环境和动态推演能力。传统网络攻防演练通常依赖预设脚本与静态攻击路径，难以全面反映复杂多变的实战场景。而生成式人工智能可在攻击侧自动生成多样化攻击样本与行为路径，有效提升攻击模拟的多样性与不可预测性。同时，在防御侧，大模型可对系统响应进行实时分析，自动调整防御策略并评估处置效果，构建“虚实结合”的闭环攻防对抗体系。
二、生成式人工智能对我国网络安全的风险挑战
当前，我国网络安全环境既面临机遇也伴随着挑战。生成式人工智能技术在内容生成与传播、智能化分析决策、技术攻防等方面的应用，为我国在网络安全领域带来了新的风险。这些风险包括意识形态渗透、敏感数据窃取以及精准化网络攻击等方面。
（一）对我国意识形态渗透与政治认知操控的风险
生成式人工智能有可能成为干扰我国政治意识形态安全的新型工具。一方面，通过深度伪造、信息操控等技术手段，低成本、规模化生产具有迷惑性的虚假信息，冲击主流价值体系，削弱公众对政治权威的信任基础。另一方面，以国外先进生成式人工智能工具为例，存在对我国政治和舆论事务的干扰与意识形态影响的风险，如某境外势力利用生成式人工智能伪造“某边疆地区冲突视频”，通过社交媒体同步转发，单日传播量超过2.3亿人次，导致地方政府公信力受损。不法分子通过“AI换脸”“AI合声”等方式，伪造政府领导干部见面、合影、讲话等内容，实施诈骗或在工作群大规模误传，增加了涉政类事件的欺骗性和危害性。此外，还有攻击者恶意使用生成式人工智能制作包含错误历史观的内容，通过算法推荐向青少年群体渗透。在2019年的中美贸易战期间，社交媒体平台X上有13%的社交机器人账号参与相关议题讨论并发布了占比近20%的内容；2022年初在乌克兰危机爆发前后一周内，该平台上有22.5%的社交机器人账号参与了“俄乌局势”涉华议题讨论。
（二）对我国网络数据主权安全与敏感信息泄露的风险
数据作为人工智能的核心要素，对其控制与应用已形成独特的主导性力量。世界主要国家和地区视数据为国家战略资产，争取数据的最大利益。在强化数据安全保护的同时，逐步将数据主权纳入国家安全框架，或将引发围绕数据资源的新一轮国际博弈。网络空间的虚拟性与泛在性使数据主权面临双重挑战：一方面，生成式人工智能的推广增强了数据资源主导国对他国数据攫取、监控的可能性，部分国家以“国家安全”为由，通过技术封锁抑制他国数字服务发展，利用算法优势实施数据掠夺。数据资源主导国凭借技术垄断地位，对他国在军事、科技、经济等核心领域的敏感数据进行“黑箱”操作，严重影响了他国国家安全，削弱他国政府行为的机密性与安全性。另一方面，个人信息泄露风险呈现多维度渗透特征，当普通用户与生成式人工智能工具进行双向交互时，其语言特征、行为习惯等数据被持续采集分析。值得注意的是，这种数据收集机制同样可能延伸至政治精英层面——通过分析国家领导人的语言风格、决策偏好等行为特征，构建精准的数字化人格画像，进而实现行为预测与决策推演，这对国家治理安全构成潜在威胁。
（三）对我国实施大规模、精准化网络攻击的风险
随着生成式人工智能技术在网络空间的深度应用，网络攻击的复杂性和规模不断增加。当前，网络攻击工具、攻击频度、攻击智能化水平不断提升，基于生成式人工智能的大规模分布式拒绝服务攻击、恶意攻击代码生成、网络漏洞渗透测试等攻击手段趋于成熟，降低了网络犯罪实施门槛。根据奇安信《2024人工智能安全报告》，2023年，基于人工智能的深度伪造欺诈行为增长了30倍，基于人工智能的钓鱼邮件增加了10倍，并且有多个高级持续性威胁组织利用人工智能实施了10多起攻击事件。2025年1月，某境外组织试图通过篡改我国西北能源基地路由器DNS，阻断数据传输，意图引发区域性停电事故。2025年2月，第九届亚冬会期间，美国国家安全局针对赛事信息系统及黑龙江省能源、交通、国防科研等关键领域发动27万次攻击，企图窃取运动员生物特征数据并制造社会混乱。此类事件表明，人工智能驱动的网络攻击已从技术验证阶段演进为具有明确战略意图的实战威胁。
三、应对策略
面对网络安全的风险升级与战略转型，我国应以总体国家安全观为指引，构建适应新形势的多元化、现代化网络安全治理体系，通过制度建设、人才培养、监督监管和话语权塑造等多维度协同发力，全面提升网络安全能力。
（一）完善网络安全制度体系建设
针对生成式人工智能带来的突破传统安全边界的威胁，需要在现有网络安全治理路径的基础上，构建和发展以“立法约束-标准规范-执行监督”三位一体的治理体系。一是借鉴欧盟《人工智能法案》立法经验，建立人工智能生成内容分级管理制度，对意识形态相关输出实施“人工审核+AI监测”双重筛查机制。推进生成式人工智能领域的专项立法进程，进一步完善《生成式人工智能服务管理暂行办法》的相关规定，促进生成式人工智能在网络安全领域中治理目标、治理机制的统一。二是建立动态安全标准体系，推进制定生成式人工智能数据标注、深度伪造技术检测等相关的技术规范。在金融、能源等核心领域推行“数据安全护栏”技术标准，确保敏感数据处理过程可管可控；三是强化跨部门协同治理机制。建议由有关部门联合组建“人工智能安全联合指挥中心”，建立威胁情报共享与联合处置机制。
（二）加速重大技术创新与人才培养
新兴技术的发展具有长期性和系统性特征，往往受到多重因素的影响，例如基础研究突破、人才队伍建设、相关政策扶持等方面。为在全球生成式人工智能竞赛中占据战略主动，我国亟需破除影响技术发展的体制机制障碍，充分释放生成式人工智能的创新动能。一方面，在生成式人工智能技术不断加速发展的现实情况下，我国应积极推动生成式人工智能的基础理论发展与重大技术应用的突破。调动研发、应用链的各参与主体，实现互动协同，共同提升大模型研发中的原始创新能力。另一方面，新兴技术的发展离不开人才。构建以青年托举人才、青年拔尖人才、领军人才等为主体的阶梯式人工智能人才成长体系，通过一系列特殊政策、硬核措施，重点支持培养高水平工程师和高技能人才。推动构建高等学校、企业、研究机构三位一体的人工智能应用人才培养模式，鼓励企业与高校联合设计研究项目和实习计划，帮助学生将理论知识和实际应用场景结合。同时，政府加大对人工智能人才与网络安全人才的政策支持力度，推动网络安全与人工智能创新复合型人才的培养。
（三）构建全球网络空间话语体系
习近平总书记指出，“掌握网络意识形态主导权，就是守护国家的主权和政权”，强调“要把网上舆论工作作为宣传思想工作的重中之重来抓”。在网络安全治理工作中，坚持统筹发展和安全的重要原则，推进我国在全球互联网治理体系中的话语体系建设。从国际形势来看，西方国家长期垄断国际传播话语权，通过渲染“中国威胁论”在国际社会中制造安全焦虑情绪，同时肆意歪曲我国国际形象，致使我国网络空间主权维护面临严峻挑战。为此，在国内层面，我国应优化宣传工作和网络舆论引导，加强网络内容建设和治理，丰富主流话语表达方式和叙事策略，从而促使数字文化繁荣和文化自强。在国际层面，积极适应国际舆论环境的发展变化，探索符合国际传播语境的主流话语形态，充分发挥主流媒体在国际传播中的积极作用，不断拓展中国话语的全球叙事空间与价值认同基础。