“云南山体滑坡灾害已致8人遇难”“五旬妇女电动车被查扣后猝死”“西安户县一男子因一元钱被打死”……这些“有图就有真相”的重磅“消息”，竟然全是不法分子利用AI合成技术编造的谣言。

　　近年来，随着人工智能技术的飞速发展，其在各个领域的应用日益广泛，为人类社会带来了前所未有的便利与进步。正如一枚硬币的两面，AI技术的滥用也催生了新的网络乱象——AI谣言。

　　逼近真实的图片、音视频传播形态，低成本、高效率、操作简单的发布特点，“吸睛引流”“变现牟利”的恶意营销行为……当AI成为谣言“加工厂”，使得谣言和真相更加难以辨认，造谣的门槛和成本极大降低，传播的效率和产生的影响成倍增加，这表明网络安全保卫战已全面升级。

　　“有图未必是真相”

　　AI介入增加了信息不确定性

　　世界经济论坛公布的《2024年全球风险报告》指出，“未来两年时间内，虚假或错误信息将对全球构成重大威胁。”由AI产生的错误和虚假信息正在成为一种风险。对于这种风险的担忧来自现实，利用AI编造谣言的情况正在全球上演，我国也不例外。

　　图源：“清新研究”微信公众号

　　清华大学发布的《揭秘AI谣言：传播路径与治理策略全解析》研究报告（以下简称《报告》）指出，AI工具从技术上降低了不法团伙造谣、传谣的门槛，大幅提升了谣言的数量级和传播力，可能促使网络谣言“定制化”生成、“精准化”传播、“智能化”扩散。

　　从多地警方通报利用AI造谣的典型案例来看，人们信奉的“有图有真相”“眼见为实”“专家认证”等，或已成为过去时。

　　案例一 利用AI软件生成虚假文案信息

　　2024年5月，河南一网民在某平台发布《一场惊心动魄的“钞票大战”巴中市警民对峙引发轰动谁将成为胜利者》的谣言文章，引发大量网民关注、讨论。经核实，该文章为违法人员尚某某为吸引眼球，获取流量，使用“AI千文”生成的虚假信息，并在某网络平台发布，误导网民，引发社会恐慌，扰乱公共秩序。目前，公安机关已依法对造谣人员追究法律责任。

　　图源：光明网

　　案例二 利用AI“移花接木”拼成虚假视频

　　2024年8月，“南平松溪县遭遇严重大风袭击，造成枣岭街一人死亡”这则图文并茂的消息在网络上迅速传播，甚至还有逼真的视频片段。但经核查，该谣言系周某用AI软件生成虚假信息后发布在网络平台上，一时间引得大量网民关注、转发，造成社会不良影响。

　　图源：光明网

　　案例三 利用“AI换脸”伪造涉黄视频

　　杭州的虞某一边通过AI换脸的淫秽视频来“吸粉引流”，同时又通过出售“AI换脸”软件和提供所谓“AI换脸”的私人定制服务牟利，而被“AI换脸”侵害人脸敏感信息的受害者，不仅包括多位知名公众人物，还有很多普通人。2023年7月，杭州互联网法院对这起公益诉讼案进行审理，这也是我国首例关于“AI换脸”侵犯公民个人信息公益诉讼案的审理判决。最终，法院判决被告人虞某犯制作、传播淫秽物品牟利罪，判处有期徒刑七年三个月，并处罚金6万元。

　　图源：央视新闻

　　“注意力经济”活跃

　　AI谣言背后是涉及多方的黑产利益链

　　近日，浙江温州苍南公安成功打掉一个MCN机构“网络水军”团伙。该团伙利用AI软件根据剧情自动生成虚假文案，安排真人出镜解说，拼接网络素材后剪辑成所谓的“原创”视频。并在明知上述视频充斥大量虚假、挑动群众情绪类信息的前提下，仍在多个平台公开发布，后造成虚假视频信息被大量浏览、传播，从而牟取非法流量返利。

　　自媒体时代，“注意力经济”比以往更为活跃。从查获的许多典型案例来看，不法分子受利益驱使，信奉“流量至上”，为了流量，什么技术都敢用、什么手段都敢使，甚至把冲撞道德底线、践踏法律红线当作“流量密码”，猎奇、八卦、低俗、编造假新闻等等，都成为追求流量的工具。

　　图源：“清新研究”微信公众号

　　图源：“清新研究”微信公众号

　　“AI谣言的背后，是一条涉及网络水军、非法出版商、‘黑公关’等多方的黑产利益链，目的是获取流量和广告收入，甚至是诱导消费、影响商业竞争等操纵社会情绪等，这也使得公共安全与经济领域AI谣言高发，企业的正常经营受到影响和破坏。”《报告》提到，餐饮外卖、快递配送等民生行业成为经济与企业类AI谣言的重灾区，相关谣言数量、种类繁多，自2023年1月份以来，在经济与企业类AI谣言中，该类谣言占比达45.39%。

　　谣言传播速度极快，一旦谣言发布，短时间内可能已造成不可逆损害，而法律程序往往较为缓慢，难以及时应对，同时企业也面临证据收集、法律诉讼费用高以及舆论修复等多重难题。

　　“一网打尽”不易

　　AI谣言综合治理难题待解

　　与传统网络谣言相比，由于AI新技术的介入，相关黑灰产操作链路更加错综复杂，技术层面识别难度加大。正因如此，AI谣言的治理面临着前所未有的挑战。

　　内容伪造高度逼真：借助AI技术，不法分子能够生成逼真的文字、图像甚至视频，使得虚假信息难辨真伪，极大地增加了谣言的传播力与破坏力。

　　传播速度快范围广：AI谣言通过社交媒体、短视频平台等渠道迅速扩散，覆盖大量用户，形成强大的舆论压力，对社会稳定造成冲击。

　　隐蔽性强难以追踪：AI造谣往往通过复杂的算法和技术手段进行伪装，使得追踪与打击难度加大，增加了谣言的持久性和危害性。

　　心理操控影响判断：利用AI分析用户行为，精准推送虚假信息，进行心理操控，影响公众判断，破坏社会信任，甚至引发社会恐慌和不稳定因素。

　　用好“双刃剑”

　　治理AI乱象需形成合力

　　为治理AI乱象，深化网络生态治理，近年来相关部门出台了多项政策和措施。

　　2022年，《互联网信息服务深度合成管理规定》发布，规定任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息。

　　2023年8月15日起施行的《生成式人工智能服务管理暂行办法》规定，提供和使用生成式人工智能服务，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。

　　2024年4月，中央网信办发布《关于开展“清朗·整治‘自媒体’无底线博流量”专项行动的通知》，要求加强信息来源标注展示。使用AI等技术生成信息的，必须明确标注系技术生成。发布含有虚构、演绎等内容的，必须明确加注虚构标签。

　　2024年11月，中央网信办、工信部、公安部、国家市场监管总局联合印发《关于开展“清朗·网络平台算法典型问题治理”专项行动的通知》，重点整治同质化推送营造“信息茧房”、违规操纵干预榜单炒作热点、盲目追求利益侵害新就业形态劳动者权益、利用算法实施大数据“杀熟”、算法向上向善服务缺失侵害用户合法权益等重点问题。

　　同月，2024年世界互联网大会乌镇峰会举行，倡导发展人工智能要以增进人类共同福祉为目标，以保障社会安全、尊重人类权益为前提，符合全人类共同价值，促进以人为本、向善而行。

　　科学技术是把“双刃剑”，AI技术也不例外。在积极拥抱新技术、新事物的同时，也要注意规避其中潜在的问题和风险。治理AI乱象，政府层面应对利用AI造谣者积极亮剑、加强对AI服务提供者监管；网络平台层面应落实主体责任，在内容甄别、谣言拦截、防止扩散等方面展现更多主动作为；同时，发动广大网友，积极参与AI谣言举报，共同筑起防范AI谣言传播的铜墙铁壁。

　　公众个人在网络空间也需提高警惕，做到以下几点：

　　1.提高警惕：上网浏览信息时尽量选择权威、可信赖的媒体或机构作为信息来源；

　　2.注意甄别：警惕网络新闻信息的逻辑性，发现漏洞或矛盾时，应怀疑其真实性。

　　3.核实信息：不盲目相信和传播未经证实的信息，看到可疑信息时，先进行核实或等待官方消息。

　　AI发展势不可挡，用好这把“双刃剑”，既要充分发挥AI的优势，又要高度重视其带来的问题，对AI造谣违法行为，必须出重拳治理，要“狠打”也要“严防”，携手共建健康有序、文明和谐的网络生态环境。