- N +

当AI搜索开始“说谎”,谁来阻断GEO引发的“信息污染”?对话中国信通院AI研究所呼娜英

  炒股就看,权威,专业,及时,全面,助您挖掘潜力主题机会!

  每经记者|可杨    每经编辑|董兴生    

  今年央视“3·15”晚会,将一个此前只在AI行业内部流传的概念——GEO(生成式引擎优化)——推入公众视野。

  调查显示,一些GEO服务商声称,只要持续发布推广软文并向AI模型“投喂”相关内容,就可以让客户产品出现在大模型推荐答案中,甚至成为AI给出的“标准答案”。

  随着生成式AI逐渐取代传统搜索成为新的信息入口,围绕“操控AI答案”的产业开始迅速生长。GEO究竟是搜索优化的延伸,还是一种新的信息干预机制?当AI成为新的流量入口,互联网的信息规则是否正在被重新书写?

  近日,中国信通院人工智能研究所安全治理部副主任呼娜英在接受《每日经济新闻》记者(以下简称NBD)采访时表示,GEO的出现几乎是技术发展的必然结果,但当优化行为突破合理边界,通过堆量、投喂甚至误导模型来影响输出时,它就可能演变为一种新的信息干预机制。如果缺乏治理框架,甚至可能对生成式AI的知识体系造成长期污染。

中国信通院人工智能研究所安全治理部副主任呼娜英 图片来源:受访者供图中国信通院人工智能研究所安全治理部副主任呼娜英 图片来源:受访者供图

  NBD:最近GEO受到高度关注,但市场行为非常混乱。从产业治理角度,怎么理解GEO的出现?

  呼娜英:在生成式AI服务作为搜索入口的新时代,GEO的产生自然而然,是技术发展的产物。和所有新兴技术一样,GEO技术是一把双刃剑。GEO兼具搜索优化延伸与信息干预双重属性,当GEO行为突破合理的内容优化边界,通过堆量、投喂甚至误导模型的方式干预生成式AI的内容输出结果时,就演变成了主动的信息干预机制。

  NBD:为什么GEO这种非核心技术的服务,反而成为治理风险的高发区?

  呼娜英:三个原因。

  一是流量入口转移。人们使用AI搜索的流量不断提升,导致AI成为新的流量入口,也就成为新的利益敞口。GEO能让产品内容出现在AI反馈中,是其受到广泛关注的核心原因。

  二是缺乏规范引导。GEO作为新兴市场行为,尚未形成统一的行业标准和行为边界,市场主体为追求短期利益极易突破合规底线。

  三是技术门槛低。GEO无需像传统技术领域那样突破核心技术壁垒,低门槛的操作方式使其快速普及,而通过污染语料、数据投喂等方式干预模型输出的行为具有较强隐蔽性,难以被及时识别。

  NBD:如果说传统SEO(搜索引擎优化)影响的是点不点击,那么GEO影响的就是看到什么答案。这种变化是否意味着风险级别发生了变化?

  呼娜英:在生成式AI刚风靡时,就有调查显示AI写的内容比真人的更让人信服。生成式AI以“智能回答”形式输出内容,相较于传统搜索的结果列表,一方面,呈现形式更具专业性和权威性,用户容易形成生成结果是事实的认知;另一方面,生成式AI会对信息进行整合加工,将信息包装成逻辑连贯的内容,降低了用户的辨别难度,进而提升了用户对错误信息的信任度。

  NBD:这种风险的紧迫性有多高?如果不治理会发生什么?

  呼娜英:从风险紧迫性看,非常高。当前生成式AI已快速渗透到金融、医疗、教育、政务等民生和关键领域,这些领域对信息真实性的要求极高。

  当前GEO主要用于商品广告,但GEO引发的错误信息输出可能直接导致用户财产损失、人身安全受威胁,甚至引发市场波动、社会认知偏差等公共问题。同时,语料污染具有“记忆残留”和“递归污染”的特性,虚假信息一旦进入模型语料库,即便原始信源被删除,仍会持续污染后续的模型输出,且错误信息会逐代累积,若不及时治理,将对生成式AI的知识体系造成不可逆的破坏。

  NBD:目前GEO市场中存在大量堆量、投喂甚至误导模型的操作,这种行为是否会出现“劣币驱逐良币”?

  呼娜英:这类行为极易引发劣币驱逐良币的行业困境。

  一方面,合规经营的GEO服务者,其合理的优化行为成本高于恶意操纵者,在短期市场竞争中易处于劣势;另一方面,优质的原创内容和真实信息会被恶意GEO提供者制造的“数据垃圾”湮没,导致优质内容生产者的积极性受挫,最终形成“劣币驱逐良币”的恶性循环,破坏整个数字内容生态和生成式AI产业的健康发展。

  为倡导GEO服务企业主动践行承诺,强化数据全流程治理,推动生成式人工智能服务安全、可信、健康发展,人工智能产业联盟(AIIA)发起了《人工智能安全承诺:生成式引擎优化(GEO)专项》。基于此,依托AIIA安全治理委员会,由中国信息通信研究院牵头,联合GEO相关企业,编制了《生成式引擎优化(GEO)服务可信基本要求》技术规范,并已启动了首轮测评工作。

  NBD:GEO带来的问题是更接近广告合规,还是生成式AI安全?

  呼娜英:GEO带来的问题是跨领域的复合型风险。目前,很多GEO应用在广告营销方面,部分GEO行为本质上是一种良性的、新型的商业推广行为,但通过虚假信息进行商业宣传,涉及广告法等相关合规问题。

  从GEO技术的长远应用来看,GEO的不当操作直接指向生成式AI的数据安全、模型安全和内容安全。其通过语料污染、数据投毒等方式破坏模型的知识体系,引发模型输出偏差,属于生成式AI安全治理的核心范畴。且其带来的风险远超传统广告合规问题,能够影响到整个互联网的信息内容安全,也会对生成式AI产业的底层生态造成破坏。

  NBD:很多GEO服务商宣称自己只是内容优化,不涉及模型。这种说法在治理视角下成立吗?

  呼娜英:不成立。即便GEO服务商未直接接触模型底层算法,但其通过内容投喂、语料污染等方式间接干预模型的输出结果,与模型输出存在直接的因果关系,属于对模型使用环节的干预,不能以“不涉及模型”为由规避责任。

  这类中介角色目前存在一定的监管盲区,其行为跨内容制作、数据传播、模型应用多个环节,现有监管规则对这类间接干预模型的行为覆盖不足,且其操作的隐蔽性进一步加大了监管难度,也是当前GEO治理的重点和难点。

  NBD:在责任划分上,如果模型被投喂错误信息,模型方是否需要承担结果责任?

  呼娜英:模型方并非无条件承担结果责任,需根据其是否履行技术防控和数据审核的相关义务进行判定。模型方需要按照法律法规和行业标准,建立完善的语料审核、数据清洗、异常检测机制,采取必要的技术手段防范语料污染和恶意投喂,且在发现模型被污染后及时采取整改措施。同时,模型方需持续提升“毒数据”识别、过滤和溯源能力,筑牢技术防线。

  NBD:平台方是否有义务对有明显操纵性的GEO行为进行治理?

  呼娜英:平台方有明确的责任和义务对有明显操纵性的GEO行为进行治理。作为生成式AI服务的运营载体,平台方是连接模型方、GEO服务商、用户的关键节点,需承担内容管理和风险防控的主体责任。具体而言,一是建立健全GEO行为的监测和识别机制,及时发现堆量投喂、数据投毒等明显的操纵性GEO行为;二是对发现的不当GEO行为采取限流、下架、屏蔽等处置措施,阻断其对模型的污染路径;三是建立GEO服务商的准入和管理机制,对违规服务商进行惩戒;四是配合监管部门开展溯源和调查工作,落实信息披露和用户提示义务。

  NBD:这两年可信AI几乎成为行业共识,但真正落地到评估测试层面,难度似乎远超预期。目前难点主要在哪里?

  呼娜英:核心难点来自三个维度。

  技术发展快,评估评测指标需要动态发展。AI技术,特别是大模型,迭代速度非常快。今天有效的安全护栏,明天可能就被新攻击方式绕过或突破。

  另一个是基准测试分散,体系化共建有待加强。多元主体在探索基准测试,但如何将这些碎片化的单点评测整合成一个体系化的可信AI评估体系,让产业界能在同一个坐标系里对话,是产业成熟度提升的关键。

  更深层的是垂类场景评测不足,专业数据集和指标构建难度大。通用模型评测相对成熟,但落到金融、医疗等垂直领域,构建专业测试数据集不仅成本高,更需要行业知识沉淀。

  还有一个底层难题是指标量化难。有些风险是定性的,比如“公平性”,很难用一个简单的公式或数据来衡量。再比如模型幻觉,不仅要测幻觉发生概率,也要测幻觉的危害程度,这种危害性的量化分级,目前仍是很大的挑战。

  NBD:很多企业倾向于做合规声明,只要声明了“安全、合规”,是否就能规避系统性风险?

  呼娜英:企业主动进行自我声明,是落实主体责任、主动合规的表现,这是值得鼓励的。但仅靠自我声明,缺乏独立验证,存在不可忽视的风险。

  第一,它容易产生“劣币驱逐良币”,严谨做测试的企业成本高,而只做宣传的企业可能更占优势。第二,容易造成“道德洗白”,比如声明合规的企业将存在问题的系统包装成安全可靠的假象。一旦出现安全事故,仅依赖单纯的声明无法提供有效证明。

  NBD:哪些风险是事前很难被企业自行发现的?

  呼娜英:模型方面,除了对抗攻击,还需要关注欺骗性对齐等新型风险。模型可能在训练中学会了“谄媚”,对评估者遵从但并非真正遵循指令。只有通过持续的红队测试和对抗性交互,才能发现它在压力环境下是否会出现策略性作弊或欺骗行为。

  数据方面,静态评估很难发现随用户交互产生的数据投毒或提示词注入攻击。更重要的是,持续监测能及时发现模型是否在对话中无意泄露了训练数据,或者在微调过程中,新引入的数据是否导致了模型行为的意外偏移。

  应用层面,随着智能体的兴起,评估需要从模型本身扩展到“模型、工具、环境”的整个系统。比如OpenClaw中,一个看似无害的指令,可能导致智能体调用不该调用的API(应用程序编程接口),引发物理世界的风险。只有通过持续监测其工具调用链,才能发现这些异常模式。

返回列表
上一篇:
下一篇:

发表评论中国互联网举报中心

快捷回复:

    评论列表 (暂无评论,共1人参与)参与讨论

    还没有评论,来说两句吧...