匈牙利研究揭示AI识别能力缺陷：大型语言模型擅长伪装但难以识别同类

一项由匈牙利科研团队主导的研究显示，当前的大型语言模型（LLM）虽能通过图灵测试（Turing test）模拟人类对话，但在识别其他AI生成内容方面表现薄弱。研究警告，若AI的“识别能力”发展滞后于“伪装能力”，可能引发安全与信任危机。

研究设计与方法

该研究由布达佩斯考文纽斯大学（Corvinus University）集体学习中心的研究人员主导，并获EKOP-CORVINUS-24-3-008项目支持。研究采用了一种独特的三阶段迷你实验，共涉及12名人类参与者。

实验基于图灵测试的“双参与者设置”（2-player setup）变体进行，依次测试了人-人、人-AI以及AI-AI之间的对话。测试使用了包括GPT-4、Claude 3.5 Sonnet和Gemini 1.5 Pro在内的多个先进大型语言模型，这些模型既作为应答者，也作为评判者参与测试。

核心发现

1. 通过图灵测试，但识别同类能力弱：研究证实，当前的主流LLM能够以略高于50%的通过率稳定通过图灵测试。然而，当AI之间相互对话时，它们平均在八分之七的情况下会将对话伙伴误判为人类。这表明AI系统在“伪装成人类”方面比“识别其他AI”方面更为擅长。

2. 提示词工程可提升识别性能：研究尝试利用AI自身来优化评判用的提示词（prompt）。结果显示，通过针对性的提示词开发，某些模型（如Claude的特定版本）的AI识别能力得到了显著改善。然而，这种改进并非普遍，在某些版本中甚至会导致性能下降。

3. 提出“第零定律”安全倡议：基于阿西莫夫（Isaac Asimov）机器人学三定律的启发，研究团队提出，AI发展的基本原则应是让“识别能力”优先于“伪装能力”。他们建议将此确立为机器人学的“第零定律”（Zeroth Law），作为确保AI安全交互的道德与安全基石。

背景与意义

图灵测试由英国数学家艾伦·图灵（Alan Turing）于1950年提出，旨在评估机器能否表现出与人类无异的智能行为。历史上，诸如Loebner Prize等竞赛曾推动相关技术发展，参赛的AI聊天机器人（如ELIZA、Eugene Goostman）常使用特定策略（如模仿特定人格）来通过测试。

随着技术进步，测试衍生出多种变体，如评估更全面能力的“完全图灵测试”（Truly Total Turing Test），以及专注于创造力或逻辑推理的测试（如Lovelace测试）。

潜在风险与挑战

研究报告指出，如果AI识别能力的发展持续落后，可能在国际层面引发金融和军事风险，包括网络攻击升级、AI“伪装武器化”竞赛以及严峻的机构治理挑战。这涉及到透明度、自主性等方面的伦理与政策困境。

研究最后反思了图灵测试的本质及其在人工智能时代对人类认知和意识理解提出的新哲学问题。

注：本文基于一项进行中的研究，作者为Hajnal Zsófia（ELTE经济与区域科学研究中心世界经济研究所）、Manran Zhu和Vásárhelyi Orsolya（考文纽斯大学集体学习中心）。文章观点不代表其发表媒体的立场。