媒体:别被你的AI忽悠了 警惕AI幻觉陷阱
我国AI大模型应用正在快速增长。QuestMobile最新数据显示,DeepSeek上线次月(2025年2月),活跃用户规模突破1.8亿。然而,随着AI应用的普及,一些问题也逐渐浮现。比如,有用户发现AI会编造假论文,期刊名称、论文标题、作者、网址等信息一应俱全但全是虚构;还有一条“80后死亡率突破5.2%”的假新闻广为流传,据分析最初的信源可能来自AI对话。
这些问题实际上源自AI大模型的一个老毛病——AI幻觉。专家认为这是大模型的“基因病”。因为AI训练依赖海量数据,但这些数据的真实性无法保证。在训练过程中,AI将大量数据压缩抽象,输入的是内容间关系的数学表征而非内容本身。与人类对话时,AI基于统计概率生成文本,追求流畅性而非真实性,容易产生看似合理实则虚假的内容。
虽然AI幻觉带来了困扰,但也赋予了AI独特的“超能力”,不必完全根除。AI自主生成内容是大语言模型的重要特点,这种创造力对实现通用人工智能至关重要,并能在科研、文艺等领域发挥作用。例如,在游戏开发、动漫设计、小说创作中,AI幻觉可以提供灵感,突破思维定式。科学研究中,AI的非常规思路也有助于推动新范式的形成。
尽管AI幻觉不可根除,但可以通过技术手段和管理机制加以控制。技术上,检索增强生成、多模型交叉验证、动态知识更新机制等已被证明有效。未来还需提升训练数据的质量和清洗标准,严格检测数据来源和真实性,减少噪声干扰;引入强化学习与人类反馈机制,提高AI逻辑推理能力;增强AI大模型检测能力,用AI监管AI。
用户层面,建议不要直接采信单一AI输出的答案,而是通过多个AI模型生成答案再交叉验证,关键任务输出需进行人工交叉验证,结合文献数据库、行业知识图谱等专业工具作出判断。监管方面,“标注AI生成内容”已成为我国监管部门推动的方向,旨在提高AI生成内容的可追溯性和可解释性。未来还需加快人工智能法立法进程,建立全周期全链条监管体系。