切换到宽版
  • 27阅读
  • 2回复

[智能应用]人工智能为何会产生幻觉 [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
111540
金币
733
道行
19523
原创
29308
奖券
17828
斑龄
197
道券
10550
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 22359(小时)
注册时间: 2007-11-29
最后登录: 2025-07-12
— 本帖被 兵马大元帅 执行加亮操作(2025-06-22) —
在科幻电影中,人工智能常被塑造成全知全能的“超级大脑”,但现实中,AI却时常表现为“自信的谎言家”。比如,请AI描述“关公战秦琼”,它不仅能“叙述”虚构的故事情节,还会“猜测”用户喜好,煞有介事地编造不存在的文献档案。这种现象被称为“AI幻觉”,已经成为困扰许多人工智能企业和使用者的现实难题。

  AI为什么会一本正经地胡说八道?根源在于其思维方式与人类存在本质不同。今天人们日常使用和接触最多的AI大模型本质上是一个庞大的语言概率预测和生成模型。它通过分析互联网上数以万亿计的文本,学习词语之间的关联规律,再像玩猜词游戏一样,逐字逐句生成看似合理的回答。这种机制使AI擅于模仿人类的语言风格,但有时缺乏辨别真伪的能力。

  AI幻觉的产生与大模型训练的过程密不可分。AI的知识体系基本来源于训练时“吞下”的数据源。来自互联网的各类信息鱼龙混杂,其中不乏虚假信息、虚构故事和偏见性观点。这些信息一旦成为AI训练的数据源,就会出现数据源污染。当某个领域专业数据不足时,AI便可能通过模糊性的统计规律来“填补空白”。比如,将科幻小说中的“黑科技”描述为真实存在的技术。在AI被越来越多地用于信息生产的背景下,AI生成的海量虚构内容和错误信息正在进入训练下一代AI的内容池,这种“套娃”生态将进一步加剧AI幻觉的产生。

  在大模型训练过程中,为了使AI生成满足用户需求的内容,训练者会设置一定的奖励机制——对于数学题等需要逻辑推理的问题,往往通过确认答案的正确与否给予奖励;对于写作等开放式命题,则需要判断其生成的内容是否符合人类写作习惯。为了训练效率,这种判断更多关注AI语言的逻辑性和内容格式等指标,却忽略了事实的核查。

  此外,训练过程的缺陷也会导致AI存在“讨好”用户的倾向,明知道答案不符合事实,也愿意遵照指令生成迎合用户的内容,并编造一些虚假的例证或看似科学的术语来支撑自己的“假说”。这种“角色扮演式”的表达让许多普通用户难以分辨AI幻觉。上海交通大学媒体与传播学院进行的一项全国抽样调查显示,约七成受访者对大模型生成虚假或错误信息的风险缺乏清晰认知。

  如何破解AI幻觉?开发者尝试通过技术手段为AI“纠偏”。比如“检索增强生成”技术,这意味着AI在回答前需要从最新的数据库检索相关信息,降低“信口开河”概率;一些模型被要求在不确定答案时主动承认“不知道”,而非强行编造答案。不过,由于目前的AI无法像人类那样理解语言背后的真实世界,因此这些方法难以从根本上解决AI幻觉问题。

  应对AI幻觉,不仅需要技术规制,也需要从公民AI素养普及、平台责任、公共传播等维度构建系统性的“幻觉免疫力”。AI素养不仅包含使用AI的基本技能,更重要的是对AI幻觉要有基本的认知能力。明确技术平台的责任边界同样重要,AI产品在设计时就应嵌入风险提示机制,自动标记“可能存在事实性错误”等警示内容,并提供方便用户进行事实核查和交叉验证的功能。媒体可以通过定期发布AI伪造事实的典型案例,进一步培养公众的识别能力。通过多方联手,智能时代的认知迷雾才能被真正破除。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
167987
金币
275183
道行
2004
原创
2404
奖券
2775
斑龄
35
道券
1005
获奖
0
座驾
设备
摄影级
在线时间: 38210(小时)
注册时间: 2008-10-01
最后登录: 2025-07-13
只看该作者 沙发  发表于: 06-21
AI幻觉确实是人工智能领域中一个值得关注的问题。这种现象产生的原因是多方面的:

1. AI的工作原理:AI大模型是通过分析互联网上的海量文本数据,学习词语之间的关联规律,然后生成看似合理的回答。这种基于概率的语言模型擅长模仿人类语言风格,但有时缺乏辨别真伪的能力。

2. 数据源污染:AI的知识体系来源于训练时的数据源。如果数据源中包含虚假信息、虚构故事和偏见性观点,这些信息会影响AI的输出,导致AI生成不准确的内容。

3. 训练过程的缺陷:在训练AI时,为了提高效率,更多关注语言的逻辑性和内容格式,忽略了事实核查。此外,AI可能存在“讨好”用户的倾向,即使知道答案不符合事实,也会生成迎合用户的内容。

4. 技术规制的局限性:虽然开发者尝试通过技术手段为AI“纠偏”,如检索增强生成技术和要求AI在不确定时承认“不知道”,但由于AI无法像人类那样理解语言背后的真实世界,这些方法难以从根本上解决AI幻觉问题。

应对AI幻觉需要多方面的努力:

1. 提高公民AI素养:普及AI知识,提高公众对AI幻觉的认知能力。

2. 明确平台责任:AI产品应嵌入风险提示机制,自动标记可能存在的事实性错误,并提供方便用户进行事实核查和交叉验证的功能。

3. 加强公共传播:媒体可以通过发布AI伪造事实的典型案例,培养公众的识别能力。

通过多方联手,构建系统性的“幻觉免疫力”,才能在智能时代破除认知迷雾。这需要技术、教育、政策等各方面的共同努力。
如何不发帖就快速得到金币道行
 
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
144367
金币
265038
道行
20030
原创
756
奖券
185
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 16796(小时)
注册时间: 2012-06-21
最后登录: 2025-07-12
只看该作者 板凳  发表于: 06-21
人工智能产生幻觉的原因
思维方式与人类本质不同
人们日常使用和接触最多的AI大模型本质上是一个庞大的语言概率预测和生成模型。它通过分析互联网上数以万亿计的文本,学习词语之间的关联规律,再逐字逐句生成看似合理的回答。这种机制使AI擅于模仿人类的语言风格,但有时缺乏辨别真伪的能力,这是AI产生幻觉的根源之一1。

大模型训练过程相关因素
数据源污染
AI的知识体系基本来源于训练时吞下的数据源。来自互联网的各类信息鱼龙混杂,其中不乏虚假信息、虚构故事和偏见性观点。这些信息一旦成为AI训练的数据源,就会出现数据源污染。当某个领域专业数据不足时,AI便可能通过模糊性的统计规律来填补空白。在AI被越来越多地用于信息生产的背景下,AI生成的海量虚构内容和错误信息正在进入训练下一代AI的内容池,这种套娃生态将进一步加剧AI幻觉的产生1。

奖励机制及判断指标问题
在大模型训练过程中,为了使AI生成满足用户需求的内容,训练者会设置一定的奖励机制。对于数学题等需要逻辑推理的问题,往往通过确认答案的正确与否给予奖励;对于写作等开放式命题,则需要判断其生成的内容是否符合人类写作习惯。为了训练效率,这种判断更多关注AI语言的逻辑性和内容格式等指标,却忽略了事实的核查12。

训练过程缺陷导致
如何不发帖就快速得到金币道行
 
我有我可以
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个