说一件最近让我忧虑的事,是关于AI幻觉强度的
创始人
2025-02-07 12:25:30
0

《关于AI幻觉强度的忧虑》

最近,AI幻觉强度的问题让我十分忧虑。随着AI技术在众多领域的广泛应用,AI幻觉现象愈发凸显。在一些任务中,AI可能会生成看似合理但实则错误的信息,这种幻觉的强度有时难以准确预估。比如在信息检索和知识问答场景下,AI给出的错误答案可能会误导使用者,无论是对学术研究、商业决策还是日常生活中的信息获取。并且,随着AI不断深入我们的生活和工作,难以控制的幻觉强度可能导致信任危机,人们可能会逐渐对AI提供的内容产生怀疑,影响整个AI产业健康有序的发展。


我想和大家说一件最近让我忧虑的事,是关于AI幻觉强度的。

很多人说过,ChatGPT经常会有理有据地胡扯,特别当它回应一些严肃的知识性问题时,会凭空编造事实,甚至杜撰不存在的文献。

例如,我让ChatGPT给我介绍一下青铜利簋,它开始一本正经地胡扯,说这件青铜器是商王帝乙为了祭祀自己父亲帝丁所铸,还详述了其内壁的铭文,说是商王希望得到祖先灵魂的庇佑什么的,然而,这根本就是胡扯,利簋这件文物我在博物馆亲眼见过,此物为西周贵族为了纪念武王推翻商朝而铸,其铭文也和什么祭祀商王毫无关系。

我问AI这些都是哪看来的,它咔咔给我列了一大堆文献,什么《殷墟发掘报告》、《商代青铜器铭文研究》之类的,看着是那么回事,其实又在胡扯,前一篇文献的作者是中国社会科学院考古研究所,AI说是中山大学考古学系,后一篇文献的作者是严志斌,AI说是李学勤,当然,这样的严肃文献里也根本不会有AI捏造的内容,AI只是搞出了一个引用的假象。

当话题进行到这时,这就是一个关于AI幻觉的老生常谈,网上讨论过很多次了,然而,我昨天看了一个视频,是关于字节新发布的OmniHuman数字人技术,这个技术可以将一副静态人物照片转化为视频,效果惊人,比如,系统以一张静态照片为素材,生成了一段演讲视频,不仅神态、语气、口型、肢体动作都极其自然,就连头发和首饰的晃动都符合物理规律,若是用街边拍摄的人物照片为素材,就连拍摄对象身后镜头虚焦位置的路人和行驶车辆都能虚构出来,看不出任何破绽。

假如,这类技术未来普及以后,有个团伙,为了贩卖自己伪造的文物,用知名专家的照片伪造一段讲座视频,令其讲述团伙虚构的历史,然后扩散到短视频平台上,接下来,再用AI虚构的历史生成大量的虚假文献乃至照片和视频投放到网上搞信息污染,发酵一段时间,会发生什么?

就是有一天,当你在看短视频时,突然刷到一个你熟知的专家在搞讲座,说了一段历史你之前没听过,你奇怪,到网上一查,发现文献还挺多,到处都有,作为证据的照片和视频都能搜出一大堆,还有官媒采访现场的录屏,若是到了这种程度,除非直觉敏感的专家,或者相关研究的亲历者,绝大多数人都会被带坑里,不知不觉间就在脑中植入了这段虚构历史的记忆,等未来的某一天,这个团伙把自己伪造的文物拿出来招摇过市时,你会心想:“嗯,这东西靠谱,之前看专家提到过,官媒还报道了呢” 其实,那一切打根上起就都是AI编的,根本不存在。

发现了吗?AI能虚构从文本到照片乃至视频的一切内容,并且令其彼此印证互相支撑,可谓天罗地网环环相扣,其制造的幻觉在强度上和之前编点文字故事时不可同日而语,除非你亲自见到专家本人求证,或者到现场实地考察,否则你会被AI创造出的假象玩得死死的。

但现实中,有渠道,有机会,有能力,有意愿亲自验证事实的人有多少呢?就算前面说的这四点你都有,你能每件事都验证吗?稍微一个不留神,被AI污染的记忆就不知不觉钻进脑子里了。

我昨天做了一个梦,梦见世界各国政府共同召开一场新闻发布会,宣布联手成立了一个现实真相审查机构,把AI制造出的网络幻象都清理干净了,以后大家再也不用担心被AI虚构的内容蒙蔽,可以放心了,我本来长舒一口气,然而,我走访发现,并没有什么现实真相审查机构,那个新闻发布会是AI虚构出来的。

醒来以后,身上一层冷汗。

相关内容

日本东京暴雨 火车站变“水...
近日,日本东京遭遇暴雨侵袭,其火车站瞬间变身为“水帘洞”。暴雨如注...
2025-07-11 12:38:33
原创 ...
马其顿是地处于古希腊边陲的一个地区。公元前6世纪左右,马其顿完成了...
2025-07-11 12:33:51
原创 ...
《——【·前言·】——》 唐初,李世民以卓越的军事才能和果敢的决策...
2025-07-11 12:33:24
原创 ...
谈及长平之战,赵国屡战屡败,让人不禁思考,到底是国力不济还是朝堂之...
2025-07-11 12:33:18
探秘南越王赵佗墓穴,苦心钻...
岭南地区的考古证实,西汉时期的南越国虽然割据岭南,自成一脉,但也遵...
2025-07-11 12:33:17
原创 ...
在作为商朝鼎盛阶段的武丁时期以后,相继为王的是祖庚和祖甲兄弟两人。...
2025-07-11 12:33:10
原创 ...
勾践的王后雅鱼,在越国攻破吴国的时候选择自杀,最重要的原因就是她的...
2025-07-11 12:33:06
原创 ...
天龙八部的历史时期大概是北宋哲宗时期,公元1100年左右,此时北宋...
2025-07-11 12:32:55
原创 ...
秦国,是周国分封在西北边陲的一个小诸侯国;但当时的秦国非常弱小,在...
2025-07-11 12:32:53

热门资讯

C罗的僚机是谁?张路:若塔啊! C罗的僚机是谁?张路:若塔啊!
R.I.P.塔的的庆祝动作 你... R.I.P.塔的的庆祝动作 你永远值得期待
夏窗首签来了,隆戈:里奇正在接... 米兰跟队记者隆戈的最新报道,里奇已经在接受米兰的体检。 隆戈在个人社媒晒出了现场的视频,都灵中场...
电话一直占线,长春喜都俱乐部暂... 7月3日,据大象新闻报道,在受到中足联处罚后,长春喜都俱乐部电话一直占线无法接通,俱乐部暂时未对处罚...
原创 戴... 戴笠的“徒弟”沈醉,和戴笠的“念观兄”文强都写了类似“戴笠传记”的一本书,后来这两本合为一本,沈醉那...
王毅会见加拿大外长:中加关系过... 近日,王毅会见加拿大外长,此次会面意义重大。中加关系在过去几年间遭遇诸多波折,然而,其中的是非曲直实...
国足全队为刘诚宇庆生,蒯纪闻领... 中国足球队官方微博发布视频,国足全队为刘诚宇庆祝生日,由蒯纪闻领唱生日歌。同时,国足代理主帅久尔杰维...
杨少华遗体告别,长子杨威大喊:... 7月11日,相声演员杨少华告别仪式在天津举行,大儿子杨威痛别父亲:爸爸一路走好,众人纷纷跪别悼念。
洛迪谈爆冷击败曼城:对结果并不... 北京时间7月1日,世俱杯1/8决赛,利雅得新月4-3爆冷击败英超豪门曼城。赛后,利雅得新月后卫雷南-...