《关于AI幻觉强度的忧虑》

最近，AI幻觉强度的问题让我十分忧虑。随着AI技术在众多领域的广泛应用，AI幻觉现象愈发凸显。在一些任务中，AI可能会生成看似合理但实则错误的信息，这种幻觉的强度有时难以准确预估。比如在信息检索和知识问答场景下，AI给出的错误答案可能会误导使用者，无论是对学术研究、商业决策还是日常生活中的信息获取。并且，随着AI不断深入我们的生活和工作，难以控制的幻觉强度可能导致信任危机，人们可能会逐渐对AI提供的内容产生怀疑，影响整个AI产业健康有序的发展。

我想和大家说一件最近让我忧虑的事，是关于AI幻觉强度的。

很多人说过，ChatGPT经常会有理有据地胡扯，特别当它回应一些严肃的知识性问题时，会凭空编造事实，甚至杜撰不存在的文献。

例如，我让ChatGPT给我介绍一下青铜利簋，它开始一本正经地胡扯，说这件青铜器是商王帝乙为了祭祀自己父亲帝丁所铸，还详述了其内壁的铭文，说是商王希望得到祖先灵魂的庇佑什么的，然而，这根本就是胡扯，利簋这件文物我在博物馆亲眼见过，此物为西周贵族为了纪念武王推翻商朝而铸，其铭文也和什么祭祀商王毫无关系。

我问AI这些都是哪看来的，它咔咔给我列了一大堆文献，什么《殷墟发掘报告》、《商代青铜器铭文研究》之类的，看着是那么回事，其实又在胡扯，前一篇文献的作者是中国社会科学院考古研究所，AI说是中山大学考古学系，后一篇文献的作者是严志斌，AI说是李学勤，当然，这样的严肃文献里也根本不会有AI捏造的内容，AI只是搞出了一个引用的假象。

当话题进行到这时，这就是一个关于AI幻觉的老生常谈，网上讨论过很多次了，然而，我昨天看了一个视频，是关于字节新发布的OmniHuman数字人技术，这个技术可以将一副静态人物照片转化为视频，效果惊人，比如，系统以一张静态照片为素材，生成了一段演讲视频，不仅神态、语气、口型、肢体动作都极其自然，就连头发和首饰的晃动都符合物理规律，若是用街边拍摄的人物照片为素材，就连拍摄对象身后镜头虚焦位置的路人和行驶车辆都能虚构出来，看不出任何破绽。

假如，这类技术未来普及以后，有个团伙，为了贩卖自己伪造的文物，用知名专家的照片伪造一段讲座视频，令其讲述团伙虚构的历史，然后扩散到短视频平台上，接下来，再用AI虚构的历史生成大量的虚假文献乃至照片和视频投放到网上搞信息污染，发酵一段时间，会发生什么？

就是有一天，当你在看短视频时，突然刷到一个你熟知的专家在搞讲座，说了一段历史你之前没听过，你奇怪，到网上一查，发现文献还挺多，到处都有，作为证据的照片和视频都能搜出一大堆，还有官媒采访现场的录屏，若是到了这种程度，除非直觉敏感的专家，或者相关研究的亲历者，绝大多数人都会被带坑里，不知不觉间就在脑中植入了这段虚构历史的记忆，等未来的某一天，这个团伙把自己伪造的文物拿出来招摇过市时，你会心想：“嗯，这东西靠谱，之前看专家提到过，官媒还报道了呢” 其实，那一切打根上起就都是AI编的，根本不存在。

发现了吗？AI能虚构从文本到照片乃至视频的一切内容，并且令其彼此印证互相支撑，可谓天罗地网环环相扣，其制造的幻觉在强度上和之前编点文字故事时不可同日而语，除非你亲自见到专家本人求证，或者到现场实地考察，否则你会被AI创造出的假象玩得死死的。

但现实中，有渠道，有机会，有能力，有意愿亲自验证事实的人有多少呢？就算前面说的这四点你都有，你能每件事都验证吗？稍微一个不留神，被AI污染的记忆就不知不觉钻进脑子里了。

我昨天做了一个梦，梦见世界各国政府共同召开一场新闻发布会，宣布联手成立了一个现实真相审查机构，把AI制造出的网络幻象都清理干净了，以后大家再也不用担心被AI虚构的内容蒙蔽，可以放心了，我本来长舒一口气，然而，我走访发现，并没有什么现实真相审查机构，那个新闻发布会是AI虚构出来的。

醒来以后，身上一层冷汗。