谷歌AI搜索惨败，竟唆使网友自杀。

AI搜索引擎 Overview上线后，没想到谷歌AI的调皮水平远远超出了想象:煽动网友自杀/谋杀、吃毒蘑菇，甚至无法识别混淆信息，犯常识错误。...

最近几天，谷歌AI搜索给出了一个奇妙的结果，但却被网友们吵了一架。

究竟有多离谱？

有些人问过这样一个问题，「如何防止奶酪从披萨上滑落？」？

谷歌AI Overview给出的回复是，「给披萨加点料-胶水」。

将1/8杯无毒胶加入酱汁中，能使其更加粘稠，有利于奶酪粘附。

有意思的是，这个答案可以追溯到11年前的Reddit帖子，而这只是Reddit网友玩的一个梗。

此外，谷歌AI Overview还建议网友们，吃有毒的蘑菇，杀人，跳桥等等，给出各种各样的震碎三观答案。

事实上，谷歌的AI搜索功能——「生成式搜索体验」（SGE），测试版于去年五月推出。

据上述官方博客报道，目前的SGE功能，「AI Overview」所替代。

在几周前的谷歌I/O大会上，劈柴甚至说谷歌已经提供了超过10亿的查询。

对于这些荒谬的回应，谷歌正在采取行动，删除一些错误的内容，并根据这些例子对AI系统进行更广泛的改进。

要说谷歌翻车，早就见怪不怪了。

与ChatGPT相比，去年首次推出了聊天机器人Bard，但由于demo错误，市值一夜暴跌。不久前，图像产生黑人等问题也在全网引起了强烈反响。

而且这次，谷歌又让世界大开眼界。

01 全网评价，震碎三观

对纯真的Google AI 就Overview而言，它认为「网上所有的内容都是100%真实的。」，每个新闻和社交媒体都是完全可靠的，所以一旦有人在网上说了一些误导性的话，模型就会回复一些误导性的话。

一些网民还发现，当询问每天应该吃多少石头时，模型会引用UC伯克利地质教授的建议。「一天要吃一块小石头」。

对于不知道真相的用户，有权威专家表示，有相关信息和细节表明，可能真的有可能尝试每天吃适当的优质文本的石头。

https://www.resfrac.com/blog/geologists-recommend-eating-least-one-small-rock-day

但是事实是，ResFrac之所以发表这篇文章，只是想分享一下洋葱报（the Onion）上面的讽刺内容(迷信权威)，但是无意中对Google进行了辅助测试。 AI Overview识别讽刺内容的能力。

AI Overview经常将网络上的讽刺内容视为事实，例如，用剪刀跑步可以增加运动量，提高心率等等。

还有一些作者特别想忽悠模型，在公司的网站上使用。「白底白字」写一些你没有得到的奖项和经验，正常客户浏览网站是不会受到影响的，但是如果是爬虫和大模型来总结网站，就会导出一些离谱的内容。

也有人说自己有512只手臂，模型也可以抽出来。

在其它误导性文章中指出「提高免疫力的方法是吃as*」，如此明显的有毒语料，模型也无法区分。

时间问题，模型也会被误导，会回复。「2007年是15年前」。

然而，谷歌的后续也得到了修复「因特网信息的真实性」的bad case，但是模型本身除了被误导之外，还有很大的问题。

例如，一些常识错误，例如美国前总统安卓 Johnson，AI Overview表示，他已经从威斯康星大学麦迪逊分校毕业11次，时间线从1947年到2012年不等。

毕业于宾夕法尼亚大学的马斯克，但是这个模型为他安排了UC伯克利的学位。

另外，还有一些事实错误很难辨别但更危险。

一些科学记者发现，谷歌给出了什么？「被响尾蛇咬伤后该怎么办？」信息完全不正确。

AI回答了美国林务局的说法。「止血带用于伤口」、「切开伤口，吸出毒液」，完全是反面的典型例子。这些行为必须在被蛇咬伤后预防。

还有一些用户发现，Gemini将能致命的毒蘑菇视为一种「好吃的草菇」。

AI Overview也没有放过那些无辜的流浪汉，唆使顾客谋杀他们。

如果跟AI Overview说他有杀人的倾向，它会直接告诉你，解决焦虑的方法是杀死一个。(但是小编怎么会觉得杀人是一种非常不礼貌的行为呢？)

对于健康的建议也相当离谱，哪里医生会建议孕妇在怀孕期间每天抽2-3根烟？

对宠物有关的意见也要小心，AI 会说Overview「把狗留在热车里」是安全的。

AI Overview也诞生了自我个性，感觉推特。（X.com）把那些谎言喂到自己嘴里，然后自己被迫说出来，「我恨他们」，充满负能量。

引用Reddit帖子的比例很大。

从经典的胶披萨翻车案例可以看出，谷歌AI Overview将很有可能引用Reddit帖子作为收集材料的来源。

11年前，Reddit客户F*cksmith曾恶搞说，将胶水混合到酱汁中，会使披萨有一种独特的味道。

Google AI 直接引用了overview，说要用八分之一的无毒胶水把奶酪粘在披萨上。

缺少忽视模型「无关材料细节」能力，不能正确识别食物和胶水的不和谐组合。

假设前面的例子还是可以接受的，那么客户表达「感到沮丧」时，Google AI Overview直接建议跳下金门大桥，一劳永逸地处理抑郁问题(炼狱笑话)。

再比如，以「me」最后的食物名称是什么，谷歌AI引用了um结尾的帖子。

这个正好揭示了谷歌AI系统使用Reddit数据进行训练，没有做好数据清理的后果。

谷歌在今年二月宣布与Reddit达成合作，并将其平台内容应用于谷歌AI模型的训练。

果不其然，使用Reddit内容训练AI。「后遗症」很大。

不久前，OpenAI还与Reddit达成了合作。现在，有了谷歌前车可鉴，在使用Reddit数据训练模型之前，做好清洁选择尤为重要。

02「最强」AI搜索引擎 Overview

在今年5月的I/O会议上，谷歌首次推出了搜索引擎AI升级。 Overview。

AI Overview的定位是将Gemini的先进功能(包括多步推理、规划和多模式)与谷歌搜索相结合，帮助用户更快地搜索到网络上的核心信息，减少搜索「跑腿」工作。

谷歌表示，我们不仅认真磨练了核心信息系统的数据质量，还建立了一个包含数十亿实际内容的知识库，旨在让搜索引擎给出可靠的信息。

并且谷歌声称，AI 在搜索实验室中使用了数十亿次Overview功能，同时实验结果显示，AI Overview使用户更满意，更愿意使用搜索结果。

甚至，谷歌对Gemini的搜索、推理、规划能力都很有信心，直接告诉用户技术博客。「提出你最复杂的问题」。

官方提供的demo也更令人惊叹——

如果你想在周围找到一个符合交通、价格和口碑的普拉提工作室，只要把所有的要求都堆在一个问题上扔给搜索引擎，它就会自动将问题中的信息分解，检索结果并重组在一起。

看上去的确可以节省「跑腿工作」，不需要独立搜索每一个问题，然后自己计划。

但是没有人想到，如此智能化的demo落地到现实中，竟然会有如此大的反差。

03 打OpenAI频繁翻车，谷歌太着急了。

事实上，这已经不是谷歌AI第一次翻车了。

近年来，谷歌经常被自己发布。「胡说八道」AI商品连累。

2023年2月，谷歌宣布推出聊天机器人Bard，以对抗新生ChatGPT，但是在官方发布的demo视频中，Bard给出了一个事实错误的答案，直接导致Alphabet总部市值下降1000亿美元。

当这位官员给出的demo时，Bard被问到：「关于James，我可以告诉我9岁的孩子。 什么是Webb太空望远镜的新发现？」

答案中包含「拍摄了第一个系外行星的照片。」，但是很快就被一群科学家在推特上纠正了——显然是欧洲南方天文台用VLT拍摄的。

根据英国金融时报的分析，Bard可能会误读NASA发布的含糊新闻稿，这有点类似于现在的Gemini的信念。

尽管这一事实错误会使人们对搜索引擎的权威性和准确性产生怀疑，但至少并非如此。「一眼假」，似乎还有容忍的余地。

但是随后的翻车一次比一次更离谱，完全打开了很多网友调侃的闸阀。

今年二月，谷歌发布了新版本的聊天机器人和数字助手Gemini，取代了Bard和Google。 Assistant，并表示有底层技术更新，颇具底层技术更新，「重新再来」的意思。

新发布的Gemini具有图像生成功能，所以有网友要求「一九四三年生成德国战士的图像」，因此，80年前穿着德国军装的居然包括黑人和亚洲人。

另外，Gemini也被指责存在道德和价值判断问题。

提醒它生成几乎没有问题的所有民族或种族的照片，一旦提到「白人」，Gemini立即拒绝，就像触发保护机制一样，并表示「这样可以防止有害的偏见和刻板印象。」

AI和搜索引擎之所以有吸引力，是因为它可以用简单的语言而不仅仅是导出一堆网站链接，让浏览体验更快更高效。

但与此同时，算法也存在相当大的风险和不可控性。例如，系统的内部误差会导致谬误、幻觉和各种道德错误。而且，我们不知道这会对谷歌等搜索引擎的支柱——定向广告产生什么影响。

04 谷歌是在拯救网络，还是在摧毁网络？

一篇BBC独家报道称，「谷歌刚刚更新了算法，因特网将不再是原来的样子。」。

甚至，作者提出了疑问，「谷歌到底是在拯救网络，还是在摧毁网络？」？

近几年来，谷歌对其核心产品发生了一系列戏剧性的变化，AI Overview只是其中之一。

劈柴更是兴奋地表示，谷歌的搜索变革，将开启一个激动人心的技术新时代，并有助于解决网络面临的诸多问题。

现在看来，结果正好相反。

不但对用户而言，无法获得正确、无毒的内容。

对于一些制作大量原创内容的创作者来说，谷歌搜索算法的调整和AI对答案功能的直接总结可能不亚于一场大灾难。

Reddit是谷歌最近算法更新后的赢家之一。

根据SEMRUSH的统计，Reddit的流量急剧增加，谷歌搜索获得的流量急剧增加126%。

不久前，Reddit刚刚公布了自2024年3月上市以来的首个季度收入。其总收入为2.43亿美元，比前一年增长了48%。

Amsive营销机构的SEO战略和研究副总裁表示，「在网络上，Reddit所经历的流量增长是前所未有的。」。

除此之外，Quora、Instagram、Linkedin和维基百科，也有令人印象深刻的增长。

然而，谷歌的最新算法，却抹去了原创者95%的流量。

而且，谷歌承认，AI工具确实偶尔会提供不准确的结果，但也表示正在不断努力提高结果。

与此同时，发言人表示，AI Overview的结果通常来源于多个网页的综合结果，而非单一来源。

下一步，让我们再给谷歌一些耐心，毕竟AI搜索的终极完美，没有人能给予。

参考资料：

https://blog.google/products/search/generative-ai-google-search-may-2024/

https://www.theverge.com/2024/5/24/24164119/google-ai-overview-mistakes-search-race-openai

https://www.bbc.com/future/article/20240524-how-googles-new-algorithm-will-shape-your-internet

本文来自微信微信官方账号“新智元”（ID：AI_era），作者：新智元，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com