世界上使用量超过万亿的热门数据库，首次被大模型抓出严重漏洞

近日，谷歌研究人员宣布，他们首次使用大语言模型，发现了一个重要的漏洞。

谷歌在一篇博客文章中说，她们相信这是真的 AI 在广泛使用的现实手机中，agent发现了第一个未知的、可用的内存安全问题的公开案例。具体而言，它存在 SQLite 在这个过程中，发现了一个可以利用的堆栈缓冲区下溢漏洞。

这个漏洞在 10 月便被谷歌报道了 SQLite 开发团队，后者在同一天修复了。因为漏洞在官方发布前就被消除了，所以没有影响。 SQLite 的用户。

1 使用大模型发现漏洞：或者程序崩溃，甚至执行任意代码

这个基于大语言模型的漏洞挖掘 AI agent 名叫“Big Sleep”，是谷歌的 Project Zero 和 DeepMind 据报道，这是今年合作的结果。 6 月亮宣布的初期项目“Project Naptime”的延伸。

谷歌指出，是的 8 月份的 DEFCON 负责在安全会议上建立安全会议 AI 网络安全研究人员协助漏洞研究工具 SQLite 另外一个问题在中间被发现，这激发了他们的团队试图看看是否能找到更严重的漏洞。

拒绝背锅！39 失业后，我描述了一个使用量超过1万亿元的数据库。堆叠缓冲区下溢出的漏洞可能会导致攻击者程序崩溃，甚至执行任何代码。此外，崩溃或代码执行将发生 SQLite 在可执行程序(而不是库)中，原因是在代码的某个地方，特殊值 -1 意外地作为数组索引使用。

这一模式将产生隐性边缘状态。但是函数 seriesBestIndex 这种边缘状况没有得到妥善处理，导致处理正确。 rowid 列出有约束的查询时，将负检索写入栈缓冲区。向团队提供 agent 在构建过程中，启用了调整肯定，这一条件在第一位 706 一定是检查出来的：

但是，在发布版本中，这肯定是不存在的。所以，在谷歌的测试中(这将因编译器和优化等级而异)， 718 行的后续写入操作会损害指向。 pConstraint 最小有效的指针 32 位置，这将导致下一次循环迭代中的撤销引用。这样的漏洞是可以利用的。

然而，谷歌的研究人员也承认，这一漏洞的应用非常困难。

“Big Sleep“目前还处于研究阶段。到目前为止，它使用带有已知漏洞的小程序来评估它发现漏洞的能力。这是它在现实世界环境中的第一次实验。

测试期间，团队收集了 SQLite 最近几次提交代码库。“在手动删除了只用于文档的琐碎和修改之后，我们进行了调整。 prompt，向 agent 提供提交信息与变更的区别，并要求 agent 对当前代码库进行审查( HEAD）谷歌在博文中写道，是否存在可能没有修复的相关问题。

基于 Gemini 1.5 Pro 这个漏洞终于被大模型发现了。“在博文中，”Big Sleep”该团队还阐述了代理评估代码、发现漏洞、导致系统崩溃和生成根本原因分析的过程要点。详细信息可以查看：https://googleprojectzero.blogspot.com/2024/06/project-naptime.html

2 AI 未来的模糊测试？

很多像谷歌这样的公司都用一种叫做“模糊测试”（Fuzzing）通过向软件提供随机或无效的数据来测试软件，从而识别漏洞，触发错误或使程序崩溃。

然而，谷歌表示，模糊测试在“通过模糊测试帮助防御者找到困难(或不可能)发现的漏洞”方面做得不够，并补充说，他们“希望 AI 可以缩小这个差距”。

"我们认为这项工作有很大的防御潜力，""Big Sleep”团队博客文章声称。“这个漏洞本身很有趣，而且现有的 SQLite 检测基础设施(通过) OSS-Fuzz 而且项目本身的基础设施也没有发现这个问题，所以我们做了一些进一步的调查。

值得注意的是，现在 10 月亮，总部位于西雅图。 Protect AI 该公司宣布了一种免费、开源的工具，声称可以在 Anthropic 的 Claude AI 在模型的帮助下，在 Python 在代码库中发现零日漏洞。这个工具叫做 VulnHunter，根据其开发人员的说法，各种开源已经存在。 Python 在这个项目中发现了十多个零日漏洞。

据谷歌介绍，这两种工具的目的各不相同。一位谷歌发言人正在接受。《The Register》采访中强调，“我们在博客文章中的声明是，”Big Sleep在广泛使用的真实软件中，我们发现了第一个未知且可用的内存安全问题。”“Python 的 LLM 发现的不是与内存安全有关的漏洞，而是不同类型的缺陷。

“然而，我想重申一下，这些都是高度实验的结果，”谷歌队写道。“Big Sleep“团队的立场是，Big Sleep Agent 当前对特定目标的模糊检测工具在(发现漏洞)方面至少同样有效。

参考链接：

https://www.theregister.com/2024/11/05/google_ai_vulnerability_hunting/

https://googleprojectzero.blogspot.com/2024/06/project-naptime.html

https://www.forbes.com/sites/daveywinder/2024/11/05/google-claims-world-first-as-ai-finds-0-day-security-vulnerability/

本文来自微信微信官方账号“InfoQ"，整理：燕珊，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com