近日，来自哥伦比亚大学和马里兰大学的研究团队发布了一项新研究，揭示了拥有互联网访问能力的 AI Agent在安全性方面存在严重漏洞。
研究团队对多个知名的 AI Agent进行了测试，包括 Anthropic 公司的计算机助手、MultiOn Web Agent和 ChemCrow 研究助手。他们发现这些系统在安全性方面的防御相当脆弱。研究者们详细记录了攻击者如何通过四个阶段的过程，将 AI Agent从可信网站引导至恶意网站，最终导致用户敏感数据的泄露。
研究人员开发了一个全面的框架，对不同类型的攻击进行分类，分析了攻击的发起者（外部攻击者或恶意用户）、目标(数据盗取或Agent操控)、获取访问的途径(操作环境、存储或工具)以及所使用的策略(如越狱提示)等因素。在一项特别的测试中，研究者们创建了一个假网站，宣传一款名为 “Himmelblau KÖNIGSKÜHL Diplomat DK-75” 的 “AI 增强德国冰箱”。当 AI Agent访问该网站时，它们遭遇了隐藏的越狱提示，结果在十次尝试中，Agent毫不犹豫地泄露了包括信用卡号在内的机密信息，并从可疑来源下载了文件。
尽管这些 AI 系统的安全隐患已被揭露，许多公司仍在加速推进商业化进程。ChemCrow 已经在 Hugging Face 上提供，Claude 计算机助手以 Python 脚本形式存在，而 MultiOn 则提供开发者 API。同时，OpenAI 已推出 ChatGPT Operator，谷歌也在研发 Project Mariner。研究团队呼吁加强安全措施，包括实施严格的访问控制、URL 验证和下载的用户确认等，以保障用户数据安全。
划重点:
💻 研究表明，AI Agent可以被简单操控，导致用户数据泄露和恶意下载。
📧 攻击者可通过 AI Agent发送钓鱼邮件，增加诈骗风险。
🔒 专家呼吁加强 AI 系统的安全性，建议实施多种防护措施。
