欢迎大家关注「几米宋」的微信公众号,公众号聚焦于云原生、AI、服务网格、工具教程、技术观察以及日常感悟等内容,更多精彩内容请访问个人网站 jimmysong.io。
📄 文章摘要
本文基于 O'Reilly 发布的《Radar Trends to Watch: July 2025》,从个人视角解读 AI 与云安全的前沿趋势与挑战,涉及 Agent 安全、prompt injection、工具中毒、DDoS 防御等核心议题。🔗 在 jimmysong.io 上 阅读原文 体验更佳。
最近 O’Reilly 发布了 2025 年 7 月的技术雷达(Radar Trends to Watch),涵盖了 AI、云安全、编程范式、量子计算等多个方向。本文我将以个人视角,重点聚焦两大领域:AI 安全与云安全——这两者的交集,正在塑造未来技术的边界与挑战。
智能 Agent 崛起与“致命三角”
随着 LLM 与工具集成越来越紧密,具备自主行为能力的 AI Agent 正在迅速普及。但这些 Agent 同时拥有:
• 读取私密数据的权限
• 处理不可信输入的能力
• 与外部服务交互的 API 权限
这种组合带来了前所未有的安全威胁。Simon Willison 形象地将其称为“致命三角”(lethal trifecta),认为这三种能力的组合是 Agent 安全最大的挑战。
更令人担忧的是,尽管社区已经有研究试图通过设计模式缓解 prompt injection 风险,如 Google 的安全 Agent 方法,但从目前来看,Prompt Injection 仍是“未解之题”。
Agent 系统性风险:从工具中毒到内容偏见
AI 系统如今正面临一类新型攻击:Tool Poisoning Attacks。攻击者可以在工具或插件元数据中植入恶意指令(如命令描述中隐藏 payload),诱导模型在使用工具时被操控。相关研究来自 Invariant Labs 和 CyberArk(参考)。
同时,AI 模型仍存在结构性偏见。例如 Vision-Language Models(VLMs)在识别反事实图片时表现极差,例如无法正确处理一只五条腿的狗。这让我们必须思考:AI 并非“更聪明的人类”,而是更脆弱的系统组合。
云安全的“边界挑战”:攻击升级,信任下降
在云安全领域,Cloudflare 最近成功拦截了史上最大的一次 DDoS 攻击,峰值高达 7.3 Tbps。这表明攻击者正在系统性提升攻击规模和复杂度。
同时,攻击者还在利用“可信链”发起复杂钓鱼,例如所谓的ChainLink Phishing,逐步引导用户在看似可信的路径中泄露信息。
我们越来越多地看到攻击者使用“平台原生”的方式发起攻击,而防御方却依然停留在传统边界模型中。安全边界模糊、供应链污染、MCP 服务被劫持(参考:Toxic Agent Flows)——这些问题正在重塑云安全策略的定义。
AI 领域近期值得关注的事件一览(原文精选)
以下是我从 O’Reilly 原文中挑选的、对 AI 从业者具有参考价值的重要事件:
事件/产品 | 简要说明 |
Magenta RT | Google 开源的实时音乐生成模型,可用于 live synthesis |
Mistral Magistral | 支持可追溯推理的新模型,针对法律、金融等高要求领域 |
OpenAI Codex Agent | 支持联网、自动编程的 Agent 工具,现已对 ChatGPT Plus 开放 |
Google NotebookLM 新功能 | 支持将搜索结果“播客化”,由 AI 朗读摘要 |
lowbackgroundsteel.ai | 一个收录“AI 出现前”内容的资料库,用于检测数据污染 |
Institutional Books 数据集 | 包含 1M+ 公共领域书籍的大型训练集,达 242B tokens |
Apple Foundation Models API | Apple 宣布开放其端侧模型 API,但更新力度有限 |
Slop Forensics | 一种用于追踪模型“祖先”的技术,用于分析模型是否使用某些基础数据或模型生成的合成数据 |
写在最后:AI 安全是系统性挑战,不只是模型对抗
这期技术雷达让我最大的感触是:AI 安全正在从“模型安全”走向“Agent 安全”,从“prompt 对抗”走向“系统供应链安全”。我们已经不能仅仅靠 fine-tune 或 RLHF 来规避风险,而是要构建具有安全思维的整个架构体系。
对于从事平台、安全、开发工具链、AI Infra 的开发者来说,2025 的关键词不是“更大模型”,而是“可控的 Agent,可信的执行链”。
未来的 AI 平台,不仅要跑得快,更要跑得稳。你准备好了吗?
🔗 更多精彩内容
• 🌐 个人网站:jimmysong.io
• 🏠 云原生社区:cloudnativecn.com
• 🎥 Bilibili:space.bilibili.com/206214
云原生社区
云原生社区 是国内最大的云原生技术社区,汇聚了众多技术专家和爱好者!
👥 如何加入:
• 关注公众号【云原生社区动态】
• 访问官网:cloudnativecn.com
• 微信群:添加微信
jimmysong
备注"入群"
💫 如果这篇文章对你有帮助,欢迎点赞、分享给更多朋友!
版权声明
本文首发于 jimmysong.io,遵循 CC BY-NC-SA 4.0 协议。转载请注明出处并保留作者信息。