AIGC时代的网络威胁和防御

原创

已于 2024-10-31 16:33:25 修改 · 1.3k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#AIGC #网络安全 #LLM #web安全 #OccupyAI #蜜罐系统 #NLP

于 2024-10-31 16:32:21 首次发布

AIGC时代的网络威胁和防御

1. 生成式AI是否将成为网络威胁者的战术新宠？

论文地址

链接：https://arxiv.org/pdf/2408.12806
标题：《Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks》

论文探讨了生成式人工智能（Generative AI）在网络攻击中的滥用问题，特别是大型语言模型（LLMs）如何被网络犯罪分子利用来生成和自动化网络攻击，如社会工程、恶意代码、有效载荷生成和间谍软件。
引入了“‘OccupyAI,”，这是一个定制的、经过微调的 LLM，专门设计用于自动化和执行网络攻击。这个专门的人工智能驱动工具擅长为各种网络威胁制定步骤并生成可执行代码，包括网络钓鱼、恶意软件注入和系统利用。

研究背景

AI 在网络安全中的双重性：AI 技术既可为网络安全提供先进的防御手段，如基于知识的系统和机器学习，但也可能被网络犯罪分子恶意利用，提升攻击效率和精准度。
生成式 AI 的兴起：生成式 AI 能够创建类似人类生成的内容，如文本、图像和视频。随着技术的发展，像 ChatGPT 和 Google Bard 这样的生成式 AI 模型引发了对其社会、伦理和隐私影响的担忧。
对网络安全的影响：强大的 AI 系统推动了网络犯罪的升级，包括自动化攻击、制作钓鱼邮件、开发恶意软件和传播虚假信息等。

主要贡献

探讨可行性：探讨AI 驱动的网络攻击在现实世界系统上的可行性，展示了如何生成复杂的策略，例如暴力攻击、拒绝服务攻击和自动侦察，从而显著提高这些活动的成功率和效率。
讨论恶意软件生成：讨论了生成复杂恶意软件的可能性，包括逃避传统检测方法的混淆和多态变体，这对网络安全防御提出了重大挑战，并强调了对 AI 威胁的高级对策的迫切需求。
研究自主生成能力：研究了 LLM 自主生成高级恶意软件的能力，这些恶意软件旨在避开传统检测技术，突出了 AI 是网络攻击核心的关键和新出现的威胁。
实证测试：研究的一个重要方面涉及在真实系统上实证测试 LLM 生成的所有攻击策略。此验证过程展示了 AI 在自动化复杂网络攻击方面的有效性，并显示了没有网络安全知识的个人执行复杂攻击的惊人潜力。这些发现凸显了对全面网络安全培训和制定对策的迫切需求

攻击方法

在这里插入图片描述

Character Play：通过提示 AI 扮演特定角色来绕过其预设限制获取恶意信息，揭示了 AI 模型训练数据中的潜在偏见。例如，在要求生成混淆代码时，让 ChatGPT 扮演关系咨询的角色可能会绕过限制获取信息。
Switch Method：提示 ChatGPT 模型发生行为上的急剧转变，利用其呈现不同角色的能力生成网络攻击，如死代码插入、控制流混淆和代码混乱等。使用时需给出清晰指令。
Occupy AI：定制的微调 LLM，专门用于自动化和执行网络攻击。它能分析和生成攻击向量，为各种网络威胁生成可执行代码，包括分析目标系统漏洞并制定攻击策略，如生成钓鱼邮件、脚本跨站脚本攻击和自动化 SQL 注入攻击等。
Prompt Injection Attacks：恶意插入提示到 LLM 系统中，类似于 SQL 注入攻击，可欺骗系统执行未授权命令，导致信息泄露和系统安全受损等严重后果。
社会工程攻击：利用 AI 模型制作钓鱼邮件，网络犯罪分子越来越多地利用 ChatGPT 等 AI 模型来制作令人信服和有说服力的信息，以诱使受害者采取所需的行动，实验中发送给 500 名随机选择的大学师生，约 75.4% 的收件人点击链接，显