基准测试显示了微型系统上的 AI 性能

人工智能 (AI) 的进步促进了各种自动化服务和自主系统；与此同时，针对人工智能的安全威胁也在迅速演变。为了帮助开发基于人工智能的安全服务和系统，欧洲电信标准协会 (ETSI) 保护人工智能行业规范组 (ISG SAI) 分析了保护人工智能的问题和相应的缓解措施；最近发布了两份小组报告。

ML 的生命周期在 ETSI ISG SAI GR-004报告中被捕获，如图 1 所示。正在积极研究实施和部署的安全影响。该报告还确定并描述了四种攻击类型，以提高人们对潜在安全威胁的认识。现有的缓解措施也在 ETSI ISG SAI GR-005报告中进行了分析和总结。根据所解决的 AI 模型是否被部署的缓解措施修改，它们被分类为模型增强和模型不可知。因此，服务开发者或系统部署者可以根据具体的应用场景定义他们的缓解策略。
中毒攻击

一种特定类型的已识别攻击称为中毒攻击，它操纵训练数据以降低基于 AI 的服务的性能。此外，此类攻击可能会降低系统的整体性能或允许某些有意的错误分类。中毒攻击的历史可以追溯到早期的垃圾邮件过滤服务。启用 AI 的反垃圾邮件过滤器不断从电子邮件收件人的反应中学习，以完善过滤功能。电子邮件收件人可能会将普通电子邮件标记为垃圾邮件或将错误分类的垃圾邮件恢复为正常。

攻击者通过修改电子邮件内容来利用学习过程。例如，在垃圾邮件中小心地添加一些精心制作的正常内容会误导反垃圾邮件过滤器将这些正常内容误解为潜在的垃圾邮件。稍后，带有这些精心制作的内容的电子邮件可能会被归类为垃圾邮件。过滤性能会下降到用户禁用反垃圾邮件过滤服务的程度。

为了减轻这种攻击，数据质量是关键。如图 2（来自 ETSI ISG SAI GR-005报告）所示，针对中毒攻击的可用缓解方法包括提高数据供应链的数据质量、训练数据集的数据清理以及在训练过程中通过使用以下技术阻止中毒作为梯度整形。
在垃圾邮件过滤服务的例子中，数据清理和块中毒这两种缓解方法可以一起应用来缓解中毒攻击。收到的电子邮件和收件人的反应，而不是在到达时输入到学习过程中，而是定期保存并批量输入到学习过程中。它是通过减慢过程来阻止中毒的一种变体。同时，对于每个时期收到的一批邮件，可以采用数据清理技术过滤掉可疑的内容。

闪避攻击

在另一种类型的攻击中，逃避攻击，恶意软件混淆是网络安全社区众所周知的。在这种类型的攻击中，攻击者在推理时使用操纵输入来逃避部署的模型，从而导致模型产生不正确的分类。

多年来，恶意软件作者一直试图通过主要通过使用加密来混淆其恶意软件来避免被基于签名的病毒引擎检测到。由于基于静态分析的自动化恶意软件检测器已经从简单的基于签名的方法发展为采用机器学习的更复杂的启发式技术，因此对检测器对混淆的鲁棒性的需求从未如此强烈。

来自谷歌的 Android 使用统计数据显示，全球每月有超过 20 亿台活跃设备在使用，每年下载的应用和游戏达 820 亿次。随着其在物联网连接设备和车辆中的使用势头不断增强，Android 实施成为恶意软件攻击的频繁且越来越多的目标。

对于当前的检测系统来说，混淆是一个具有挑战性的问题，Android 恶意软件作者经常使用加密、反射和引用重命名等技术。这些旨在伪装和伪装应用程序中的恶意功能，欺骗模型将其归类为良性。例如，混淆几乎普遍用于隐藏 API 的使用，恶意应用程序中加密算法的使用率是良性应用程序的五倍。此外，对 76 个恶意软件家族的分析发现，近 80% 的应用程序至少使用一种混淆技术。

许多良性应用程序被混淆以保护知识产权，这一事实进一步加剧了这个问题。最近，使用对抗性学习来创建更复杂的混淆技术（例如变形混淆，其中混淆恶意软件的功能与原始恶意软件的功能相同）的研究兴趣越来越大。

有几种方法可以减轻混淆攻击。首先，可以通过使用相同恶意和良性应用程序的混淆版本来扩充原始训练数据来使用对抗性训练，用两个标签对每个样本进行注释；恶意或良性，混淆或未混淆。对抗性训练的一个问题是模型在部署期间泛化到看不见的未混淆样本的能力降低。克服这个问题的一种方法是使用判别对抗网络 (DAN)，该网络包含两个具有不同成本函数的分类分支，图 3。

DAN 采用​​生成对抗网络 (GAN) 的对抗学习方面，但不是训练生成模型，而是训练两个鉴别器，一个用于恶意软件，另一个用于混淆。使用标准梯度下降算法最小化恶意软件检测的成本函数，以最大化分类准确度。然而，相比之下，混淆分支使用随机梯度上升来最小化成本函数，从而产生分类精度为随机的分类器。这样做的动机是 DAN 确保学习对恶意软件检测本质上有用的特征，同时不知道混淆。这些特征可以导致对看不见的未混淆样本的更大程度的泛化。

最后，虽然最近有很多关于对抗性攻击和缓解措施的研究，但现实世界的用例数量很少，许多人将该领域视为一种学术练习，可以更深入地了解深度学习的工作原理（或断）。另一方面，机器学习在反病毒引擎、软件和 Web 应用程序漏洞检测以及主机和网络入侵检测等网络安全工具中的使用不断增加，将网络安全置于对抗性攻击者和人工智能防御者的前线。 .

由于保护 AI 是确保基于 AI 的服务和系统开发和部署的重要主题，因此需要进行更多研究。作为第一步，ETSI ISG SAI 于 2019 年开始工作，并提交了关于保护 AI 问题陈述和缓解策略报告的两个小组报告。预计在不久的将来，ETSI ISG SAI 会有更多结果。
相关实战：https://www.99qibang.cn/information/116fbbed00dd4820943ce328304acaf8.html
https://www.99qibang.cn/information/2aec9d017b4146de9db1a26a61433f94.html
https://www.99qibang.cn/information/2f28228493ca48659d9e53228ea9fc74.html
https://www.99qibang.cn/information/47cb0839e6584442847cefa2a1c65933.html