CodeWisdom可信AI系列学术报告：第4期（万成城芝加哥大学）-CSDN博客

该博客分享了作者万成城关于机器学习API误用的实证研究和自动化测试工具Keeper的工作。Keeper通过设计伪逆函数和符号执行生成测试用例，能检测和定位软件中机器学习API的错误，提高测试覆盖率并发现潜在缺陷。实验结果显示Keeper在GitHub开源项目中表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

万成城

内容简介

题目

Are Machine Learning Cloud APIs Used Correctly?

报告简介

随着机器学习技术的飞速发展，越来越多的软件系统应用机器学习来实现智能特性。机器学习云服务的出现也极大降低了人工智能软件系统的开发成本和难度。然而人工智能软件的测试面临许多挑战，例如：如何自动检测机器学习API的误用？如何自动化生成图像、文本和音频的测试用例？当检测出故障时，如何将其定位至软件代码或者人工智能内部？

本次分享将介绍我们的机器学习API误用的实证研究工作（发表于ICSE 2021）和针对使用机器学习API的软件的自动化测试技术（发表于ICSE 2022）。

我们研究了机器学习API的常见错误使用模式，然后提出并实现了一个针对人工智能软件的测试工具Keeper。Keeper为每一个机器学习API设计伪逆函数，结合符号执行技术生成测试用例。当检测到失败的测试用例时，Keeper将尝试修复软件代码以提高测试用例的通过率，并以此定位故障原因。我们使用GitHub开源软件对Keeper进行了实验评估，结果表明Keeper在极大提高测试覆盖率的同时，也找到了许多以前未知的软件缺陷。

数据开源地址：https://alert.cs.uchicago.edu

报告人

万成城于2022年6月从芝加哥大学计算机系获博士学位，目前任职博士后研究员。主要研究方向为机器学习系统的性能优化、质量检测与改进，旨在建立高效可靠的人工智能系统。研究工作发表在ICSE、USENIX ATC、ICML等学术顶会。她获得ACM SIGSOFT杰出论文奖（ICSE 2019）、微软博士生研究基金（Microsoft Research Dissertation Grant）、全球杰出女性计算机博士生（EECS Rising Stars）和Sibel 学者奖。

个人主页：http://people.cs.uchicago.edu/~cwan/