基于应用程序编程接口（API）的自动化测试（下）
作者 | 黄杉 华东师范大学软件工程学院博士
苏亭 华东师范大学软件工程学院教授
版块 | 鉴源论坛 · 观模
社群 |添加微信号“ticpshanghai”加入“上海控安51fusa安全社区”
上文“基于应用程序编程接口（api）的自动化测试（上）”中，系统介绍了应用程序编程接口（api）的概念及其在软件开发中的作用与重要性，重点分享自动化api测试的发展历程与测试对象。
本文将深入剖析单元测试、模糊测试等当前主流的自动化api测试形式与技术。
04
自动化api测试形式与技术
对api进行自动化测试一般使用单元测试（unit testing）的测试形式，这也是当下敏捷开发的重要组成部分。随着模糊测试的兴起，针对api的模糊测试（api fuzzing）成为当下流行的api测试技术。下面将从单元测试和模糊测试两部分对自动化api测试形式和技术进行介绍。
4.1 单元测试（unit testing）
单元测试（unit testing）又称为模块测试，是一种测试形式（或称测试框架），它针对程序模块（软件设计的最小单位）来进行正确性检验的测试工作。程序单元是应用的最小的测试部件。在过程化编程中，单元测试由单个api或者多个api组合完成；对于面向对象编程，单元测试由单个或者多个类的方法以及对象之间的交互操作完成。单元测试主要由开发人员手动编写（如junit、pytest），也可以通过一些自动测试用例生成技术（如randoop[6]、graphfuzz[4]）完成。
单元测试的一般流程为：（1）编写或生成单元测试用例，其中包含测试环境初始化、调用被测api完成相应功能、检查调用结果；（2）执行单元测试用例，收集执行结果，统计成功的测试用例和失败的测试用例，失败的测试用例表明api实现中存在错误或缺陷。无论是函数级api还是restful api，使用单元测试这种测试形式都十分有效。
图 1 junit单元测试示例
如图 1所示，这是一个使用junit单元测试框架编写的java单元测试用例。“@test”表示该函数执行一个单元测试用例，其中首先初始化一个adderimpl对象，并调用该对象的add方法，传入1和2这两个参数，最终判断add方法的返回结果是否为3。如果结果不为3，则该单元测试失败，表示add方法实现出错，反则成功。
4.2 api模糊测试 （fuzz test）
模糊测试（fuzz test）是一种自动化测试技术，其核心组件模糊器（fuzzer）可以基于语法规则直接生成测试用例，也可以基于已有测试用例进行编译生成测试用例。由于模糊器可以生成多样的测试用例，这些测试用例相比于开发人员编写的测试更有可能触发程序中的边界条件和更多样的测试场景，因此模糊测试在测试软件鲁棒性和软件漏洞挖掘中非常有效。
针对api的模糊测试流程和一般针对二进制程序的模糊测试流程相同：模糊器从种子库中选取种子进行变异或者直接根据语法规则生成测试用例，执行测试用例，监测执行过程并检查执行结果，当执行过程中出现崩溃或者执行结果与预期不符，则认为找到了潜在的api错误。
4.2.1 针对函数级api的模糊测试
llvm项目中的libfuzzer[11]是一款进程内的由覆盖率引导的进化型模糊引擎。它通过读取用户提供的种子（特定的程序输入或者api调用参数），对种子进行变异生成新的测试用例输入并传递给由用户编写的测试驱动，从而实现api模糊测试。
图 2 libfuzzer测试驱动示例
图 2是一个libfuzzer测试驱动示例，libfuzzer生成的测试输入将通过data参数传入测试驱动，用户则会将该测试输入在经过适当处理后传递给被测api，从而对api进行测试。值得注意的是，在libfuzzer的测试驱动中，开发人员同样可以编写条件检查来达到单元测试的效果。
libfuzzer初步解决了测试输入生成，而对api的模糊测试难点在于如何触发更深层次的api行为。为了更高效地对函数级api进行测试，研究人员们对如何高效地自动化生成测试驱动进行了研究，即如何自动化地构造有效的api调用序列和api执行环境和程序片段。
fudge[2]是一个通过对代码切片进行合成来生成模糊测试候选驱动的工具。fudge的核心见解是，以有效且有用的方式执行库函数的模糊测试驱动可以通过代码库中的现有代码片段合成。fudge的整体流程如图 3所示，在完成模糊测试驱动生成后，fudge会将生成的驱动交给开发人员进行评估。
图 3 fudge整体流程
fuzzgen[5] 利用整个系统分析来推断库的接口并专门为该库合成模糊测试驱动。fuzzgen不需要开发人员的参与，并且可以广泛应用于多种编程库。fuzzgen的核心思想是系统中的现有代码在多个方面利用编程库。如图 4所示，它从系统中已有使用库的代码出发，通过对整个系统进行分析，先确定哪些是api，再从控制流和数据流两方面整理出抽象api依赖图(a2dg)。这个过程需要确定每个参数的可能值和类型，并分析参数之间的依赖关系。最后，基于依赖图生成libfuzzer的桩代码，从而进行不需人工干预、能较好地平衡宽度和深度的模糊测试。
图 4 fuzzgen的核心思想示意图
graphfuzz[4]则是通过将整个api调用序列表示为一个数据流图，然后在数据流图中进行给定的变异操作进行api调用序列构造。图 5列举了三种graphfuzz支持的数据流图变异操作：删除、插入和串联。
图 5 graphfuzz支持的部分变异操作
除了泛用性的针对函数级api的模糊测试方法的研究工作外，还有特别针对系统调用的模糊测试方法的研究工作，这些研究工作都着力于解决如何构造api调用能够探索更深层次的api使用场景这一挑战。
4.2.2 针对restful api的模糊测试
早期chakrabarti[3]等人提出了黑盒的、基于规范的restful api测试方法，其中测试用例需要使用一种基于xml的可扩展测试规范语言进行手工构造。但手工构造测试用例需要较多的人工开销，后来的工作通过从openapi或者swagger规范中提取restful api的接口信息，从而实现了测试用例的自动化生成。
evomaster[8]是一个使用进化算法来生成restful api测试用例的基于搜索的模糊测试工具，这也是一款完全自动化的黑盒测试工具。它在测试restful服务内部更深层次的逻辑方面更有效，因为它可以搜集和使用有关服务目标的更多信息来指导测试用例生成。
restler[1]是第一个有状态基于广度优先探索的restful api模糊测试器。restler 通过分析云服务的 api 规范，生成请求序列并自动调用云服务的api对其测试。restler首先会通过读取swagger接口文档（图 6给出了swagger接口文档的示例）对api返回结果之间的依赖关系进行推断，然后生成合法的api调用序列。然后，restler会根据执行api调用序列过程中服务器返回的状态码来修改原有的api调用序列，使其避免生成无效的api调用序列。
图 6 swagger接口文档示例
05
总结
自动化api测试有较长的历史，其自身也在不断演化进步。针对函数级api的自动化测试在泛用方法研究的基础上，目前也出现了一些针对特殊编程语言和特殊api场景的研究，如针对rust library和深度学习库（pytorch、tensorflow）的自动化测试方法研究。针对restful api的自动化测试也是继soap测试之后出现的web api测试新种类。随着软件工程技术的发展，api也在不断进化，如何根据不同api自身特点制定相对应的自动化测试方案将会是自动化api测试重点关注的核心问题。
参考文献：
[1] vaggelis atlidakis, patrice godefroid, and marina polishchuk. 2019. restler: stateful rest api fuzzing. in 2019 ieee/acm 41st international conference on software engineering (icse), 748–758.
[2] domagoj babić, stefan bucur, yaohui chen, franjo ivančić, tim king, markus kusano, caroline lemieux, lászló szekeres, and wei wang. 2019. fudge: fuzz driver generation at scale. in proceedings of the 2019 27th acm joint meeting on european software engineering conference and symposium on the foundations of software engineering (esec/fse 2019), association for computing machinery, new york, ny, usa, 975–985.
[3] sujit kumar chakrabarti and prashant kumar. 2009. test-the-rest: an approach to testing restful web-services. in 2009 computation world: future computing, service computation, cognitive, adaptive, content, patterns, 302–308.
[4] harrison green and thanassis avgerinos. 2022. graphfuzz: library api fuzzing with lifetime-aware dataflow graphs. in 2022 ieee/acm 44th international conference on software engineering (icse), 1070–1081
[5] kyriakos ispoglou, daniel austin, vishwath mohan, and mathias payer. 2020. {fuzzgen}: automatic fuzzer generation. 2271–2287. retrieved july 5, 2023
[6] carlos pacheco, shuvendu k. lahiri, michael d. ernst, and thomas ball. 2007. feedback-directed random test generation. in 29th international conference on software engineering (icse’07), ieee, minneapolis, mn, usa, 75–84. d
[7] 2023. api. wikipedia. retrieved august 16, 2023
[8] 2023. evomaster: a tool for automatically generating system-level test cases. retrieved august 16, 2023
[9] pytest: helps you write better programs — pytest documentation. retrieved august 16, 2023 [10] junit 5. retrieved august 16, 2023
[11] libfuzzer – a library for coverage-guided fuzz testing. — llvm 18.0.0git documentation. retrieved august 16, 2023
又一12英寸晶圆落地上海
SV-6403-IP可视对讲分机，紧急求助报警箱
2023年全球并购交易总额降至近9年最低
李书福献策新能源汽车：打造新动能，改造老动能
欧司朗推出旗下首款使用量子点光转换技术的LED
基于应用程序编程接口（API）的自动化测试（下）
基于四核Cortex-A72的CPU QorIQ LS1046A 64 位处理器
大众的电动化路线按部就班 主要分为三个阶段
霍尔传感器接线图
电池技术是目前电动汽车面临的最大瓶颈
京东方重庆第6代AMOLED（柔性）生产线正式对外宣布量产
Maxim的TDM-over-Packet (TDMoP)设
新唐科技N567L160合成器简介
一款新的8系SOC——骁龙870 5G移动平台
合宙“花生米”4G模组——Air700EL Air700EY全新上市
中国科学技术大学：半合成生物传感器揭示辅酶A代谢平衡
一千网友心中有一千个小米6 这是心中的小米6么？
微创新不断,颠覆式创新才是手机行业未来
新能源汽车发展迅速，未来新能源汽车发展方向你知道吗？
美中贸易战火升温，美光遭大陆法院裁定
苏亭 华东师范大学软件工程学院教授
版块 | 鉴源论坛 · 观模
社群 |添加微信号“ticpshanghai”加入“上海控安51fusa安全社区”
上文“基于应用程序编程接口（api）的自动化测试（上）”中，系统介绍了应用程序编程接口（api）的概念及其在软件开发中的作用与重要性，重点分享自动化api测试的发展历程与测试对象。
本文将深入剖析单元测试、模糊测试等当前主流的自动化api测试形式与技术。
04
自动化api测试形式与技术
对api进行自动化测试一般使用单元测试（unit testing）的测试形式，这也是当下敏捷开发的重要组成部分。随着模糊测试的兴起，针对api的模糊测试（api fuzzing）成为当下流行的api测试技术。下面将从单元测试和模糊测试两部分对自动化api测试形式和技术进行介绍。
4.1 单元测试（unit testing）
单元测试（unit testing）又称为模块测试，是一种测试形式（或称测试框架），它针对程序模块（软件设计的最小单位）来进行正确性检验的测试工作。程序单元是应用的最小的测试部件。在过程化编程中，单元测试由单个api或者多个api组合完成；对于面向对象编程，单元测试由单个或者多个类的方法以及对象之间的交互操作完成。单元测试主要由开发人员手动编写（如junit、pytest），也可以通过一些自动测试用例生成技术（如randoop[6]、graphfuzz[4]）完成。
单元测试的一般流程为：（1）编写或生成单元测试用例，其中包含测试环境初始化、调用被测api完成相应功能、检查调用结果；（2）执行单元测试用例，收集执行结果，统计成功的测试用例和失败的测试用例，失败的测试用例表明api实现中存在错误或缺陷。无论是函数级api还是restful api，使用单元测试这种测试形式都十分有效。
图 1 junit单元测试示例
如图 1所示，这是一个使用junit单元测试框架编写的java单元测试用例。“@test”表示该函数执行一个单元测试用例，其中首先初始化一个adderimpl对象，并调用该对象的add方法，传入1和2这两个参数，最终判断add方法的返回结果是否为3。如果结果不为3，则该单元测试失败，表示add方法实现出错，反则成功。
4.2 api模糊测试 （fuzz test）
模糊测试（fuzz test）是一种自动化测试技术，其核心组件模糊器（fuzzer）可以基于语法规则直接生成测试用例，也可以基于已有测试用例进行编译生成测试用例。由于模糊器可以生成多样的测试用例，这些测试用例相比于开发人员编写的测试更有可能触发程序中的边界条件和更多样的测试场景，因此模糊测试在测试软件鲁棒性和软件漏洞挖掘中非常有效。
针对api的模糊测试流程和一般针对二进制程序的模糊测试流程相同：模糊器从种子库中选取种子进行变异或者直接根据语法规则生成测试用例，执行测试用例，监测执行过程并检查执行结果，当执行过程中出现崩溃或者执行结果与预期不符，则认为找到了潜在的api错误。
4.2.1 针对函数级api的模糊测试
llvm项目中的libfuzzer[11]是一款进程内的由覆盖率引导的进化型模糊引擎。它通过读取用户提供的种子（特定的程序输入或者api调用参数），对种子进行变异生成新的测试用例输入并传递给由用户编写的测试驱动，从而实现api模糊测试。
图 2 libfuzzer测试驱动示例
图 2是一个libfuzzer测试驱动示例，libfuzzer生成的测试输入将通过data参数传入测试驱动，用户则会将该测试输入在经过适当处理后传递给被测api，从而对api进行测试。值得注意的是，在libfuzzer的测试驱动中，开发人员同样可以编写条件检查来达到单元测试的效果。
libfuzzer初步解决了测试输入生成，而对api的模糊测试难点在于如何触发更深层次的api行为。为了更高效地对函数级api进行测试，研究人员们对如何高效地自动化生成测试驱动进行了研究，即如何自动化地构造有效的api调用序列和api执行环境和程序片段。
fudge[2]是一个通过对代码切片进行合成来生成模糊测试候选驱动的工具。fudge的核心见解是，以有效且有用的方式执行库函数的模糊测试驱动可以通过代码库中的现有代码片段合成。fudge的整体流程如图 3所示，在完成模糊测试驱动生成后，fudge会将生成的驱动交给开发人员进行评估。
图 3 fudge整体流程
fuzzgen[5] 利用整个系统分析来推断库的接口并专门为该库合成模糊测试驱动。fuzzgen不需要开发人员的参与，并且可以广泛应用于多种编程库。fuzzgen的核心思想是系统中的现有代码在多个方面利用编程库。如图 4所示，它从系统中已有使用库的代码出发，通过对整个系统进行分析，先确定哪些是api，再从控制流和数据流两方面整理出抽象api依赖图(a2dg)。这个过程需要确定每个参数的可能值和类型，并分析参数之间的依赖关系。最后，基于依赖图生成libfuzzer的桩代码，从而进行不需人工干预、能较好地平衡宽度和深度的模糊测试。
图 4 fuzzgen的核心思想示意图
graphfuzz[4]则是通过将整个api调用序列表示为一个数据流图，然后在数据流图中进行给定的变异操作进行api调用序列构造。图 5列举了三种graphfuzz支持的数据流图变异操作：删除、插入和串联。
图 5 graphfuzz支持的部分变异操作
除了泛用性的针对函数级api的模糊测试方法的研究工作外，还有特别针对系统调用的模糊测试方法的研究工作，这些研究工作都着力于解决如何构造api调用能够探索更深层次的api使用场景这一挑战。
4.2.2 针对restful api的模糊测试
早期chakrabarti[3]等人提出了黑盒的、基于规范的restful api测试方法，其中测试用例需要使用一种基于xml的可扩展测试规范语言进行手工构造。但手工构造测试用例需要较多的人工开销，后来的工作通过从openapi或者swagger规范中提取restful api的接口信息，从而实现了测试用例的自动化生成。
evomaster[8]是一个使用进化算法来生成restful api测试用例的基于搜索的模糊测试工具，这也是一款完全自动化的黑盒测试工具。它在测试restful服务内部更深层次的逻辑方面更有效，因为它可以搜集和使用有关服务目标的更多信息来指导测试用例生成。
restler[1]是第一个有状态基于广度优先探索的restful api模糊测试器。restler 通过分析云服务的 api 规范，生成请求序列并自动调用云服务的api对其测试。restler首先会通过读取swagger接口文档（图 6给出了swagger接口文档的示例）对api返回结果之间的依赖关系进行推断，然后生成合法的api调用序列。然后，restler会根据执行api调用序列过程中服务器返回的状态码来修改原有的api调用序列，使其避免生成无效的api调用序列。
图 6 swagger接口文档示例
05
总结
自动化api测试有较长的历史，其自身也在不断演化进步。针对函数级api的自动化测试在泛用方法研究的基础上，目前也出现了一些针对特殊编程语言和特殊api场景的研究，如针对rust library和深度学习库（pytorch、tensorflow）的自动化测试方法研究。针对restful api的自动化测试也是继soap测试之后出现的web api测试新种类。随着软件工程技术的发展，api也在不断进化，如何根据不同api自身特点制定相对应的自动化测试方案将会是自动化api测试重点关注的核心问题。
参考文献：
[1] vaggelis atlidakis, patrice godefroid, and marina polishchuk. 2019. restler: stateful rest api fuzzing. in 2019 ieee/acm 41st international conference on software engineering (icse), 748–758.
[2] domagoj babić, stefan bucur, yaohui chen, franjo ivančić, tim king, markus kusano, caroline lemieux, lászló szekeres, and wei wang. 2019. fudge: fuzz driver generation at scale. in proceedings of the 2019 27th acm joint meeting on european software engineering conference and symposium on the foundations of software engineering (esec/fse 2019), association for computing machinery, new york, ny, usa, 975–985.
[3] sujit kumar chakrabarti and prashant kumar. 2009. test-the-rest: an approach to testing restful web-services. in 2009 computation world: future computing, service computation, cognitive, adaptive, content, patterns, 302–308.
[4] harrison green and thanassis avgerinos. 2022. graphfuzz: library api fuzzing with lifetime-aware dataflow graphs. in 2022 ieee/acm 44th international conference on software engineering (icse), 1070–1081
[5] kyriakos ispoglou, daniel austin, vishwath mohan, and mathias payer. 2020. {fuzzgen}: automatic fuzzer generation. 2271–2287. retrieved july 5, 2023
[6] carlos pacheco, shuvendu k. lahiri, michael d. ernst, and thomas ball. 2007. feedback-directed random test generation. in 29th international conference on software engineering (icse’07), ieee, minneapolis, mn, usa, 75–84. d
[7] 2023. api. wikipedia. retrieved august 16, 2023
[8] 2023. evomaster: a tool for automatically generating system-level test cases. retrieved august 16, 2023
[9] pytest: helps you write better programs — pytest documentation. retrieved august 16, 2023 [10] junit 5. retrieved august 16, 2023
[11] libfuzzer – a library for coverage-guided fuzz testing. — llvm 18.0.0git documentation. retrieved august 16, 2023
又一12英寸晶圆落地上海
SV-6403-IP可视对讲分机，紧急求助报警箱
2023年全球并购交易总额降至近9年最低
李书福献策新能源汽车：打造新动能，改造老动能
欧司朗推出旗下首款使用量子点光转换技术的LED
基于应用程序编程接口（API）的自动化测试（下）
基于四核Cortex-A72的CPU QorIQ LS1046A 64 位处理器
大众的电动化路线按部就班 主要分为三个阶段
霍尔传感器接线图
电池技术是目前电动汽车面临的最大瓶颈
京东方重庆第6代AMOLED（柔性）生产线正式对外宣布量产
Maxim的TDM-over-Packet (TDMoP)设
新唐科技N567L160合成器简介
一款新的8系SOC——骁龙870 5G移动平台
合宙“花生米”4G模组——Air700EL Air700EY全新上市
中国科学技术大学：半合成生物传感器揭示辅酶A代谢平衡
一千网友心中有一千个小米6 这是心中的小米6么？
微创新不断,颠覆式创新才是手机行业未来
新能源汽车发展迅速，未来新能源汽车发展方向你知道吗？
美中贸易战火升温，美光遭大陆法院裁定