非功能测试基础

Jmeter工具RPC调用

需要导入jar包

Jmeter中MQ协议脚本编写

1. MQ的类型
ActiveMQ：
RabbitMQ：
RocketMQ：
kafka：实时日志处理
2. RocketMQ基础概念

* Producer：消息生产者，一般由业务系统负责产生消息
* Consumer：消息消费者，一般是后台系统负责异步消费
* Topic：主题，用于将消息按照主题划分，Producer将消息发往指定的Topic，Consumer订阅该Topic就可以收到这条消息
* Message：消息，每个message必须指定一个topic
* NameServer：NameServer可以看作是RocketMQ的注册中心，他管理两部分数据：集群Topic- Queue的路由配置；Breaker的实时配置信息，其他模块通过NameServer提供的接口获取最新的Topic配置和路由信息。
* Broker：Broker是RocketMQ的核心模块，负责接收并存储消息，同时提供Push/Pull接口来将消息发送给Consumer，Broker会注册/同步Topic配置信息到NameServer，实时更新Topic信息到NameServer

3. RocketMQ基础架构

4. RocketMQ消息持久化

5. 步骤

• 启动NameServer服务 start nameserver.cmd
• 启动Broker服务 start mqbroker.cmd
• 生产者发送消息
• 消费者订阅消息

6. MQ压测脚本编写 - 生产者

• 新建线程组、添加BeanShell采样器
• 在Jmeter中导入jar包（生产者执行需要的所有jar包）
• 编写订阅消费代码
• 脚本增强，添加检查点、断言

7. MQ压测脚本编写 - 消费者

• 新建线程组、添加BeanShell采样器
• 在idea中对消费者再次打包，然后引入到Jmeter中
• 编写订阅消费代码
• 脚本增强，添加检查点、断言

Jmeter中TCP协议脚本编写

TCP协议的编写步骤

1. 创建线程组
2. 创建TCP采样器

1、TCPClient classname：填写TCP报文格式（有三类），默认前缀
org.apache.jmeter.protocol.tcp.sampler.TCPClientImpl：普通文本传输，可设置它的编码格式（json串）
org.apache.jmeter.protocol.tcp.sampler.BinaryTCPClientImpl：十六进制报文（常用）
LengthPrefixedBinaryTCPClientImpl：继承BinaryTCPClientImpl类，并在BinaryTCPClientImpl前面增加两个字节数据长度
2、Close connection：如果选中，这个链接将会在运行中取样器之后被关闭
Re-use connection：如果选中，这个链接处于保持打开状态
3、End of line(EOL) byte value：响应数据的最后2位，转换为10进制的值，取值区间[-128,127]

3. 填入IP地址等对应参数
4. 增强脚本、添加断言、查看结果树

性能测试方案&案例编写规范

1. 测试目的
	准切描述非功能测试的指标，响应时间 TPS等
2. 测试范围
	设计到的关联系统，说明测试的特性和不需要测试的特性
3. 测试模型
	描述生产系统的业务量分析统计，说明生产环境下各交易的非功能指标；说明个典型交易的交易路径；如果存在多个测试模型，需为每个模型进行命名，名字要求简明扼要并明确测试目的
4. 测试策略
	描述测试的+-压策略以及压力发起工具；测试执行的方式和执行的向后顺序；采用真实系统还是部署挡板
5. 监控策略
描述监控的对象及指标，采用的监控工具以及监控的时机等
6. 启停准则
	* 启动准则
		被测交易SIT功能、测试方案、案例评审、脚本编写、测试数据、测试环境准备、相关测试人员
	* 退出准则
		描述测试工作正常或异常退出的约束条件
	* 暂停/再启动准则
		测试暂停准则：测试需求、方案、计划发生重大变更；测试过程发生重大缺陷；测试环境出现问题
		测试再启动准则：测试需求、方案、计划重新明确；重大缺陷修复完成；测试环境问题修复；
7. 测试内容
	根据测试目的、被测范围和测试策略明确测试内容；
	每一项测试内容的实施都有具体的测试执行目的，可单独进行测试结果的收集；
	明确描述每一项测试内容的准备、执行和结果收集的要点和特别需要注意的问题；
	明确各项测试内容之间的先后等关系；
8. 测试环境\工具
	网络拓扑示意图、测试环境软硬件配置表（数量、型号、资源、操作系统、部署方式、用途）以及相应的软件配置（数据库，中间件或第三方工具）
9. 测试输出
	需要描述非功能测试的过程中输出文档和结果输出文档
	各个阶段主要交付物：
		* 测试规划：需求调研表、调研反馈、测试方案；
		* 测试准备：测试环境、测试脚本、数据、测试案例；
		* 测试执行：测试执行日志、测试结果文档、测试缺陷；
		* 系统调优：测试缺陷、调优记录；
		* 测试收尾：测试报告、归档文件；
10. 测试计划
	说明非功能测试任务的时间计划安排，具体计划以项目整体测试计划时间为准； 任务名称、工期、开始时间、完成时间
11. 测试风险
	测试实施过程：
	测试结果方面：测试误差、环境差异
12. 案例设计原则
	* 覆盖率原则：设计足够的测试案例，每个需求都必须被测试案例覆盖
	* 可操作性原则：依托当前测试环境，以及现有的技术条件可以执行的 可操作的
	* 有效性原则：应该覆盖一项以上测试需求
	* 合理性原则：符合业务规则、符合技术原理、符合基本常理是合乎逻辑的
13. 案例设计流程
	* 案例分析阶段：保证案例设计的覆盖率以及案例设计的完整性和有效性
	* 案例设计阶段：构造全新案例；复用或修改；补充已有的测试案例
	* 案例验证阶段：针对发现的瑕疵问题，应及时对案例进行必要的调整和修订，修订之后的案例必须由项目组进行确认
14. 案例内容
	案例基本要素：测试环境、案例编号或名称、案例描述、执行步骤、预期结果、准出条件
	案例设计要求：需求调研人员完成、包含基本要素、测试用例列表、《非功能测试案例》
15. 案例编写规范
	* 案例编号：严格按照项目组要求的命名规范填写
	* 案例名称：命名规范、清晰有效的指导测试执行人员区分各测试案例，与案例编号一一对应
	* 测试描述：测试描述信息
	* 执行步骤：保证案例的可操作性，需要清晰合理，执行人员可独立完成测试执行任务
	* 预期结果：预期结果清晰，符合逻辑
	* 实际结果：案例执行人员测试执行实际结果
	* 测试环境：包括挡板延时，中间件版本信息，数据库版本信息
	* 数据描述：基础数据量和测试数据量
	* 监控点：对各个案例提供完成的监控描述

性能脚本编写规范

• 提高专业性，提升客户满意度
• 提高脚本可靠性、降低压力测故障率
• 提高脚本可读性、降低工作交接难度
• 降低问题排查工作量、提高工作效率

1. 测试脚本/测试计划
	NO_被测系统名称_[备注].jmx
	by:author on:createTime
2. 线程组/测试场景
	基准[_linux]|混合[_linux]|混合[_delayTime][_linux]|稳定性[_linux]
3. 事务/取样器/SAMPLER
	测试脚本NO.事务NO_事务名称
	事务包含动作：创建链接、拼接报文、发送请求、接受响应、发送请求必选；
	解析响应报文判断事务状态应尽量放在事务外面
4. 参数
	文件名：PRM_测试脚本NO_事务名|内容简述.dat
	变量名：[prm_测试脚本NO_]字段名[_事务名]
	注释：写明数据来源，如SQL语句或生成数据文件
5. 断言/日志
	建议使用BeanShell断言：
		成功事务要判断交易耗时：如果耗时高于一定值，需要输出请求报文中唯一值和实际耗时；
		失败事务摇打印请求报文中唯一值和响应报文中的错误信息；
		耗时信息打印使用log.info()、事务失败原因打印使用log.error()

性能项目执行规范

1. 非功能测试需求调研
2. 非功能测试测试准备
3. 非功能测试测试执行
4. 非功能测试收尾

测试范围
	单系统测试范围：新建系统、重大改造、生产问题优化
	端到端测试范围：覆盖主要客户渠道、覆盖重要系统处理路径、覆盖主要业务场景
业务指标：响应时间、处理能力、并发用户数、交易成功率、日终批处理
系统指标：CPU利用率、内存利用率、磁盘disk busy、网络带宽
实施策略：开发 - - SIT1 -- SIT2 -- SIT3 -- UAT末轮 -- 投产演练
环境规划：脚本开发环境、性能测试环境、投产测试环境 
测试重点
	传统业务场景：业务高峰、集中爆发式、联机批处理、日终批处理、热点账户
	分布式业务场景：大数据量的批处理、分布式事务、垮库垮表查询、垮片查询、统计汇总业务、分布健查询、分页查询排序业务
监控策略：
	硬件资源监控：Nmon\Prometheus\Grafana
	交易链路监控：Skywalking\听云\CTM
	中间件监控：MQ Redis weblogic Tomcat
	数据库监控：QPS RT Log Buffer TOPSQL
	主机监控：CPU使用百分比、处理器队列的瞬时长度、正在交换的进程数、每秒读入到物理内存中的页数、内存、磁盘利用率、网络吞吐量
	数据库监控：SQL耗时、吞吐量QPS、吞吐量TPS、key buffer命中率、QueryCache命中率、锁等待次数等待时间、死锁监控、表空间占用、长时间、大频率、低性能top sql的监控
	性能分析：CPU瓶颈、内存瓶颈、IO瓶颈、网络瓶颈
	测试收尾：测试结果汇报 方案&案例、测试脚本、测试执行记录、测试结果、测试分析报告
	项目实施问题：
		环境问题：测试环境设备与生产存在差异、网络与其他任务公用
		测试数据：全量存量数据、增量数据考虑未来3-5年规划、数据分布
		业务失真：只关注接口、未关注操作业务习惯、未关注业务逻辑
		技术支持：应用平台、服务器硬件、网络、操作系统、数据库、负载均衡

1. 过程管理：测试规划、测试准备、测试执行、系统调优、测试收尾
2. 缺陷管理
3. 质量管理
4. 版本管理
5. 沟通管理
6. 问题及风险管理