并发测试的过程,是一个负载测试和压力测试的过程。即逐渐增加负载,直到系统的瓶颈或者不能接收的性能点,通过综合分析执行指标和资源监控指标来确定系统并发性能的过程
测试案例:例如:中间件应能满足一定数量的客户端同时办公的需要
测试内容与监控指标:(负载压力测试;模拟不同数量并发用户测试)
模拟不同数量并发用户执行关键业务,测试至系统能够承受的最大并发用户数。
主要监控指标如下:
● 每分钟事务处理数(Transaction Rate):不同负载下每分钟成功完成的事务处理数;
● 响应时间(Response Time):服务器对每个应用请求
● Mean:平均的服务器响应时间;
● Max:最大的服务器响应时间;
● StdDev:事务处理服务器响应的偏差,值越大,偏差越大;
● Median:中值响应时间;
● 90%:90%事务处理的服务器响应时间
● 虚拟并发用户数(Total Virtual Users):测试工具模拟的用户并发数量。
2、系统资源监控
在进行负载压力测试的同时,用测试工具对数据库服务器、Web服务器、应用服务器、认证及授权服务器上的操作系统、数据库以及中间件等资源进行监控。
监控系统资源指标,在测试中,根据测试需求以及测试环境的变化,选取有意义的数据进行分析。
3、大数据量
例如:考虑系统未来发展需要的存储空间,添加大数据量测试。
主要包括两方面内容:
①.单独的数据量测试;
②.与并发性能测试相结合的综合测试。
测试数据的准备借助于测试数据管理与生成工具,例如FileAid。
4、速度
例如:磁盘访问速度、备份速度以及网络办公系统运行速度等(人工测试)
5、疲劳测试
通常是采用系统稳定运行情况下能够支持的最大并发用户数,持续执行一段时间业务,通过综合分析执行指标和资源监控指标来确定系统处理最大工作量强度性能的过程。
四、性能测试指标
一般有2种形式描述:产品需求指标和系统的性能指标。
1、产品需求指标
①.给出产品性能的主要指标,如在100000记录中查询一个特定数据的时间为0.5秒;
②.以某个已发布的版本为基线,如比上一个版本的性能提高30-50%;
③.和竞争对手的同类产品比较。
2、系统的性能指标
①.CPU利用率;
②.内存占用率;
③.磁盘I/O ;
④.响应时间。
五、性能测试的策略
性能测试策略一般从需求设计阶段开始讨论制定,策略的内容决定着性能测试工作投入多少资源、什么时间开始实施等后继工作如何安排。制定性能测试的策略的因素:
1、预期的指标性能的因素
系统在需求分析、设计阶段和产品说明书等文档中明确的提出都性能指标,这些指标是性能测试要完成的工作。
2、独立业务性能测试的因素
独立业务主要是指软件产品的模块具有独立业务功能,在需求阶段就可以确定,要单独测试其性能。
3、业务性能组合测试的因素
应用类软件系统通常不会使所有的用户只使用一个或者几个核心业务模块,可能是对多个业务进行组合使用,对多个业务进行组合性能测试。由于组合业务测试是最能反映
用户使用系统情况,因而业务性能组合测试是测试的核心内容。
4、疲劳强度性能测试