PC端稳定性测试探索
稳定性测试是在保证客户端功能完整正确的前提下,通过对软件稳定性的测试可以观察在一个运行周期内、一定的压力条件下,软件的出错机率、性能劣化趋势等。进而大大减少软件上线后的崩溃卡死等现象,为软件的逐步优化提供方向及验证。
测试方法:通过自动化脚本,长时间运行客户端某些功能或长时间开关客户端,看客户端是否存在Crash现象,同时查看内存、CPU等性能指标。
一款PC客户端软件,它的稳定性测试需求基本包括:
长时间运行及各种操作下,软件的稳定性以及各种性能指标的劣化趋势。
多进程或多线程运行时的稳定性。
不同操作系统,在不同软件环境下运行的稳定性。
具体来讲:
长时间:一般都要24h以上,要求高点的要24h*3;
不同操作系统:基本上都需要覆盖下面系统:Winxp、Win7 x86、Win7 x64、win8 x64、Win 8.1;
不同软件环境下:主要是指不同的杀毒软件和安全软件环境下;
步骤:
确定稳定性测试需求,包括:需要覆盖的功能点、系统环境和软件环境、测试时间长度
开发自动化运行脚本
执行脚本,进行性能监控
分析执行结果
自动化脚本
但由于QTP或LoadRunner都是收费软件,很贵,大部分公司都没有license,而且它对非标准控件的支持很差。现在我们用一些开源的工具来替代,这边用Autoit来编写自动化脚本。
学习参考网址:http://www.autoitx.com/
优点
- 轻量级(官方发布包10M左右),编译成可执行文件后在没有安装 AutoIt 的机器上也可直接运行
- 免费,不需要许可证 - 有丰富的函数库(标准函数库和自定义函数库) - 基于Win32 API,方便扩展
- 有完善的帮助文档和丰富的论坛资源
例子
用一个简单的客户端开关稳定性测试来看看怎么运行的:
开关测试属于稳定性测试里的一种,将客户端长时间不断地开启和关闭,看客户端是否会Crash,产生dump文件。
看下面代码:
;定义变量
Dim $Sum,$i
$Sum=0
$i=1
;循环开关次数
While $i<=86400
$Sum=$Sum+$i
$i=$i+1
Run("C:\Nep\debug\GacRunnerB_D.exe")
WinWait("NEPSingle")
Sleep(1000)
;取得进程pid
$iPid = WinGetProcess("NEPSingle")
;关闭此进程
ProcessClose($iPid)
WEnd
|
执行
稳定性测试不同于一般的功能测试,属于概率学测试,并不是这次没测出来就是没问题,所以需要长时间运行,多个系统,多种软件环境中进行多次测试,尽可能的提供可靠性。
结果
从稳定性测试的结果的判断从下面几个方向判断:
判断是否Crash:可以通过dump文件判断是否有crash的现象,可以将产生的dump发给开发分析crash原因
判断是否性能劣化:在稳定性测试的同时通过性能监控工具对内存、cpu、句柄等性能参数进行监控,查看性能是否出问题。
最新内容请见作者的GitHub页:http://qaseven.github.io/