证明质量保证改进

问题描述:

高层管理人员希望每个小组都能显示逐年改善(即用数据证明收益,而不仅仅是陈述意见)。你在质量保证方面有哪些改进?你使用了哪些指标?证明质量保证改进

这不是对一个测试者进行评分。这是关于展示一个部门的发展,并提供个人测试人员突出个人改进的能力。

+0

感谢所有的答复。我们正在考虑自动化和缺陷泄漏到生产中的百分比。我不想特别提到任何事情,所以我不会“讨论”种子。我同意计算错误(在QA中找到)是无用的,并且不能真实反映团队的努力或有效性。 我还在考虑对错误报告进行审计,以确保它们符合指南(包括重现步骤等)。但是,我更愿意使用我已有的数据,而不是创建生成数据的过程。 – 1701G 2009-09-18 12:27:27

重要的是要清楚你的质量检查部门是做什么的。不同公司之间会有所不同,但最终QA是一项数据收集操作。每个人/项目提交的错误数量很容易衡量,但与QA团队的工作量或效果无关。

更好地查看发布后客户发现的严重错误与QA发现的严重错误的百分比。随着测试的改进,这个数字应该下降。另外,测量每个版本执行的测试用例的数量。随着QA过程的成熟,您应该看到测试人员变得更加高效(通过熟悉或通过自动化)。

有许多错误的QA度量标准,包括发现的错误。这很容易,但如果软件变化不大,随着时间的推移发现的错误数量将趋于零。

衡量单个测试人员以及他们提出的错误数量是在竞争类型中提供激励的一种方式,但也可能导致很多小问题被提出(这可能是好事或坏事)。

一些可能有用指标包括:

  • 内测号的领域找到了新的bug(即你已经错过了) - 这应该往下走
  • 时间重新测试并关闭已解决的问题
  • 号发回澄清错误的(应该减少)关闭无效测试断言
  • 一些bug报告 - 显示的理解,应适当减少

如果你的目标也被指定 - 例如移动到自动化测试系统 - 这可能是一种测量方法。因此,如果您有10,000个测试用例,那么您的指标可以是自动测试用例的数量,其中有多少是通过/失败的。

有一个真正的好文章在讨论这个: http://www.claudefenner.com/content/detail/QAMetricsPage.htm

如何复杂的是被发现的缺陷,例如这是一个简单的,只是加载一个网页,它崩溃或需要一些重现错误所需的步骤,可能是一个度量使用,可能会有趣,看看它是如何去,虽然它有点取决于如何做好开发人员是否首先构建软件?

为澄清问题发送错误的频率也很有用,就好像开发人员花费了几个小时与QA配对了解一个错误,但这不是花费时间最有用的方式。

最后,在这里创建一个QA 101手册可能是值得的,这样一些实践和知识就可以被写下来并随着时间的推移进行修改,从而在理解各种测试实践和采用有用的实践方面展现出增长。这些是我的建议。

我认为,通过报告错误的比例来衡量QA团队的表现的最佳方式是:修正错误。如果你的大部分bug由dev修复,那么这表明你正在寻找质量高的bug,这需要注意。无效错误的数量应该是一个负面的措施,因为这种错误会浪费开发人员的时间。