TFS即使在第二次迭代失败时也会通过多次迭代的自动化测试

问题描述:

我正在使用测试代理2015年的TFS 2017环境。在此之前,我们使用测试代理2013和MTM的TFS 2013环境(此工作正常) 。TFS即使在第二次迭代失败时也会通过多次迭代的自动化测试

在我们有以下问题的时刻:

我们运行一组与大约40测试中,所有的人都多次迭代。如果第一次迭代失败,我们可以在tfs中看到这一点,测试状态设置为失败,这是完美的。但是,如果第一次迭代成功,第二次失败,则测试用例设置为在TFS中传递。但是如果第二次迭代失败,我们希望将整个测试设置为失败。现在它看起来像几乎所有的测试通过,但有时很多后来的迭代失败,这意味着我们得到虚假的报告。

当我打开属于一台机器的.TRX文件时,我可以看到迭代失败以及哪个成功。

所以一言以蔽之问题:

如果测试的第一次迭代中通过,第二个失败,整个测试设置为在失败是什么给了我们错误的报告代替通过。

我完全不知道我们做错了什么。但现在它给出的是关于我们跑步的虚假信息。

有没有人遇到同样的问题?

任何帮助将非常感激,因为我一直没有能够在谷歌上找到关于这个问题的任何信息。

+0

你能分享你的构建定义和设置吗?你使用Run Functional Tests Task吗? –

我已经在微软论坛上发布了这个。他们回答说,他们可以重现它,这意味着它可能是tfs/testagent中的一个问题。更多信息可以在这里找到:

https://social.msdn.microsoft.com/Forums/vstudio/en-US/4a384376-feae-46a9-a3da-e4445bc905d8/tfs-automated-tests-with-multiple-iterations-show-as-passed-even-when-the-second-iteration-fails?forum=tfsgeneral