TFS即使在第二次迭代失败时也会通过多次迭代的自动化测试
问题描述:
我正在使用测试代理2015年的TFS 2017环境。在此之前,我们使用测试代理2013和MTM的TFS 2013环境(此工作正常) 。TFS即使在第二次迭代失败时也会通过多次迭代的自动化测试
在我们有以下问题的时刻:
我们运行一组与大约40测试中,所有的人都多次迭代。如果第一次迭代失败,我们可以在tfs中看到这一点,测试状态设置为失败,这是完美的。但是,如果第一次迭代成功,第二次失败,则测试用例设置为在TFS中传递。但是如果第二次迭代失败,我们希望将整个测试设置为失败。现在它看起来像几乎所有的测试通过,但有时很多后来的迭代失败,这意味着我们得到虚假的报告。
当我打开属于一台机器的.TRX文件时,我可以看到迭代失败以及哪个成功。
所以一言以蔽之问题:
如果测试的第一次迭代中通过,第二个失败,整个测试设置为在失败是什么给了我们错误的报告代替通过。
我完全不知道我们做错了什么。但现在它给出的是关于我们跑步的虚假信息。
有没有人遇到同样的问题?
任何帮助将非常感激,因为我一直没有能够在谷歌上找到关于这个问题的任何信息。
答
我已经在微软论坛上发布了这个。他们回答说,他们可以重现它,这意味着它可能是tfs/testagent中的一个问题。更多信息可以在这里找到:
你能分享你的构建定义和设置吗?你使用Run Functional Tests Task吗? –