我认为,这是使用Selenium计算测试自动化的ROI时非常重要的指标。我相信,使用Selenium进行测试自动化的全部目的是不消除项目中对手动测试人员的需求。自动化测试的重点是减少测试人员狭窄的工作量,从而使他们可以提出更多的开箱即用的测试用例。提高测试用例的质量肯定会帮助您更好地构建Web应用程序。
在测试自动化上计算投资回报率时的一般错误尽管计算ROI涉及使用一些简单公式进行基本计算,但是如果您错过了一些重要参数,则可能会发生错误。让我们讨论人们在计算ROI时常犯的一些错误。
您真的不是完全忽略手动测试吗?最大的错误之一就是仅保留自动化测试工作作为主要测量参数。手动测试将始终很重要。对于跨浏览器测试,可以自动执行某些方案,但是在某些领域中,您需要通过执行手动跨浏览器测试与Web应用进行实时交互。因为视觉缺陷比运行自动化脚本更容易手动检测。始终手动检查网站是否在所有浏览器中都看起来不错或某个导航菜单在特定浏览器中是否正常运行等事实。如果您使这些测试自动化,它们将无法在使用Selenium进行测试自动化方面提供很高的投资回报率。即使您不计算手动工作量,您仍然必须花费时间和金钱。
总是想着更大的图景在使用Selenium测量测试自动化的ROI时,您必须考虑更长的时间。检查某种测试方法在短时间内如何使组织受益的做法并不理想。从长远来看,您必须检查它如何影响组织和团队。而不是几个月,而是要计算3到5年内的影响。例如,您应该选择左移测试吗?左移测试是一种方法,可让您集中精力从需求收集阶段尽快进行测试。背后的想法是考虑错误并尽快发现它们,因为据信与最初阶段发现的错误相比,在SDLC后期发现的错误会贵得多。
您是否同步了组织的功能?您必须将组织的功能与测试自动化工具堆栈同步。为了成功实施自动化测试策略,既需要产品知识,又需要自动化知识。您的团队应该对如何使用计划的自动化工具以及应用程序的工作有清晰的了解。
测试维护是要考虑的重要因素测试用例的维护是人们在使用Selenium测量自动化测试的投资回报率时往往会错过的另一个因素。当您使用Selenium进行自动跨浏览器测试时,在成功实施测试策略之后,您将定期需要更新和维护测试用例。随着您添加新页面,增强或更新Web应用程序的功能,回归套件和测试用例将开始增长。确保这些测试用例在较长时间内的可用性将需要定期维护。
缺少正确的文档这是一个非常常见的错误,不仅从自动化测试人员的角度来看,而且从管理角度来看。应将文档设置为每个组织的标准。当自动化测试人员编写测试脚本时,他们应该准备一份文档,解释该脚本的用途及其工作原理。应该提供一个公共知识库来收集有关组织活动的每个自动化脚本的文档。这将为参与该过程的每个萌芽资源奠定基础。这也将有助于消除因缺少任何高级测试自动化工程师而导致的Web应用程序可能遭受的附带损害,或者自动化测试人员打算从您的公司切换到另一家公司。
使用Selenium实现自动化测试时获得最大投资回报的操作项目到目前为止,我们已经意识到了常见的错误,即使用Selenium在测试自动化上计算ROI的指标。接下来是什么?执行部分。使用Selenium在测试自动化上获得最大投资回报的最佳方法是什么?好了,这里有一些值得注意的可行见解,可以帮助您从测试自动化中获得最大的收益。
为新测试用例实现自动化这是要考虑的非常重要的因素,尤其是当您从手动转换为自动化时。假设您要介绍Selenium WebDriver,以在组织中进行自动跨浏览器测试。
计算需要自动化的测试用例的数量
在此步骤中,检查哪些应该是自动化的,哪些应该保持手动。
不要将每个测试用例都转换为自动化。有些事情只能手动测试。
计算执行您的测试用例的测试人员的小时成本。
如果某些测试人员没有自动化经验,那么也要计算培训成本。
优先考虑自动化新测试用例的过程我们都知道,回归测试始终被放在首位,尤其是涉及跨不同浏览器的Web应用程序的视觉回归测试以检查其跨浏览器兼容性时。
回归测试主要涉及对旧测试用例的重复执行,以确保某些新添加的功能或增强功能不会引入任何新的或旧的缺陷。随着时间的流逝,当您的Web应用程序在体系结构和功能方面不断增长时,保留回归测试手册的过程将证明是昂贵的。如果您想降低成本,则实施自动视觉回归测试很有意义。
在计算ROI时,假设每个新的测试用例都将很快成为回归测试的一部分。将它们保留为回归测试策略的一部分。
根据复杂性对测试用例进行排序,并在其中自动进行检查。
如前所述,请考虑维护旧测试用例的成本。
跨浏览器和OS的不同测试配置的测试覆盖率接近100%