4399AT解决UI自动化最后一公里难题

为什么说是最后1公里呢?两方面:

  1. 对于安卓APP的用WindowManager实现的悬浮窗控件定位获取是无解的,因为它不属于原生app和webiview范畴,是无法定位操作,只能粗暴的运用坐标,但这是解决不了问题的~

  2. 对于wap模式,提示框或者权限框无法点击,如下图红色位置

  3. 4399AT解决UI自动化最后一公里难题

所以想到通过图像识别技术(opencv)来解决这个问题。

目前4399AT已打通这最后一公里,通过图像识别的技术来解决这个问题。

4399AT图像识别增加的api:

picClick:图片点击

picCondition:图片条件判断

picCheck:图片检查

picInput:图片输入

picSlide:图片上下滑动

picAlert:用于提示框点击,主要用于在wap模式,一些提示授权的点击,解决wap模式测试难点

api用法:

Action:"动作",

paths:[图片路径] 可多张,路径不可有中文

案例如下:

4399AT解决UI自动化最后一公里难题

运用场景:

兔耳故事APP的播放器点击操作:(该播放器由windowManager实现)

4399AT解决UI自动化最后一公里难题

通过截图,然后粘贴window10画图面板上,然后调整大小,

4399AT解决UI自动化最后一公里难题

调整像素为水平450(务必为450),高就不限制

4399AT解决UI自动化最后一公里难题

然后截取要操作的特征图,如播放器,我就截图播放器的两个角,不要夹杂其他图片,不然会影响识别成功率,然后保存为xx图表,名字和保存的路径中,不要为中文

4399AT解决UI自动化最后一公里难题

截取绿色框,然后保存。图片可以是png和jpg格式的。

4399AT解决UI自动化最后一公里难题

这些做好以后,再图像识别操作的api中写入保存图片的路径,如图片放在D盘根目录:

4399AT解决UI自动化最后一公里难题

图片可以保存多张,具体看图片特性,然后其余的就根据你的用例配置4399AT的api进行编写用例,执行的方法也是这样。具体的案例脚本可到百度网盘下载:

链接:https://pan.baidu.com/s/1NEFQDprQVgN5bE8OPk9jSQ

 密码:dzgb

以上就是关于4399AT关于图像识别的使用,当然图像识别也可以用正常原生页面,webview页面以及在wap浏览器模式对于提示框和授权提示框的点击。

整体目前4399AT可以说已支持各种安卓APP的UI自动化模式~,算是一个很不错,挺完美的UI自动化工具,容我自夸一回4399AT解决UI自动化最后一公里难题4399AT解决UI自动化最后一公里难题4399AT解决UI自动化最后一公里难题

如该文章对您有帮助,请随手点赞并转发,您的点赞和转发是作者编码及分享的动力~~4399AT解决UI自动化最后一公里难题