4399AT解决UI自动化最后一公里难题
为什么说是最后1公里呢?两方面:
对于安卓APP的用WindowManager实现的悬浮窗控件定位获取是无解的,因为它不属于原生app和webiview范畴,是无法定位操作,只能粗暴的运用坐标,但这是解决不了问题的~
对于wap模式,提示框或者权限框无法点击,如下图红色位置
所以想到通过图像识别技术(opencv)来解决这个问题。
目前4399AT已打通这最后一公里,通过图像识别的技术来解决这个问题。
4399AT图像识别增加的api:
picClick:图片点击
picCondition:图片条件判断
picCheck:图片检查
picInput:图片输入
picSlide:图片上下滑动
picAlert:用于提示框点击,主要用于在wap模式,一些提示授权的点击,解决wap模式测试难点
api用法:
Action:"动作",
paths:[图片路径] 可多张,路径不可有中文
案例如下:
运用场景:
兔耳故事APP的播放器点击操作:(该播放器由windowManager实现)
通过截图,然后粘贴window10画图面板上,然后调整大小,
调整像素为水平450(务必为450),高就不限制
然后截取要操作的特征图,如播放器,我就截图播放器的两个角,不要夹杂其他图片,不然会影响识别成功率,然后保存为xx图表,名字和保存的路径中,不要为中文
截取绿色框,然后保存。图片可以是png和jpg格式的。
这些做好以后,再图像识别操作的api中写入保存图片的路径,如图片放在D盘根目录:
图片可以保存多张,具体看图片特性,然后其余的就根据你的用例配置4399AT的api进行编写用例,执行的方法也是这样。具体的案例脚本可到百度网盘下载:
链接:https://pan.baidu.com/s/1NEFQDprQVgN5bE8OPk9jSQ
密码:dzgb
以上就是关于4399AT关于图像识别的使用,当然图像识别也可以用正常原生页面,webview页面以及在wap浏览器模式对于提示框和授权提示框的点击。
整体目前4399AT可以说已支持各种安卓APP的UI自动化模式~,算是一个很不错,挺完美的UI自动化工具,容我自夸一回
如该文章对您有帮助,请随手点赞并转发,您的点赞和转发是作者编码及分享的动力~~