智能硬件测试要点

智能硬件作为当下大热的项目,已经引起各大互联网巨头的注意,从现在五花八门的智能音箱就能看出,依托硬件载体结合云端大数据才是未来各大互联网巨头争夺的风口。

智能硬件测试分为两部分,一部分是硬件一部分是软件,软件部分主要APP,要进行常规的功能、性能以及接口测试,接口这里除了常规的http接口外,可能还有其他的物联网协议接口,比如MQTT、XMPP、coap等针对物联网的应用协议接口,http接口使用常规的java+testNG+httpclient即可测试或者jmeter,针对MQTT等则必须自行封装进行测试,根据固件文本,验证与单片机交互数据接口是否正确

硬件部分主要是设备网络连接部分,路由器的不同参数设置对设备配网成功率、网络稳定性的影响:

1.网络配置: 

  •          配网状态和非配网状态下的绑定
  •          配网过程路由器断电、断网
  •          配网过程设备断电、断网
  •          配网成功,设备远离路由器信号覆盖范围,再重新进入
  •          配网触发方式,如:

                      1.配网按某按钮指定时长为T秒,少于T秒或大于T+N秒设备是否有异常。

                      2.配网按某按钮次数为N次,少于N次或大于N+1次设备是否有异常

  •          重复配网
  •          配网成功率(>90%)
  •          配网延时(<20s)
  •            路由参数(2.4G):(20Mhz/信道1 /bg模式、40Mhz/信道5/bgn模式、40Mhz/信道13)
  •            路由参数(5G):(40Mhz/信道5/11ac模式、40Mhz/信道13/11ac)
  •            路由参数(SSID):纯字母
  •            路由参数(SSID):纯数字
  •            路由参数(加密方式):WAP/WAP2/WEP/不加密
  •          长时间/远距离状态连接(12小时以上,服务端确认是否有掉线现象,直线空旷距离拉距测试100米)

  •         手机配网兼容性测试 ,本人曾遇到过MATE8配网操作直接导致手机关机的现象,这一点也很重要

  •         热点配网测试 ,手机开无线热点

  •         手机端网络模式切换(2G-3G-4G-WIFI-无网, 无网-WIFI-4G-3G-2G),本人曾遇到过网络顺序切换了,能恢复连接,反向操作时APP无法恢复连接

2.弱网模拟:

这里有两种办法

一般移动端弱网模拟使用的是fiddler,因为移动端连接wifi时可以很轻松的填写代理参数,但是针对某些没有屏幕的智能硬件来说,fiddler并不适用。

一般智能硬件采用的是一种EASY-CONNECT模式的配网方式,这种快速连接方式,相对于 AP 模式连接简化操作,省了很多步骤,首次配置速度更快。

  • 1、手机连上 WiFi,开启 APP 软件,点击"添加新设备",进入配置界面,输入手机所在 WiFi 密码,请求配网token
  • 2、智能硬件开启混杂模式监听所有网络数据包,Wifi 灯快闪
  • 3、手机通过广播、组播循环发送 ssid/password/token
  • 4、硬件设备通过 UDP 包(长度)获取配置信息捕捉到ssid/password/token,Wifi灯熄灭,连接路由器,连接成功后Wifi灯常亮。发送token,注册到服务端,注册成功后登录MQTT服务器。(广播根据 UDP 包长度,组播根据 IP 地址信息)
  • 5、手机根据token,去服务端查找设备,返回设备信息
智能硬件测试要点
很不幸,当你使用配置成代理的手机去按照如上方式进行配网操作时,总是无法连接成功。这里推荐一款网络延时模拟软件NEWT  Network Emulator for Windows Toolkit
是一款微软出品的网络仿真器,可以模拟不同类型的网络,还可以设置网络延迟、可用带宽、排队方式、丢包率、数据包的重排和错误传播等参数

它是直接作用于电脑网卡,无需设置代理,此时使用360wifi开热点,连接智能设备即可进行各种弱网状态模拟,这里贴一个教程

Toolkit教程

按如下进行参考设置

考虑现有的2G网络,一般上行带宽在8-15kb/s,下行20kb/s-50kb/s。


单一场景:
上行下行均采用如下参数设置

网络丢包率 5% 10% 20% 50% 80%

网络延迟时间 30ms 50ms 100ms 200ms 500ms

带宽限制
上行
网络带宽 5kb/s 8kb/s 15kb/s 50kb/s 100kb/s

下行
网络带宽 10kb/s 15kb/s 50kb/s 100kb/s 150kb/s

混合场景

网络带宽 10kb/s 15kb/s 50kb/s 100kb/s 150kb/s

丢包率  5% 10%  20%  50%  80%

智能硬件测试要点

硬件模拟:实际场地模拟,进行穿墙实验,实验手机测试所处空间wifi信号强度,0到-80db之间进行模拟,每个信号强度点,远程发送操作指令20次,验证成功次数