OpenMV3 M7在Linux下的使用(二)
文章目录
4 脚本结构
请注意,这个tuturial假设你知道python语言是如何工作的。 如果你不知道python是如何工作的,请研究它。 有很多关于如何编写python代码的网络tuturials(最后,如果你知道任何其他C类编程语言,你可以很容易地选择python,因为它非常相似)。 无论如何,你编写的任何脚本都有三个不同的部分:
import ...
...
one time setup ...
...
while(True): # Loop
...
OpenMV Cam代码的第一部分应该包括一些标题注释,import模块将模块放入范围,最后是代码中的常量和全局变量。 接下来,您将要执行一次性设置代码。 这包括创建I / O引脚对象,设置相机,定义辅助函数等。
最后,您将创建一个`while(True):`循环,在该循环下,您将重复循环调用所有被调用的代码,直到关闭电源。
这是一个例子:
### 标题注释,导入语句等
#你好世界的例子
#
# 欢迎来到OpenMV IDE!单击下面的绿色运行箭头按钮运行脚本!
import sensor, image, time
### 一次性设置
sensor.reset() # 重置并初始化传感器。
sensor.set_pixformat(sensor.RGB565) #将像素格式设置为RGB565(或GRAYSCALE)
sensor.set_framesize(sensor.QVGA) # 将帧大小设置为QVGA(320x240)
sensor.skip_frames(time = 2000) # 等待设置生效。
clock = time.clock() # 创建时钟对象以跟踪FPS。
### 无限循环
while(True):
clock.tick() # 更新FPS时钟。
img = sensor.snapshot() # 拍照并返回图像。
print(clock.fps()) # 注意:openmv运行速度一半到IDE。一旦断开连接,FPS应该增加。
请注意,如果您的代码中没有无限循环,那么一旦您的OpenMV Cam完成运行脚本,它就会坐在那里什么都不做。
5 I / O教程
在进入机器视觉主题之前,我们将讨论OpenMV Cam上的I / O引脚控制。 重要的是你知道如何切换I / O引脚,发送和接收串行数据,以及让你的OpenMV Cam处于睡眠状态,这样你就可以创建一个能够在一个包中“感知”,“计划”和“行动”的系统。 首先,让我们来看看下面的OpenMV Cam的引脚:
根据OpenMV Cam的型号,您可以使用9-10个通用I / O引脚,可用于低速数字输入和输出。 请注意,我们使用具有5V容限I / O引脚的STM32处理器,因此您可以将OpenMV Cam直接连接到Arduino或其他5V器件而无需担心。 I / O引脚也非常强大,每个引脚或吸收电流高达25 mA。
无论如何,不同的I / O引脚具有不同的特殊功能。 例如,P0-P3是您的OpenMV Cam的SPI总线引脚,可用于控制SPI器件。 P4-P5是您的OpenMV Cam的异步串行或I2C总线箱,用于串行或I2C通话。 P6是您的OpenMV Cam的ADC / DAC引脚,用于0V至3.3V输入和输出。 P7-P8(或P7-P9)是您的OpenMV Cam的辅助I / O引脚。
5.1 PYB模块
所有微控制器I / O功能都可以从pyb(Python Board)模块获得。 您只需在脚本中导入pyb即可访问它。 导入后,您可以访问ADC,CAN,DAC,I2C,Pin,Servo,SPI和UART类,同时还可以控制电路板的功耗。
5.1.1 LED Control
5.1.2 GPIO Control
5.1.3 Analog IO
5.1.4 UART Control
6 系统架构
首先,OpenMV Cam基于STM32微控制器架构,因为MicroPython pyboard基于STM32微控制器架构。如果项目是使用其他系统启动的,那么事情可能会完全不同。
接下来,我们选择不将DRAM与原始的OpenMV Cam一起使用,因为它使得系统太低而无法以低产量生产。
SDR DRAM(这是STM32支持的)在低制造量时并不是最便宜的,并且大大增加了电路板设计的复杂性(例如,您需要使用8层电路板来路由所有信号)。
随着我们用更快更快的主处理器加速OpenMV Cam,SDR DRAM速度也跟不上内部RAM速度。例如,在STM32H7上,内部RAM带宽为3.2GB / s,最大SDR RAM带宽为666MB / s,即使我们使用需要50+ I / O引脚的32位DRAM总线构建8层电路板系统对于DRAM。
因此,由于我们建立在STM32架构上并且现在仅限于使用昂贵且速度慢的SDR DRAM,我们还没有添加它,因为我们的内部SRAM速度更快。
随着产量的增加和技术的提高,我们可以在保持OpenMV Cam简单易用的同时获得更多内存。
6.1 存储器架构
鉴于上述存储器架构限制,我们构建了所有代码以在STM32微控制器存储器内部运行。但是,STM32没有一个大的连续存储器映射。它针对不同情况提供不同的RAM段。
首先,有一段RAM包含全局变量,堆和堆栈。堆和全局变量的大小是固定的,因此只有堆栈增大和缩小。出于性能原因,不会不断检查堆/堆栈冲突,因此不要在OpenMV Cam上使用递归函数。
至于堆,它的大小是固定的,而不是向堆栈增长,并由MicroPython的垃圾收集器管理。 MicroPython自动释放堆内部未使用的块。但是,MicroPython堆的设计不允许它像PC上的堆那样任意大(例如在兆字节范围内)。
因此,即使我们有DRAM,也很难利用MicroPython的堆。接下来,帧缓冲区有一个更大的内存段来存储图像。在帧缓冲区的底部,当调用sensor.snapshot()
之类的函数时,会存储新图像。然后,帧缓冲区中任何未使用的空间可用作“帧缓冲区堆栈”,从帧缓冲区的顶部向下构建。这种内存架构设计允许我们的许多计算机视觉方法执行而无需在MicroPython堆内部分配大型数据结构。
也就是说,帧缓冲堆栈仍然是堆栈,不支持随机分配和解除分配。幸运的是,大多数计算机视觉算法都具有非常可预测的内存分配。对于那些没有的人(如AprilTags),我们在需要时在帧缓冲区堆栈内部分配一个临时堆(再次避免碎片化MicroPython堆)。
最后,视觉算法通过在MicroPython堆中分配对象来返回结果(通常很小)。然后,可以通过MicroPython轻松地收集结果,同时在任何计算机视觉算法完成执行后完全清除帧缓冲区堆栈。
现在虽然这很好用,但这意味着你只能在RAM中的帧缓冲区中拥有一个大图像。由于MicroPython堆针对存储大型100KB图像的小对象进行了优化,因此没有意义。为了使更多图像适合RAM,我们允许使用sensor.alloc_extra_fb()
将帧缓冲堆栈用于二次图像存储。通过在帧缓冲堆栈上分配辅助帧缓冲区,您现在可以在RAM中拥有两个或更多映像,但代价是减少更复杂算法的内存空间(如AprilTags)。那就是内存架构。并且…我们允许将图像存储在帧缓冲区,堆和帧缓冲区堆栈中。