我们是如何成为在视频分析的基础上做到应用于联合收割机的自动驾驶系统的世界领先公司
有CAN总线的话，这就是整一套
仅在五年前，还没有可以正常运行的神经网络系统可以区分障碍物和茎秆，因此也没有视频分析。那时是“盲” 的GPS方法，实际上，这种方法并不是最佳的，它大大削弱了农业自动化的声誉。在五年内，我们相信所有组合收割机都将通过视觉自动驾驶仪精确地实现自动化，它能从驾驶舱和侧面观察并控制收割的各个方面。
目前，我们已经拥有现成的技术，它们经过了良好的测试，廉价且具有年度运营经验，联合收割机的大型生产商也对它们感兴趣。它们的发展过程就像汽车的收音机一样：刚开始收音机只是被放在汽车中，随后收音机将被内置在汽车里。因此，我们正在修改老式的联合收割机，我们想在生态系统中占有一席之地，将这套设备放到所有新的联合收割机上。
由于市场的特点，这样的项目可以在我国，在巴西和其他几个国家开始。这些国家农业比重大，有内部开发人员，但收割效率低下（即存在资源浪费的问题），需要新的联合收割机。我对包括公园在内的所有事物都感到幸运：苏联解体后，一切都崩溃了，现在大约四到五年前，我们在主要产业中看到了机器。
俄罗斯有35万台联合收割机，每年还有3.5万台交付。当然，这不是汽车市场，但是现在还没有人能做出正确的决定来能够占领整个联合收割机市场。
现在就让我们更好地告诉您它的工作原理以及我们如何修改俄罗斯的联合收割机。
带有Agro Pilot的联合收割机的操作员是如何工作的
联合收割机操作早上七点到地里。如果不是第一天，那么机器已经停在农作物中间。设置下一段工作程序，预热机器。早晨九点露水已干，可以开始工作了。在天黑前结束工作，那时湿度会再次升高。不能在雨中工作。在谷物还没有因为过熟掉在地里时，您需要花费大概两周的时间来收集所有粮食：时间距离越远，损失越大。太早开始也不行：谷物尚未成熟。因此，正是在这个收货高峰期时，发生任何一个错误或事故都会损失非常严重。
更改单一的工作程序（它最多持续14小时）。操作员需要：
- 小心翼翼且匀速的操作，尽量沿平行于斜角区域的直线移动。这是操作者的首要任务。这是一项需要从旁边观测的沉闷的程序。
- 监测收获作物的模式：根据茎的成熟度，高度和频率，您需要更改20–22个参数，包括在田地里移动的速度。这个过程需要观察螺旋钻的旋转方式。需要一整天。
- 在出口处查看谷物的品质——有时您需要回头。
- 考虑卸下谷物的运输方式——何时以及如何称呼它。
- 同时，与其他联合收割机一起移动。
简短总结：一个人可以操作方向盘，或监测收粮食时的质量。联合收割机的转向非常困难，因为它的沿割台的尺寸为12米，并且由于转弯不理想，经常会留下较大的未切割的痕迹。
如果能减轻转向的负荷，谷物收成会增加。去年在我们的实验中，因为操作员能够更准确地了解即将发生的情况，同一个地方的收成增加了3%。还有增加3-5％的——-很仔细的收割，没有大的未收割地带。再加上没有发生意外。
总的来说，这样需要的东西，如果以前有技术支持，很早以前就能产生。
技术支持出现了
自动驾驶仪能做什么？
- 根据当前作物的生长特征指导收割机的行径路线。
- 您可以混合着使用设备：既适用于具有自动驾驶功能又具有手动控制功能的汽车。自动驾驶仪不会有任何差别。
- 非常精确地保持过道之间的距离，确保未被割到区域最小化。
- 寻找障碍物，对其进行分类，做出反应：四处走动，放慢速度，或者在还有时间的时候提醒操作员。
- 根据具体情况采取最佳的速度。它具有这样的功能：使收割机收割干净，对于不同型号的小麦，必须保持每小时6到6.5公里的间隔。如果我们越过这条线，那么未被收割的粮食数量会变多，并且损失会成倍增加：七公里——损失0.2％，八公里——损失0.5％，依此类推。
现在我们设备的主要功能不是自动驾驶，而是将人为因素排除在操作员的工作之外。
我们的基础设备有助于避免收割机收割不尽的问题和其不必要的运行。
内部有什么
-
位于反光镜支架上的2 MP摄像头。 我们只关注摄像头：这是主要的传感器。 其他的没有必要。
-
驾驶室显示屏：这是操作界面。 通过它进行警告和设置。
-
驾驶室下方的控制装置：NVIDIA TX2。 主算法堆栈在此运行，视频处理，将命令发送到CAN总线。
装置 340x290x60毫米，40瓦。
发出指令的模块会连接到CAN总线或联合收割机其他的统输入/输出系统。这里有一些漏洞，不可能在所有区域采取这个工作程序， 通过该界面也不能控制所有的液压器。
就过去五年而言，生产的收割机都差不多：主机盒子，摄像头和在驾驶室中的显示器。
如果联合收割机陈旧或未经准备，则需要车轮旋转传感器，而我们则无法从系统总线直接获取此数据。我们需要里程计的数据（车轮的速度和旋转角度）：
用于直接控制我们副驾驶液压器的计量泵：
使用CAN总线存在的第一个问题是始终没有清晰的文档。从理论上讲，还有其他可以从总线接收信号的方案，但是在俄罗斯，实际上很少有这种情况。通常，充其量只有某种系统API和电缆孔。在一般情况下，我们与该孔的制造商联系，并要求他们向我们发送该孔的详细资料。经过几周的谈判，他们了解我们是谁，需要什么孔，然后发送给我们想要的资料。要理解这些并不容易，但是总体来说，大型生产商对我们还是感到满意的，因为他们知道去年在许多农场和大型农业综合体中采用了我们的解决方案，这在媒体中引发了一些关注。
生产商经常问我们的技术是否可以用于未来的收割机中。这又是另外一个故事了，但是我们已经签订了协议，一切都进展顺利。
在理想的世界中，这是最美好的结局。遗憾的是，仍然存在没有资料或者我们不能从制造商那里获得清晰的描述的情况发生。在这种情况下，我们会连接并反转总线装置。当然，制造商应遵循J1939协议，但并非每个人都会那么做。通常，您需要与调试程序进行连接，获取所有带有变量的数据包，操作员只需单击按钮即可。开始——从零变成正数。加速——数字增加。减速——数字减少。这就是调试速度了。这样需要一整天。接下来，您需要理解他们之间的关联性并选择转换因子。有一次，我们在测试站点发现了一个很大的问题，在现场这个问题就被避免了。处于稳定模式的联合收割机发送来数据包，工作的收割机和卷线机会切换到特殊的工作模式，然后把新收到的信息发送给其他数据包。我们不得不残酷地收集数据。事实证明，收割机会把自己的信息提供具有相同变量的数据包，总线设计人员对所有这些信息进行了优化，以免产生新的变量。这个设计人员可能在空闲时间参加了256b-intro的比赛。
液压方面也有意想不到的事情发生。尽管丹佛斯（Danfoss）是合作伙伴之一，他们也尽了最大的努力提供了帮助，并给出了详细的计划，但也只有启动联合收割机时，才能检查一切问题。如果组件稍微出现偏差，采购系统的人员会来到现场检查（这只是其中一种情况）。这也就是说，必须在晚上将其全部安装，启动，检查，如果有什么问题，会马上拆卸，这些都是为了能让联合收割机使用更久。我们在晚上八点开始工作，测验液压装置。早上四点时我们完成了第一次安装。但并不清楚它是否能这场启动。如果无法解决问题，则有必要拆卸并恢复出厂设置。已启动——工作了。正确的调头。这就是我们残酷的世界。我无法想象自己能够使用神经网络系统，没有它怎么能行呢？
您可以添加蜂窝调制调解器发送遥测数据。在这种条件下该设备不需要GPS。这是一个巨大的优势。为了使正常的GPS导航正常工作，您需要提前绘制地图，设置RTK站进行更正或是购买信号包等。还仍需按下按钮和菜单，而机器操作员十分不喜欢使用用户界面。我们带一个盒子大小的摄像头就可以出发了。大可不必绘制地图然后再将其切割。我们只需要开车去田地。机器人说：“万岁，去现场！”然后我们就到了
为什么只需行车摄像机
2014年，我们获得了一项科学补助用于研究使用AI的综合农业企业管理系统的模型。我们涉足农业生产者的业务，并研究了最显而易见的农业自动化。俄罗斯农业风险很高（一年一熟，而巴西一年五熟）。您要耕种一整年：昂贵的种子（这是最贵的），然后撒上昂贵的化学制剂（第二大支出），进行土壤和农作物的耕种工作。需要从三月直到秋天。而且只有在秋天您才有两个礼拜收庄稼。如果有什么问题，一天左右您可能会损失10%的产量。
收割机没有来，收割机驾驶员喝醉了，歪斜地收割作物——谷物在收割途中被损坏了。这些只需要几个小时或者几天。
正是在认识到这些问题之后我们开始了研究。激光雷达价格昂贵，所以我们选择了摄像头。拍完一次后——您需要立即识别图像。因为您不仅需要查看，而且还需要了解它的尺寸，行为方式以及明白接下来要做什么。我们要么站着不动，要么前进，但是您需要知道与物体间需保持的相对距离，并且还要记住要与收割机在不同方向需要保持7.5或9米（这不是最大值，在运行时也会有12-13米的距离）的距离。在这样的规格里，同样也有可能在掉头时，由于一些小的细节而意外地碾死了拖拉机或加油机的操作员。
神经网络系统很好地胜任了这项工作。 尽管如此，由于我们使用的是单镜头摄影机，在极少数情况下，您可以使用1:40的模型算法来计算（因为在行进的单镜头摄影机您也可以获得几何图形）。 实际上这种情况是很少出现的。
例如，在玉米（三米秸秆）中，寻找玉米秆很重要。 我们会产生这样的概念，这里是作物，什么会成为障碍，这样我们就可以进一步知道不同作物所处的不同位置了。
这是第二版的自动驾驶仪：
农作物本身就具有复杂性。在首轮的考察中，我们经常去田地里去看新的或者特别的农作物。农艺师没有很好的照料它们，例如没有按时喷洒农药。杂草含量低的作物-神经网络系统不会注意到。曾经我们来到一个农场进行测试。那里的气候截然不同，大麦看上去完全不像农艺师参考书所写的那样。我们无法正确识别被修剪和没被修剪的部分。样本的参考数据很少，我们自己拍摄了这些数据。我们和机器操作员一起穿过田野，采集了新样品到晚上。晚上，在酒店里记下这些数据。补充自己的知识网络。第二天我们又去新的场所考察。
我们就是这样补充样本的：
据向农民解释这一原理的爱德华说，他们自己完全理解收割干净是自动化的重点。日复一日。他们竭尽全力想要避免人为的错误。最后，我们达成了“看一看”的约定。在旺季到来之前，我们的服务团队或经销商安装好一切设备。然后就是校准检查。亦或是在收获期之前，应立即对其进行校准，需要花费一天半的时间。
如果您感有趣的话，我稍后可以告诉您在田间发现的所有事物的识别功能，或者关于我们如何出色地收集参考样本的信息，因为原来的样本很繁复，且不适合俄罗斯。这也与我们是世界上第一个研究该主题的团队，没有可用的经验可以参考有关。