玖越机器人基于事件的视觉传感，变革机器视觉技术

　　根据九月机器人的说法，我们目前正处于机器视觉和人工智能转型的早期阶段。根据YoleDelopment等市场研究机构的分析，预计到2030年，视觉技术将创造一个价值100亿美元的市场。该技术将渗透到各个领域，包括自动驾驶、AR、可穿戴计算成像、机器人技术等。

　　机器视觉和人工智能领域总是与视觉技术密不可分的。基于事件的神经模拟视觉是一种新的成像技术范式，可以大大提高机器感知周围环境的能力，从而做出智能决策。如何提高机器视觉和人工智能领域的现有应用性能，以及如何提高机器视觉和人工智能领域的新技术标准？

　　视觉技术与传统图像传感器基于事件的本质区别

　　受生物原理的启发，基于事件的神经拟态视觉技术与传统图像传感器的工作模式有很大不同。与人眼视网膜类似，基于事件的神经拟态视觉技术传感器不会在固定时间生成图像，而是关注场景的动态变化。这种动态变化信息对机器视觉和人工智能非常重要。这一工作原理意味着基于该技术的传感器采集图像的方式、连续、连续地收集图像。每个传感器都是独立的，只对不断变化的事物做出反应，静态背景信息不会一次又一次地收集。

　　为了模拟这一生物学原理，我们需要通过嵌入像素的智能设计来设计智能像素。上图所示的模拟处理系统，基于电平交叉采样电路，每个像素都能对场景中的亮度变化做出反应，从而减少冗余，提高数据传输率。

　　例如，上图中的传感器可以准确到微秒级，数据收集速度非常快。更重要的是，每个像素都可以独立地异步工作。因此，基于该技术的传感器的数据采集功能不受现场照明条件的影响。因此，这意味着其动态范围高于120-130dB之间的传统图像传感器。

　　基于事件的异步自适应取样和基于帧的数据取样之间的差异也是显而易见的。在一个固定的时间内获得的一系列图像将不可避免地导致信息冗余。虽然它产生的信息在时间上是连续的，但由于数据收集本身的不连续性，帧之间会缺少信息。基于事件的异步自适应取样只能获得不断变化的信息。换句话说，它捕捉了在时间和空间范围内的连续信息流（像素级）。根据propheee的说法，这个传感器不会产生原始数据，而只提供处理任务所需的必要信息。

　　(Prophesee采集对比)

　　隐藏信息在图像之间

　　基于事件的传感器可以快速响应场景变化，揭示到目前为止基于帧的传感器难以记录的信息。基于帧的捕获和采集的动态范围不可避免地受到限制，它极度依赖于光照条件，对新兴的人工智能和机器视觉不友好。在对运动物体的理解中，帧和帧之间没有信息记录，这对于整个运动来说是非常困难的，有时甚至是不可能的。基于事件传感的连续信息流使处理系统更容易跟踪，并对动态信息有更深入的理解。这也意味着它可以在本地进行更新和跟踪，并提高时间准确性。

　　基于事件的传感器可以记录亚毫秒时间水平，相当于10000fps，时间，并捕获转瞬即逝的事件。系统需要处理的数据减少了10到1000倍，更准确地获取关键动态信息，因为它没有记录冗余数据。同时，它的动态范围很高，可以捕获在极端照明条件下隐藏的信息。

　　从机器学习的角度来看，对于数学模型的构建来说，这种连续的信息流捕获和跟踪也是相当简单的。

　　传感器基于事件演进

　　目前，基于事件的视觉技术传感器已发展到第四代。与第三代VGA传感器相比，采用背照式(BSI)3D堆栈工艺制造的硅面积减少了10倍以上。由于CIS层堆叠在CMOS层上，因此与上一代相比，器件的光敏区域和逻辑电路也得到了优化。像素间距也减少到4.86微米，再加上80%以上的填充因子，传感器具有更高的光电性能。

　　基于传感器的机器学习可以在不使用图像的情况下训练神经网络识别对象。第二，使用时间编码的信息。这给机器学习带来了很大的变化。首先，没有必要等待帧图像大大减少延迟。第二，它更容易泛化。抓住主要事件特征，减少数据集，最终减少计算量。

　　小结

　　一般来说，基于事件的视觉传感技术不受帧速率的限制，实现了更快的速度和更高的动态范围。与传统图像传感器相比，产生的数据量更少，功率更低（10mw），为机器视觉和人工智能提供了更具成本效益的视觉解决方案。