耐用目标跟踪技术

进入冬季，北方各地陆续出现冰冻天气，给不少地方的保供电工作增添了难度。目前，大多数地方都采用无人机巡检的模式，但是面临如此寒冻的天气，无人机也可能会“懈怠”。但是大面积覆冰的影响下，人工巡检又很难到达很多区域，所以还是不得不依靠无人机，只是需要性能更加强悍的无人机。无人机电力巡检依靠可见光或者红外两种方式进行自动巡视检测，这其中，用于进行图像处理的传感器性能尤其重要。面临如此寒冷的天气，图像处理板能否正常工作十分关键，因此选对图像处理板，关系整个寒冬的电力巡检。智能化的图像处理板还可以实现自动化的数据分析，实现降本增效。耐用目标跟踪技术

多目标跟踪是指在连续的图像中，通过目标检测算法识别出每一帧中的目标，并在时间上跟踪它们的位置和状态。但目标会不断发生尺度、形变、遮挡等变化，而且还会有目标出现和消失的情况，再加上视频采集端的相机所处环境可能受到外界影响导致抖动的情况（例如无人机高空检测），就会给多目标跟踪造成一定的困难。由于我们不能控制目标，所以只能从视频采集端维护跟踪的稳定性。因此，成都慧视针对于多目标检测跟踪抖动丢失的优化方法是：1.改进目标检测,使用更加鲁棒的目标检测算法。2.增强特征描述，利用深度学习提取更高级别的语义特征，这些特征对于小范围内的视角变化具有更好的不变性3.改进运动模型，在算法中加入对摄像头运动的估计，通过补偿摄像头运动来减小目标真实运动与预测之间的差距。4.数据关联策略，设计更灵活的数据关联算法，允许更大的距离阈值来匹配候选目标。耐用目标跟踪技术工程师以RV1126核心板为基础进行定制开发，让摄像头更加智能高效，能够输出高清流的图像视频。

这样的无人机智慧“眼”可以通过搭载吊舱实现，吊舱内置各种规格的摄像机，能够实现多角度观察。而智能化则可以在吊舱的基础上植入高性能AI图像处理板。图像处理板能够对摄像机获取的图像进行AI智能分析，这样无人机就能够自动识别缺陷，然后进行信息留存、回传。在这个领域，成都慧视光电可以根据需求进行多接口图像处理板的定制，选择成都慧视开发的RK3588系列图像处理板，支持选择SDI、CVBS、LVDS、USB、cameralink等接口。RK3588拥有6.0TOPS的算力，能够在各种复杂环境进行稳定工作。板卡和识别算法的强强联合下，无论白天黑夜，无人机都可以实现自助巡检，就不需要过多的人工参与。也是一种降本增效的举措。

但这也遇到很多难点，通常情况下，视频回传的延迟大概在200ms左右，随着大量的弹打出，视频传输所需带宽就面临压力，如何在通信带宽有限的情况下，保证视频顺畅、清晰、无卡顿地传输，是分析改进这个工作需要解决的前期难点。针对于这个问题，慧视光电利用GS弱网高清音视频传输系统和RK3588打造的Viztra-HE030图像处理板结合，推出了低延迟低带宽图传解决方案。在一个窄带收发信道内，例如在信道有效带宽0.5Mb/s~2Mb/s内，多路视频和交互控制共用一对收发信道，信道支持数据透传，外部系统可以使用该信道，传输任意格式的数据；可实时调整视频码率，在低至500K带宽情况下依然可以回传清晰流畅的图像。可以使设备飞的更远、走的更远;可实现视频中继转发；能够基于H265实时视频编码；可实现基于视频流的“人在回路低延迟控制”。基于普通60帧相机，实现15ms的低延迟编解码，加上数据链传输延迟时间在30ms左右，目前业界前列。通用性强，使用更加灵活，适用更多应用场景；支持多路SDI视频在低至500K带宽情况下的同时传输（1080P60FPS），彻底解决“带宽苦恼”；整体时延约60ms（含相机、编解码、显示，不含传输），实现实时控制、实时打击。RK3399PRO图像处理板识别概率超过85%。

RK3588作为瑞芯微国产化旗舰级芯片，用在目标跟踪领域，通常情况下跟踪帧率都在50Hz左右，这已经足够满足大多数应用领域的需求。但在许多特殊领域，如军备、边防，高帧频的视频输出能够在极短的时间内捕捉到更多的画面，实现高速动态场景的连续拍摄。高帧频的目标跟踪则能够获得更多的目标细节，便于做出下一步判断。许多中低端性能的由于算力等因素无法达到这样的需求，但RK3588作为性能怪，6.0TOPS的算力开发潜力无限。成都慧视就针对于这样的需求场景，在硬件的支持下，定制开发出能够支撑100Hz跟踪算法，从而打造出能够稳定实现100Hz目标跟踪的整合方案。RK3399图像处理板识别概率超过85%。湖南目标跟踪互惠互利

慧视RK3399PRO板卡可以用于大型公共停车场。耐用目标跟踪技术

无人机能够通过高空拍摄快速获取大范围、多角度的地面信息。但是传统的摄像头只能获取视频数据，对于许多需要进行数据分析的行业来说显然不够智能化，从无人机视频数据中快速获取提炼大量有价值的信息，不仅能够提升工作效率，还能够减少不小的成本支出。这就是无人机的AI识别能力。通过识别算法，在无人机工作时就对目标范围进行AI检测识别，从而提炼所需信息。这就需要对无人机进行智能化改造，可以在传统无人机吊舱中植入成都慧视开发的高性能AI图像处理板，如利用RK3588深度开发而成的Viztra-HE030图像处理板，6.0TOPS的算力能够快速处理无人机识别到的复杂画面信息，这样就有了硬件基础，剩下的就需要对自身算法进行不断优化提升。耐用目标跟踪技术