项目手记 · RDK X3 双目视觉
RDK X3 双目视觉
让开发板看见目标,也估一估距离
个人项目
项目源码 ↗ github.com/AMUHE/RDK-X3-Stereo-Vision-AI图像记录
先看看项目
点击图片放大查看
双目视觉与目标检测的融合流程
按摄像头接法和处理流程画的示意图。
为什么做
检测框能告诉我画面里有什么,但我还想知道它离摄像头多远。把检测和双目测距接起来后,图像不同步、坐标对不上、摄像头被两个进程抢占,都得逐个处理。
怎么实现
YOLO 交给 BPU 跑,CPU 跑图像校正和双目匹配;两边共用左目这帧图,把检测框对齐到深度图上,在框里取深度中位数,再用前几帧的结果做平滑。
- 双摄像头采图
- 校正图像、检测目标
- 对齐坐标、估算距离
- 在显示器上看结果
实现中的取舍
- 左摄像头只采一次图,再把图像分给检测和测距,避免两个进程抢设备。
- 左右帧的时间差太大就跳过,这一帧宁可没有距离,也不硬凑一个数。
- 测不到时明确显示没有深度,旧结果到期就丢掉;不同目标的历史数据分开存。