← 全部项目

项目手记 · RDK X3 双目视觉

RDK X3 双目视觉

让开发板看见目标,也估一估距离

个人项目

项目源码 ↗ github.com/AMUHE/RDK-X3-Stereo-Vision-AI
YOLOv8nHorizon BPUOpenCVROS2 / TROSStereoBM

为什么做

检测框能告诉我画面里有什么,但我还想知道它离摄像头多远。把检测和双目测距接起来后,图像不同步、坐标对不上、摄像头被两个进程抢占,都得逐个处理。

怎么实现

YOLO 交给 BPU 跑,CPU 跑图像校正和双目匹配;两边共用左目这帧图,把检测框对齐到深度图上,在框里取深度中位数,再用前几帧的结果做平滑。

  1. 双摄像头采图
  2. 校正图像、检测目标
  3. 对齐坐标、估算距离
  4. 在显示器上看结果

实现中的取舍

  • 左摄像头只采一次图,再把图像分给检测和测距,避免两个进程抢设备。
  • 左右帧的时间差太大就跳过,这一帧宁可没有距离,也不硬凑一个数。
  • 测不到时明确显示没有深度,旧结果到期就丢掉;不同目标的历史数据分开存。

简历

选择简历版本 ↗