视觉核心SDK
概述
VisionCore SDK 是在 NVIDIA Jetson 平台上构建 SENSING 相机应用时常用的核心软件能力，主要包含两个模块：
- sDepth：面向双目相机的 AI 深度估计 SDK，用于从左右目图像生成高质量深度图。
- sgMIX：面向 GMSL 相机系统的相机控制、采集、标定、ISP 调节、固件和传感器工具 SDK。
两个 SDK 覆盖了从相机点亮、视频采集、图像校正、参数读取、传感器数据访问，到实时双目深度输出的主要开发流程。
SDK 模块
| 模块 | 主要定位 | 典型用途 |
|---|---|---|
| sDepth | AI 双目深度 SDK | 从双目图片或实时相机流生成深度图 |
| sgMIX | 相机控制与集成 SDK | 配置 GMSL 相机、采集图像、调节 ISP、读取标定参数并访问相机工具能力 |
能力概览
sDepth
sDepth 基于神经网络进行双目深度估计，可在复杂场景中生成稳定的深度图。相比传统双目方法，它更关注弱纹理区域、低光环境等场景下的深度估计可靠性。
核心能力包括：
- 基于 AI 的双目深度图生成
- 支持离线图片处理和实时相机采集模式
- 支持深度图与视差图显示切换
- 支持面向短距离和长距离显示的多种颜色映射模式
- 通过 JSON 配置加载相机标定参数
- 支持 NVIDIA Jetson AGX Orin 和 NVIDIA Jetson AGX Thor
sDepth 适用于机器人、AR、三维重建，以及其他需要在嵌入式平台上获得稳定深度感知能力的应用。
sgMIX
sgMIX 是面向 NVIDIA Jetson 平台的相机控制 SDK 和 GUI 工具集，用于集成和操作 GMSL 相机系统，并对相机行为和图像输出进行细粒度控制。
核心能力包括：
- 相机初始化与视频流控制
- 图像翻转、镜像、测试图、分辨率等图像控制
- 读取相机内参、双目内参、外参、序列号和固件信息
- ISP 参数控制，包括亮度、对比度、饱和度、锐度、降噪、曝光、增益和白平衡
- OTA 固件升级与网络授权激活
- S56 相机 IMU 数据采集
- S36 相机双目深度 API 支持
- 基于相机内参的图像畸变校正
- 图像帧采集、时间戳读取、传感器数据帧访问，以及部分相机的 EBD 数据读取
sgMIX 既可以通过 GUI 完成交互式配置，也可以通过 C++ API 集成到应用程序中。
典型流程
-
准备 Jetson 平台 安装目标设备所需的 JetPack、编译工具、相机驱动和运行时依赖。
-
使用 sgMIX 点亮相机 选择相机型号、分辨率、EEPROM 地址和视频设备，打开相机流并确认图像采集正常。
-
读取标定与相机信息 通过 sgMIX 读取相机序列号、内参、双目标定参数、固件版本和其他设备信息。
-
按需调节图像质量 使用 sgMIX 的 ISP 控制能力调节曝光、增益、白平衡、亮度、对比度、饱和度、锐度和降噪等参数。
-
运行 sDepth 双目深度 加载深度模型、授权文件和双目标定 JSON，处理离线双目图片或实时相机流并输出深度结果。
-
集成到应用中 将采集帧、时间戳、传感器数据、IMU 数据、校正图像和深度图接入感知、导航、三维重建或测试验证流程。
平台与相机范围
| 范围 | 说明 |
|---|---|
| 边缘平台 | NVIDIA Jetson AGX Orin、NVIDIA Jetson AGX Thor |
| 相机系统 | 对应 SDK 和驱动包支持的 GMSL 相机系统 |
| 深度相机示例 | S36 双目深度流程 |
| 传感器示例 | S56 IMU 数据采集流程 |
| 构建环境 | CMake、build-essential、v4l-utils、NVIDIA JetPack |
SDK 选择建议
| 需求 | 推荐 SDK |
|---|---|
| 配置并打开 GMSL 相机 | sgMIX |
| 采集图像帧或读取时间戳 | sgMIX |
| 读取相机内参、外参、SN、固件或 EBD 数据 | sgMIX |
| 调节 ISP 参数 | sgMIX |
| 执行 OTA 固件升级 | sgMIX |
| 获取 S56 的 IMU 数据 | sgMIX |
| 从双目图片生成深度图 | sDepth |
| 在 Jetson 上运行实时双目深度 | sDepth |
| 构建从相机采集到深度感知的完整流程 | sgMIX + sDepth |
文档入口
- sDepth 快速入门：深度估计概述、支持平台、性能数据、显示控制、编译步骤、参数说明和使用示例。
- sgMIX 快速入门：GUI 操作说明、相机配置流程、ISP 控制、OTA、授权和 API 参考。