视觉核心SDK
概述
VisionCore SDK 汇集了在 NVIDIA Jetson 平台上构建 SENSING 相机应用所需的核心软件能力。目前提供 sgMIX 模块，覆盖 GMSL 相机系统的相机控制、采集、标定、ISP 调节、固件和传感器工具。
SDK 模块
| 模块 | 主要定位 | 典型用途 |
|---|---|---|
| sgMIX | 相机控制与集成 SDK | 配置 GMSL 相机、采集图像、调节 ISP、读取标定参数并访问相机工具能力 |
能力概览
sgMIX
sgMIX 是面向 NVIDIA Jetson 平台的相机控制 SDK 和 GUI 工具集，用于集成和操作 GMSL 相机系统，并对相机行为和图像输出进行细粒度控制。
核心能力包括：
- 相机初始化与视频流控制
- 图像翻转、镜像、测试图、分辨率等图像控制
- 读取相机内参、双目内参、外参、序列号和固件信息
- ISP 参数控制，包括亮度、对比度、饱和度、锐度、降噪、曝光、增益和白平衡
- OTA 固件升级与网络授权激活
- S56 / S56C 相机 IMU 数据采集
- S36 相机双目深度 API 支持
- 基于相机内参的图像畸变校正
- 图像帧采集、时间戳读取、传感器数据帧访问，以及部分相机的 EBD 数据读取
sgMIX 既可以通过 GUI 完成交互式配置，也可以通过 C++ API 集成到应用程序中。
典型流程
-
准备 Jetson 平台 安装目标设备所需的 JetPack、编译工具、相机驱动和运行时依赖。
-
使用 sgMIX 点亮相机 选择相机型号、分辨率、EEPROM 地址和视频设备，打开相机流并确认图像采集正常。
-
读取标定与相机信息 通过 sgMIX 读取相机序列号、内参、双目标定参数、固件版本和其他设备信息。
-
按需调节图像质量 使用 sgMIX 的 ISP 控制能力调节曝光、增益、白平衡、亮度、对比度、饱和度、锐度和降噪等参数。
-
集成到应用中 将采集帧、时间戳、传感器数据、IMU 数据和校正图像接入感知、导航、三维重建或测试验证流程。
平台与相机范围
| 范围 | 说明 |
|---|---|
| 边缘平台 | NVIDIA Jetson AGX Orin、NVIDIA Jetson AGX Thor |
| 相机系统 | 对应 SDK 和驱动包支持的 GMSL 相机系统 |
| 深度相机示例 | S36 双目深度流程 |
| 传感器示例 | S56 / S56C IMU 数据采集流程 |
| 构建环境 | CMake、build-essential、v4l-utils、NVIDIA JetPack |
SDK 选择建议
| 需求 | 推荐 SDK |
|---|---|
| 配置并打开 GMSL 相机 | sgMIX |
| 采集图像帧或读取时间戳 | sgMIX |
| 读取相机内参、外参、SN、固件或 EBD 数据 | sgMIX |
| 调节 ISP 参数 | sgMIX |
| 执行 OTA 固件升级 | sgMIX |
| 获取 S56 / S56C 的 IMU 数据 | sgMIX |
文档入口
- sgMIX 快速入门：GUI 操作说明、相机配置流程、ISP 控制、OTA、授权和 API 参考。