视觉核心SDK
概述
VisionCore SDK 汇集了在 NVIDIA Jetson 平台上构建 SENSING 摄像头应用所需的核心软件能力。目前提供 sgMIX 模块,覆盖 GMSL 摄像头系统的摄像头控制、采集、标定、ISP 调节、固件和传感器工具。
SDK 模块
| 模块 | 主要定位 | 典型用途 |
|---|---|---|
| sgMIX | 摄像头控制与集成 SDK | 配置 GMSL 摄像头、采集图像、调节 ISP、读取标定参数并访问摄像头工具能力 |
能力概览
sgMIX
sgMIX 是面向 NVIDIA Jetson 平台的摄像头控制 SDK 和 GUI 工具集,用于集成和操作 GMSL 摄像头系统,并对摄像头行为和图像输出进行细粒度控制。
核心能力包括:
- 摄像头初始化与视频流控制
- 图像翻转、镜像、测试图、分辨率等图像控制
- 读取相机内参、双目内参、外参、序列号和固件信息
- ISP 参数控制,包括亮度、对比度、饱和度、锐度、降噪、曝光、增益和白平衡
- OTA 固件升级与网络授权激活
- S56 / S56C 摄像头 IMU 数据采集
- S36 摄像头双目深度 API 支持
- 基于相机内参的图像畸变校正
- 图像帧采集、时间戳读取、传感器数据帧访问,以及部分摄像头的 EBD 数据读取
sgMIX 既可以通过 GUI 完成交互式配置,也可以通过 C++ API 集成到应用程序中。
典型流程
-
准备 Jetson 平台 安装目标设备所需的 JetPack、编译工具、摄像头驱动和运行时依赖。
-
使用 sgMIX 点亮摄像头 选择摄像头型号、分辨率、EEPROM 地址和视频设备,打开摄像头流并确认图像采集正常。
-
读取标定与摄像头信息 通过 sgMIX 读取摄像头序列号、内参、双目标定参数、固件版本和其他设备信息。
-
按需调节图像质量 使用 sgMIX 的 ISP 控制能力调节曝光、增益、白平衡、亮度、对比度、饱和度、锐度和降噪等参数。
-
集成到应用中 将采集帧、时间戳、传感器数据、IMU 数据和校正图像接入感知、导航、三维重建或测试验证流程。
平台与摄像头范围
| 范围 | 说明 |
|---|---|
| 边缘平台 | NVIDIA Jetson AGX Orin、NVIDIA Jetson AGX Thor |
| 摄像头系统 | 对应 SDK 和驱动包支持的 GMSL 摄像头系统 |
| 深度相机示例 | S36 双目深度流程 |
| 传感器示例 | S56 / S56C IMU 数据采集流程 |
| 构建环境 | CMake、build-essential、v4l-utils、NVIDIA JetPack |
SDK 选择建议
| 需求 | 推荐 SDK |
|---|---|
| 配置并打开 GMSL 摄像头 | sgMIX |
| 采集图像帧或读取时间戳 | sgMIX |
| 读取相机内参、外参、SN、固件或 EBD 数据 | sgMIX |
| 调节 ISP 参数 | sgMIX |
| 执行 OTA 固件升级 | sgMIX |
| 获取 S56 / S56C 的 IMU 数据 | sgMIX |
文档入口
- sgMIX 快速入门:GUI 操作说明、摄像头配置流程、ISP 控制、OTA、授权和 API 参考。