跳到主要内容

视觉核心SDK

概述​

VisionCore SDK 汇集了在 NVIDIA Jetson 平台上构建 SENSING 摄像头应用所需的核心软件能力。目前提供 sgMIX 模块,覆盖 GMSL 摄像头系统的摄像头控制、采集、标定、ISP 调节、固件和传感器工具。

SDK 模块​

模块主要定位典型用途
sgMIX摄像头控制与集成 SDK配置 GMSL 摄像头、采集图像、调节 ISP、读取标定参数并访问摄像头工具能力

能力概览​

sgMIX​

sgMIX 是面向 NVIDIA Jetson 平台的摄像头控制 SDK 和 GUI 工具集,用于集成和操作 GMSL 摄像头系统,并对摄像头行为和图像输出进行细粒度控制。

核心能力包括:

  • 摄像头初始化与视频流控制
  • 图像翻转、镜像、测试图、分辨率等图像控制
  • 读取相机内参、双目内参、外参、序列号和固件信息
  • ISP 参数控制,包括亮度、对比度、饱和度、锐度、降噪、曝光、增益和白平衡
  • OTA 固件升级与网络授权激活
  • S56 / S56C 摄像头 IMU 数据采集
  • S36 摄像头双目深度 API 支持
  • 基于相机内参的图像畸变校正
  • 图像帧采集、时间戳读取、传感器数据帧访问,以及部分摄像头的 EBD 数据读取

sgMIX 既可以通过 GUI 完成交互式配置,也可以通过 C++ API 集成到应用程序中。

典型流程​

  1. 准备 Jetson 平台 安装目标设备所需的 JetPack、编译工具、摄像头驱动和运行时依赖。

  2. 使用 sgMIX 点亮摄像头 选择摄像头型号、分辨率、EEPROM 地址和视频设备,打开摄像头流并确认图像采集正常。

  3. 读取标定与摄像头信息 通过 sgMIX 读取摄像头序列号、内参、双目标定参数、固件版本和其他设备信息。

  4. 按需调节图像质量 使用 sgMIX 的 ISP 控制能力调节曝光、增益、白平衡、亮度、对比度、饱和度、锐度和降噪等参数。

  5. 集成到应用中 将采集帧、时间戳、传感器数据、IMU 数据和校正图像接入感知、导航、三维重建或测试验证流程。

平台与摄像头范围​

范围说明
边缘平台NVIDIA Jetson AGX Orin、NVIDIA Jetson AGX Thor
摄像头系统对应 SDK 和驱动包支持的 GMSL 摄像头系统
深度相机示例S36 双目深度流程
传感器示例S56 / S56C IMU 数据采集流程
构建环境CMake、build-essential、v4l-utils、NVIDIA JetPack

SDK 选择建议​

需求推荐 SDK
配置并打开 GMSL 摄像头sgMIX
采集图像帧或读取时间戳sgMIX
读取相机内参、外参、SN、固件或 EBD 数据sgMIX
调节 ISP 参数sgMIX
执行 OTA 固件升级sgMIX
获取 S56 / S56C 的 IMU 数据sgMIX

文档入口​

  • sgMIX 快速入门:GUI 操作说明、摄像头配置流程、ISP 控制、OTA、授权和 API 参考。