跳到主要内容

Astra S56 双目摄像头

概述

S56S 双目摄像头是专为具身智能应用打造的摄像头模组,采用双 5MP 全局曝光图像传感器,并基于高可靠性的 GMSL2 串行接口开发。 该模组配备 6 轴 IMU,具备接近人眼的 60mm 基线,并集成宽角镜头,可提供 130° 水平视场角(HFOV)。

S56 Stereo Camera

关键特性与应用

特性:
• GMSL2 同轴远距离传输
• 全局曝光技术
• 双目触发同步
• 集成 6 轴 IMU

应用:
• 人形机器人
• 具身智能
• 远程操控
• 3D 扫描

快速开始

规格参数

参数规格
传感器数量2
分辨率2560 (H) × 1984 (V)
帧率2560 × 1984 @30FPS
曝光全局曝光
输出格式10-bit RAW
基线60.00 ± 0.5 mm
彩色/黑白彩色传感器
IMUSCHA634-D03/BMI088
摄像头接口GMSL2
供电9 - 16 VDC
电流< 200mA
连接器Amphenol (Z Type Fakra)
工作温度-30~+70°C
存储温度-30~+70°C
尺寸W: 30mm, L:84mm, H:25.44mm
防护等级IP52
重量< 200g

尺寸

S56 Stereo Camera

硬件概览

框图

S56 Stereo Camera Block Diagram
IMU 配置说明

IMU1: SCHA634-D03 (6-axis IMU)
IMU2: BMI088 (6-axis IMU)
该摄像头支持双 IMU:当前默认使用 State 1(IMU1),也可选择 State 2(IMU2)。

I2C 地址信息

组件参数
串行器型号MAX9295D
I2C 地址0x80 (8bit 地址)
GMSL 速率GMSL2 (6G bps)
传感器-1I2C 地址0x20 (8bit 地址)
帧同步由 MAX9295D MFP7 控制
复位由 MAX9295D MFP3 控制
数据类型RAW 10bit
传感器-2I2C 地址0x22 (8bit 地址)
帧同步由 MAX9295D MFP7 控制
复位由 MAX9295D MFP8 控制
数据类型RAW 10bit

镜头选项

型号HFOVVFOVF.NoEFL (mm)DOF
S56 Stereo Camera130°±3°102°±3°2.02.18mm0.3~INF

摄像头使用

1. 适配 NVIDIA® Jetson™ 平台

S56 Stereo Camera Connect to Nvidia Jetson AGX Orin

S56 双目摄像头连接到 NVIDIA Jetson AGX Orin

步骤 1:安装步骤

快速设置
  1. 使用同轴线将 S56 双目摄像头连接到 SG10A-AGON-G2M-A1 板卡
  2. 将 SG10A-AGON-G2M-A1 板卡安装到 Jetson AGX Orin 模组上
  3. 连接 S56 双目摄像头电源
  4. 连接 SG10A-AGON-G2M-A1 板卡电源
  5. 启动系统

步骤 2:软件准备

SDK 下载
  • 请根据摄像头类型和 JetPack 版本选择合适的驱动包:

  • 将完整链接地址复制到 DownGit 下载

序号JetPack 版本摄像头NVIDIA Jetson 设备转接板下载链接
1JP6.2S56 双目摄像头Jetson AGX Orin Developer KitSG10A-AGON-G2M-A1下载
JetPack 版本

NVIDIA JetPack(Jetpack 5.1.2Jetpack 6.0)是 Jetson 系列开发板的官方软件开发套件(SDK),包含操作系统、驱动、CUDA、cuDNN、TensorRT 以及其他开发工具和库。每个 JetPack 版本通常对应一个特定的 Jetson Linux 版本(此前称为 L4T - Linux for Tegra)。

  • 36.4.3: L4T R36.4.3 (Jetpack 6.2)
  • 36.4: L4T R36.4 (Jetpack 6.1)
  • 36.3: L4T R36.3 (Jetpack 6.0)
  • 35.4.1: L4T R35.4.1 (Jetpack 5.1.2)

更多信息请访问 NVIDIA 官方 Jetson 下载中心

2. 与客户自研平台集成

对于使用自有解串器、希望将我们的摄像头(串行器端)适配到其平台的客户,需要进行详细的技术协同。

SG8A-ORIN-GMSL2-complete

该图展示了摄像头与控制器系统之间的通信架构:数据从摄像头侧的 Sensor/ISP 经 Serializer 传输到控制器侧的 Deserializer 和 SOC。系统使用 Fsync 信号进行同步,并通过 MFP7 接口进行控制。该架构是将 SENSING 摄像头正确集成到客户自研平台的关键。

步骤 1:链路寄存器初始化

SENSING 将提供:

  • 串行器与解串器配置

  • 链路状态故障排查指南

    • 链路训练参数
    • 错误检测设置
提示

请参考下面的软件流程和示例代码开发驱动代码。

软件开发

  1. 驱动开发
/* Example code for MAX9296 I2C initialization */
#define MAX9296_I2C_ADDR 0x90 // 8-bit address

int max9296_init() {
// Initialize I2C bus
i2c_init();

// disable MIPI output
i2c_write(MAX9296_I2C_ADDR, 0x0313, 0x00);
delay_ms(100);
// Configure link settings for GMSL2 (6Gbps)
i2c_write(MAX9296_I2C_ADDR, 0x0001, 0x02);

// Configure linkA and linkB settings for GMSL2 selection (default value)
i2c_write(MAX9296_I2C_ADDR, 0x0006, 0xC0);

// Configure MIPI rate 1200Mbps
i2c_write(MAX9296_I2C_ADDR, 0x0320, 0x2C);

// enable MIPI output
i2c_write(MAX9296_I2C_ADDR, 0x0313, 0x02);

return 0;
}
  1. 摄像头配置
/* Example code for   initialization */

#define MAX9295_I2C_ADDR 0x80 // 8-bit address

int camera_init() {
// Initialize deserializer first
max9296_init();

// Reset ISP through MAX9295A
i2c_write(0x80, 0x02BE, 0x10); // MFP0 high
//
i2c_write(0x80, 0x0057, 0x12);
i2c_write(0x80, 0x005B, 0x11);
// Configure datatype RAW10
i2c_write(0x80, 0x0318, 0x6B);

// camera trigger MFP7 low to high
i2c_write(0x80, 0x02D3, 0x00); // MFP7 low
delay_ms(300);
i2c_write(0x80, 0x02D3, 0x10); // MFP7 high

return 0;
}

集成步骤

  1. BSP 集成

    • 修改设备树以包含 CSI 接口配置
    • 将摄像头驱动加入内核构建配置
    • 为摄像头配置 media controller pipeline
  2. 应用开发

/* Example code for capturing camera frames */
#include "camera_api.h"

int main() {
// Open camera device
int fd = open("/dev/video0", O_RDWR);
if (fd < 0) {
perror("Failed to open camera device");
return -1;
}

// Configure video capture format
struct v4l2_format fmt = {0};
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1536;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_RAW10;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) < 0) {
perror("Failed to set format");
close(fd);
return -1;
}

// Request and map buffers
// ... (buffer setup code) ...

// Start streaming
// ... (streaming code) ...

// Capture and process frames
// ... (frame processing code) ...

// Cleanup
close(fd);
return 0;
}

步骤 2:数据处理

通过 MIPI CSI 接口接收模组数据后:

  • 数据接收
    • MIPI CSI-2 协议实现
    • 数据速率配置
  • 图像处理
    • RAW10 数据解析
    • 图像格式转换
    • 显示配置

技术支持

  • 文档

    • 详细寄存器说明
  • 工程支持

    • 技术咨询
    • 调试协助
    • 性能优化
提示

SENSING Technology 可为大多数平台的集成工作提供技术支持。如需详细文档、示例代码和技术协助,请联系我们的支持团队。