跳到主要内容

Astra S36 双目摄像头

概述

S36 是专为具身智能应用设计的双目摄像头,采用双 3MP 高动态范围(HDR)传感器,整机达到 IP65 防护等级,可适用于室内和室外机器人环境。 该模组配备 6 轴 IMU 传感器,具备接近人眼的 60mm 基线,并集成可提供 120° 水平视场角(HFOV)的宽角镜头。其采用高精度双目主动对准(AA)工艺,确保更优的光轴一致性。

S36 Stereo Camera

关键特性与应用

特性:
• GMSL2 稳定串行接口
• 高动态范围(HDR)
• 双目触发同步
• 集成 6 轴 IMU
• H120° 超广角
• 60mm 仿人眼基线

应用:
• 人形机器人
• 机器狗
• 机械臂
• 深度计算

快速开始

规格参数

参数规格
传感器数量2
分辨率3840(H) × 1536 (V)
3840(H) × 1080 (V)
帧率1920 (H) × 1536 (V) @30FPS
1920 (H) × 1080 (V) @60FPS
曝光卷帘曝光
建议工作距离0.4m~8m
输出格式YUV422
基线60 mm
彩色/黑白彩色传感器
HDR 支持140dB
IMUBMI088
摄像头接口GMSL2
供电9 ~ 16 VDC
电流< 250mA
连接器Amphenol (Z Type Fakra)
工作温度-40~+85°C
主动散斑投影
尺寸W: 30mm, L:84mm, H:35.8mm
防护等级IP65
重量< 200g

尺寸

S36 Stereo Camera

硬件概览

框图

S36 Stereo Camera Block Diagram
IMU 配置说明

IMU: BMI088 (6-axis IMU)
该摄像头配备 6 轴 IMU 传感器,可提供准确的姿态和运动跟踪信息。

I2C 地址信息

组件参数
串行器型号MAX9295D
I2C 地址0x80 (8bit 地址)
GMSL 速率GMSL2 (6G bps)
传感器-1I2C 地址0x34 (8bit 地址)
帧同步由 MAX9295D MFP7 控制
复位由 MAX9295D MFP3 控制
数据类型YUV 422
传感器-2I2C 地址0x36 (8bit 地址)
帧同步由 MAX9295D MFP7 控制
复位由 MAX9295D MFP8 控制
数据类型YUV 422

镜头选项

分辨率HFOVVFOVF.NoEFL (mm)DOF
传感器1 -1920(H) × 1536 (V)
传感器2 -1920(H) × 1536 (V)
120°92°2.03mm0.4m~8
传感器1 -1920(H) × 1080 (V)120°63°2.03mm0.4m~8

摄像头使用

1. 适配 NVIDIA® Jetson™ 平台

S56 Stereo Camera Connect to Nvidia Jetson AGX Orin

S36 双目摄像头连接到 NVIDIA Jetson AGX Orin

步骤 1:安装步骤

快速设置
  1. 使用同轴线将 S36 双目摄像头连接到 SG10A-AGON-G2M-A1 板卡
  2. 将 SG10A-AGON-G2M-A1 板卡安装到 Jetson AGX Orin 模组上
  3. 连接 S36 双目摄像头电源
  4. 连接 SG10A-AGON-G2M-A1 板卡电源
  5. 启动系统

步骤 2:软件准备

SDK 下载
  • 请根据摄像头类型和 JetPack 版本选择合适的驱动包:

  • 将完整链接地址复制到 DownGit 下载

序号JetPack 版本摄像头NVIDIA Jetson 设备转接板下载链接
1JP6.2S36 双目摄像头Jetson AGX Orin Developer KitSG10A-AGON-G2M-A1下载
JetPack 版本

NVIDIA JetPack(Jetpack 5.1.2Jetpack 6.0)是 Jetson 系列开发板的官方软件开发套件(SDK),包含操作系统、驱动、CUDA、cuDNN、TensorRT 以及其他开发工具和库。每个 JetPack 版本通常对应一个特定的 Jetson Linux 版本(此前称为 L4T - Linux for Tegra)。

  • 36.4.3: L4T R36.4.3 (Jetpack 6.2)
  • 36.4: L4T R36.4 (Jetpack 6.1)
  • 36.3: L4T R36.3 (Jetpack 6.0)
  • 35.4.1: L4T R35.4.1 (Jetpack 5.1.2)

更多信息请访问 NVIDIA 官方 Jetson 下载中心

2. 与客户自研平台集成

对于使用自有解串器、希望将我们的摄像头(串行器端)适配到其平台的客户,需要进行详细的技术协同。

SG8A-ORIN-GMSL2-complete

该图展示了摄像头与控制器系统之间的通信架构:数据从摄像头侧的 Sensor/ISP 经 Serializer 传输到控制器侧的 Deserializer 和 SOC。系统使用 Fsync 信号进行同步,并通过 MFP7 接口进行控制。该架构是将 SENSING 摄像头正确集成到客户自研平台的关键。

步骤 1:链路寄存器初始化

SENSING 将提供:

  • 串行器与解串器配置

  • 链路状态故障排查指南

    • 链路训练参数
    • 错误检测设置
提示

请参考下面的软件流程和示例代码开发驱动代码。

软件开发

  1. 驱动开发
/* Example code for MAX9296 I2C initialization */
#define MAX9296_I2C_ADDR 0x90 // 8-bit address

int max9296_init() {
// Initialize I2C bus
i2c_init();

// disable MIPI output
i2c_write(MAX9296_I2C_ADDR, 0x0313, 0x00);
delay_ms(100);
// Configure link settings for GMSL2 (6Gbps)
i2c_write(MAX9296_I2C_ADDR, 0x0001, 0x02);

// Configure linkA and linkB settings for GMSL2 selection (default value)
i2c_write(MAX9296_I2C_ADDR, 0x0006, 0xC0);

// Configure MIPI rate 1200Mbps
i2c_write(MAX9296_I2C_ADDR, 0x0320, 0x2C);

// enable MIPI output
i2c_write(MAX9296_I2C_ADDR, 0x0313, 0x02);

return 0;
}
  1. 摄像头配置
/* Example code for   initialization */

#define MAX9295_I2C_ADDR 0x80 // 8-bit address

int camera_init() {
// Initialize deserializer first
max9296_init();

// Reset ISP through MAX9295A
i2c_write(0x80, 0x02BE, 0x10); // MFP0 high
//
i2c_write(0x80, 0x0057, 0x12);
i2c_write(0x80, 0x005B, 0x11);
// Configure datatype YUV422 8bit
i2c_write(0x80, 0x0318, 0x5E);

// camera trigger MFP7 low to high
i2c_write(0x80, 0x02D3, 0x00); // MFP7 low
delay_ms(300);
i2c_write(0x80, 0x02D3, 0x10); // MFP7 high

return 0;
}

集成步骤

  1. BSP 集成

    • 修改设备树以包含 CSI 接口配置
    • 将摄像头驱动加入内核构建配置
    • 为摄像头配置 media controller pipeline
  2. 应用开发

/* Example code for capturing camera frames */
#include "camera_api.h"

int main() {
// Open camera device
int fd = open("/dev/video0", O_RDWR);
if (fd < 0) {
perror("Failed to open camera device");
return -1;
}

// Configure video capture format
struct v4l2_format fmt = {0};
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1536;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_UYVY;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) < 0) {
perror("Failed to set format");
close(fd);
return -1;
}

// Request and map buffers
// ... (buffer setup code) ...

// Start streaming
// ... (streaming code) ...

// Capture and process frames
// ... (frame processing code) ...

// Cleanup
close(fd);
return 0;
}

步骤 2:数据处理

通过 MIPI CSI 接口接收模组数据后:

  • 数据接收
    • MIPI CSI-2 协议实现
    • 数据速率配置
  • 图像处理
    • YUV422 数据解析
    • 图像格式转换
    • 显示配置

技术支持

  • 文档

    • 详细寄存器说明
  • 工程支持

    • 技术咨询
    • 调试协助
    • 性能优化
提示

SENSING Technology 可为大多数平台的集成工作提供技术支持。如需详细文档、示例代码和技术协助,请联系我们的支持团队。