干掉摄像头解串行束缚，以太网升级助力英伟达Thor HSB高效传输-58码农网

Okay, let's break down this request: "干掉摄像头解串行，改成以太网，英伟达Thor的HSB".
This translates to roughly: "Remove the serial camera, convert to Ethernet, using the HSB (High Speed Bridge) on the NVIDIA Thor module."
Here's a detailed explanation and breakdown of what this involves:
1. ""干掉摄像头解串行" (Remove the serial camera, de-serialize):" "Serial Camera:" This likely refers to a camera (or camera interface) that uses a serial communication protocol like MIPI CSI-2 (Serial Data Interface) to transmit video data. NVIDIA Jetson modules, including Thor, typically have MIPI CSI-2 inputs for connecting cameras. "解串行 (De-serialize):" This means you want to take the parallel video data stream coming from the camera's sensor (which is serialized into a serial format like MIPI CSI-2) and potentially process it or prepare it for a different type of transmission. However, in the context of converting to Ethernet, the crucial step is usually to get the video data out of the CSI-2 interface in a usable format (like YUV, RGB, NV12) on the Jetson Thor.
2. ""改成以太网" (Convert to Ethernet):" You want to transmit the video data over a standard Ethernet network instead of using the native MIPI

相关内容：

英伟达在2024年推出Holoscan Sensor Bridge即HSB，在Orin上也可以运行，不过Orin的以太网接口只有两个，一个千兆，一个万兆，如果用以太网传输摄像头视频数据，万兆是最基本的带宽，而Orin只有一个，最多只能对应两个800万像素摄像头，这显然不够，而最新的Thor则不然，Thor拥有4个25GbE以太网接口，也就是拥有十万兆的以太网带宽。

HSB不是一个简单的改动，而是一套完整的软硬件系统，虽然目前英伟达定位HSB用于具身智能领域，但也可以扩展至汽车领域。

HSB简介

图片来源：英伟达

众所周知，目前摄像头视频传输格式主要是MIPI CSI-C或D，主要是解串行方式，就是摄像头端加串行器，SoC端加解串行器，基本就是美国ADI的GMSL垄断市场，特别是车载市场，为什么要用以太网代替解串行，以太网有什么优势？

以太网最大优势就是低延迟。现代嵌入式边缘系统需要具有不同接口、高分辨率、快速帧率、低延迟和精确同步的摄像头。HSB 的延迟比 USB 摄像头低 5 倍，延迟比 MIPI 摄像头低 1.5 倍，玻璃到玻璃的延迟低至 17 毫秒，从而满足这些需求。通过使用 RDMA 和以太网摄像头，它可以将数据直接传输到 GPU 内存，而 CPU 利用率几乎为零，从而缩短响应时间并实现实时操作。

几种摄像头传输视频传输延迟对比

图片来源：英伟达

数据来源：e-con Systems

这里使用的IMX715本身有829万有效像素，但采用水平垂直两线binning像素合并驱动，分辨率降低为1920*1080。这是科研和工业领域常用的一种手段，在数码相机中，每个像元根据 “激活 ”曝光时接收到的光量记录场景的强度值。在线阵扫描应用中，每次曝光仅采集图像的一行。由于曝光期极其短暂，传感器像元也许只能捕捉到少量光线，从而导致图像暗淡，细节模糊。“像素合并”功能可将两个相邻像元捕捉到的光线进行叠加，然后将合并的像素值输出为单一像素。例如，对于每行 4096 个像素的线阵扫描传感器，每两个像元合并在一起后，输出的线阵像素为总像素的一半 (2048)，但亮度加倍。两条线同时曝光，并在水平、垂直或两个方向上同时组合像元，做到输出的每个像素覆盖拍摄目标上更大的区域，并显著提升亮度。启动水平和垂直合并选项后，亮度最高可达原来的四倍，信噪比也更高，对于高速移动目标，非常有必要。

200万像素10比特色彩下HSB比GMSL要快大约16秒，分辨率越高，HSB低延迟越明显。

对于传统的移动行业处理器接口 (MIPI) 摄像头，摄像头流水线通常需要多个内核空间驱动程序，在将数据传递到 GPU 显存之前，先将数据发送到 CPU 显存。借助 HSB，传统的内核空间驱动将被用户空间 API 取代，开发者无需为摄像头和控制功能创建单独的驱动。这种简化的方法使开发者能够专注于应用程序逻辑，而不是低级驱动开发。它还具有灵活性，支持与一系列图像信号处理器 (Image Signal Processor, ISP) 选项集成，包括基于NVIDIA CUDA的ISP、HSB硬件上的软ISP实现，或NVIDIA Jetson AGX和NVIDIA IGX上的内部ISP。

图片来源：英伟达

Jetson AGX Orin 平台上的 HSB 管道以及 Jetson AGX Orin 上的 HW ISP Holoscan 传感器桥接器也可与 SW ISP 或 CUDA ISP 一起使用，类似于 IGX 管道。就 NVIDIA Jetson Thor 而言，管道中使用的是以太网摄像头，而非 NVIDIA ConnectX。

以太网的另一个好处是便于时间同步，严格讲只有车载和工业以太网才具备，这就是TSN协议中的802.1AS-2020，TSN即时间敏感网络，此功能使传感器桥接器能够将其内部时钟与主机系统同步，确保在采集时对每一项传感器数据进行精确的时间记。它可在 1 微秒内实现同步精度，并且精度通常超过 100 纳秒，一般都可以做到10纳秒，因此非常适合医学成像、机器人和自主系统中的高性能应用。借助准确的时间，开发者可以满怀信心地准确追踪每个传感器事件的发生时间，从而实现跨多个来源的数据对齐，并在分布式系统中进行可靠的协调。

IEEE Std 802.1AS 对 IEEE 1588 进行扩展产生了gPTP协议，它用于TSN中的时间同步，为数据流的控制和管理提供时间参考。gPTP（generalized Precision Time Protocol，广义精确时间同步协议），基于PTP（IEEE 1588v2）协议进行了一系列优化，形成了更具有针对性的时间同步机制，可以实现μs级的同步精度。

图片来源：网络

主时钟是系统内的时间基准，一般具有更高精度的本地时钟，同时需要能够被高精度准时钟源（如卫星系统、原子钟等）授时，车内就是GNSS系统。主时钟在系统内可以动态分配，也可以预先分配（对于车载固定拓扑应用场景，多采用预先分配的原则）。gPTP中规定的主时钟动态分配机制为BMCA (Best Master Clock Algorithm，最佳主时钟选择算法)。系统上电唤醒之后，系统所有设备都可以通过发送一条报文来参与主时钟竞选，报文中含有各自设备的时钟信息。每一个参选设备都会比较自己的时钟信息和其它设备的时钟信息，并判断是否具有优势，如果不具有，则退出。

gPTP只能工作在MAC子层，PTP除了可以工作在MAC子层，还可以工作在传输层。工作在传输层时，报文要经历协议栈缓存、操作系统调度等过程，这两个过程都会带来传输延时的增加且大小不可控。而工作在MAC子层时，离物理层只有一步之遥，既能减缓协议栈缓存带来延时的不确定性，又能缩短报文传输延时。不过这意味着设备必须在硬件层面支持TSN，不能通过软件获得，也就是必须硬件支持802.1AS-2020，以前的芯片完全不可用。

汽车gPTP框架