随着AI从训练阶段转向推理阶段，光学技术也越来越靠近芯片

Imec 的研究人员认为，共封装光学器件不足以满足未来人工智能系统的需求，这将推动该行业向 2.5D 乃至 3D 光学 I/O 迈进。

多年来，人工智能基础设施的发展一直以训练为主——更大的模型、更大的GPU集群以及能够承受计算负载的数据中心。但随着这些模型走向大规模应用，推理过程正使连接性成为人工智能系统设计中的核心瓶颈之一。

imec投资组合总监、根特大学教授彼得·奥西尔（Peter Ossieur）：“推理是指用户使用模型的时刻。因此，它需要具备响应能力。”

这使得推理与训练成为不同的问题。训练大型模型需要大量的计算资源，但它与最终用户等待答案的体验关联性较弱。推理必须快速且重复地生成词元，通常需要同时服务于多个用户，这涉及到较长的上下文窗口、检索增强的生成、推理步骤、多模态输入以及多智能体架构。  

推理不仅仅是一个计算问题，它还涉及内存、网络、带宽、延迟和能源等多个方面。

规模化成为新的瓶颈

关键区别在于横向扩展网络和纵向扩展网络。

横向扩展网络将数据中心内的机架和系统连接起来。该领域目前已广泛应用光纤技术，并推动了对可插拔光收发器的大部分需求。纵向扩展的要求更高。它将GPU或其他加速器紧密连接起来，从应用程序的角度来看，它们就像一个超大型处理器。

如今，这种可扩展的架构仍然通常基于铜缆，并且很大程度上局限于机架内。但随着人工智能系统发展到数百、数千甚至数万个加速器协同工作，这种模式将难以持续。

这种流量源于前沿人工智能模型的处理能力超过了单个GPU及其附近高带宽内存的容量。因此，训练和推理任务必须分布在多个加速器上，导致GPU之间频繁通信。随着人工智能系统变得更加智能，各个专业代理之间以及与更大的基础模型之间交换数据，这个问题可能会更加严重。

对imec而言，这带来了系统级互连方面的挑战。如果数千个GPU需要以低延迟进行通信，网络架构必须尽可能减少跃点数。这指向了高基数交换机以及潜在的新型光交换方法，包括光路交换。

奥西尔说：“你需要将软件、系统架构以及物理层作为一个整体进行协同设计。你需要确保所有这些部分都能协同工作，并针对你想要解决的人工智能应用进行优化。”

从共封装光学器件到 3D 光学 I/O

将光学器件与计算器件更紧密结合的第一步是光学器件共封装。与将光模块远离处理器或交换机不同，光学器件共封装将光引擎集成到封装内部，从而缩短电路路径，提高带宽和能源效率。

对于规模化应用而言，这或许至关重要。但imec光互连产品组合经理伊梅内·贾德利(Imene Jadli)认为，共封装光器件不足以满足未来人工智能系统的需求。“这是合乎逻辑的下一步，但并非最终目标，”她告诉EE Times。

原因在于功耗。imec 曾讨论过一项预测，未来的处理器可能需要大约 250 Tb/s 的输入/输出带宽。如果采用预期的共封装光器件方案来提供如此高的带宽，仅光器件本身就可能消耗约 1.25 kW 的功率，而处理器本身的功耗可能已经高达数千瓦。

对于系统设计人员来说，这就变成了一个封装和散热问题。如果封装中添加的光学元件消耗过多功率，系统可能会超出实际可冷却的范围。

奥西尔说：“我们需要比共封装光学元件好得多的东西。”

Imec提出的发展方向是2.5D光学I/O。在这种方案中，光学器件通过集成到中介层或衬底层，更靠近处理器。其目标是在缩短电路路径的同时，降低传输海量数据所需的功耗。

芯片到晶圆混合键合，3D光学I/O的关键工艺技术（来源：imec）

该概念的关键在于奥西尔所说的“宽而慢”的方法。imec并没有采用少量配备复杂信号处理技术的高速通道，而是着眼于更多以中等速度运行的通道。这样一来，总带宽可以保持较高水平，而每比特的能耗则可以降低。

Ossieur 表示，在对未来系统的预测中，2.5D 光学 I/O 可以将光功率从约 1.25 kW 降低到 200 W 以下。

这将使光互连在散热和系统设计方面更易于管理。但这同时也需要光器件、封装、组装、材料和系统架构等方面的进步。

Jadli表示，对于共封装光学器件而言，业界需要的是高效、高带宽的紧凑型器件，包括电吸收调制器和高速光电探测器。随着技术路线图向2.5D和3D光学I/O发展，器件效率和集成度变得更加重要。

III-V族调制器，采用全300毫米晶圆级III-V族硅基集成，目标VπL<0.3V·cm，损耗<10dB/cm。（来源：imec）

硅材料之所以仍然具有吸引力，是因为它与CMOS制造工艺兼容。但仅靠硅光技术可能无法提供未来光学I/O所需的所有特性。因此，Imec正在探索诸如钛酸钡和III-V族化合物等材料，以及能够将这些材料集成到CMOS兼容流程中的新型集成方案。

从长远来看，最终目标是实现 3D 光学 I/O，使光学器件成为 3D 计算堆栈的原生组成部分。这最终可能支持高级封装内部的计算单元之间或内存单元之间的通信，包括涉及高带宽内存和堆叠式处理器的链路。

但光学器件越靠近处理器，集成难度就越大。材料兼容性、制造良率、光耦合、测试以及生态系统的成熟度都至关重要。对于3D光学I/O，Jadli指出热管理是尚未解决的最棘手问题之一。

这种工程上的矛盾正是该路线图意义重大之处。为了保持人工智能的规模化发展，业界可能需要将光学器件更靠近计算器件，但这也就意味着需要解决光子学、封装、材料科学和系统架构等多个领域的问题。

随着推理成为大型人工智能系统的主要工作负载，问题不再是光学技术是否会在人工智能基础设施中发挥作用，而是光学技术需要与处理器有多接近。

文章来源：EE Times