AMD、Ayar Labs、Cerebras和微软高管探讨光学I/O在AI基础设施中的未来

hdy

引言

人工智能基础设施面临重大挑战，因为传统铜质互连正达到其基本物理极限。来自AMD、Ayar Labs、Cerebras Systems和微软的行业领导者最近讨论了硅基光电子技术，特别是光学I/O技术如何通过克服这些瓶颈来提升AI系统性能[1]。

铜质互连的局限性

铜质互连在半导体行业占主导地位近三十年，但现在正面临无法克服的物理限制。带宽与传输距离的基本权衡意味着随着带宽增加，传输距离显著减少。例如，虽然今天200 Gbps可以覆盖一米距离，但使用铜质互连物理上不可能在一米上实现400 Gbps或在两米上实现200 Gbps。

Ayar Labs的首席技术官兼联合创始人Vladimir Stojanovic解释说，这一限制正直接影响AI系统的扩展："任何介质上的带宽翻倍最终都会耗尽动力并撞上基本物理限制。铜质互连已经使用了近三十年。我认为应将高带宽领域的铜质使用限制在机架级别，因为在扩展领域目前最大的问题是能够摆脱机架内铜质互连的束缚。"

图1. 推理是使用经过训练的机器学习模型基于新的、未见过的数据进行预测或决策的过程。

AI工作负载需求的变化

AI工作负载的性质已显著演变。虽然推理工作负载传统上预计会随时间简化，但实际上变得更加复杂。Cerebras Systems的Jean-Philippe Fricker指出："在生成式AI推理中出现了新趋势，让网络在回答前'思考'。我们习惯于超快速且不需要大量带宽的推理工作负载正在演变，变得更像训练。"

这种演变意味着推理所需的架构与训练所用的架构越来越相似，尽管关键差异仍然存在。这种趋同需要增强I/O能力，以处理现代推理任务的带宽密集型数据处理需求，并优化吞吐量和延迟。

实现光电共封装的挑战

业界普遍认为，跨机架系统的CPO将带来益处。然而，实施挑战依然存在。AMD的Robert Hormuth指出了几个障碍："由于光学成本、功耗和可靠性问题，行业一直试图不惜一切代价坚持使用铜质互连。但另一个问题是与SoC架构的对齐。GPU和CPU有非常宽的总线以相对较慢的速度运行，因为需要对数据进行操作，而不仅仅是传递数据。如何在不增加大量成本、功耗和延迟的情况下将数据传出芯片？"

为使CPO广泛采用，Hormuth强调"需要与SoC管道对齐"。他强调了加载/存储操作、内存语义Fabric和网络之间的重要区别。Ayar Labs的光学I/O chiplet延迟约为十纳秒，原始位错误率(BER)优于1e-12。

图2. Ayar Labs的光学I/O技术集成到多芯片计算节点中。

激光器可靠性和能效

激光器可靠性仍是光学互连主流采用的关键因素。微软的Nidhi Chappell承认："激光器很有希望，但今天消耗更多功率。可靠性也是一个因素。最终会是答案，但仍有提升空间。"

Ayar Labs通过创新方法解决这些挑战，包括将激光器移到封装外部，实施多波长设计，以及平衡系统架构以支持内存语义Fabric。这些策略降低了每波长的功耗，显著提高了外部激光器的可靠性及其放置和冷却。

图3. Ayar Labs的SuperNova™远程光源是外部激光源(ELS)的一个例子。

行业标准的作用

标准化对于光学I/O技术的成功实施非常重要。Chappell强调："这种工作负载非常不稳定。快速变化的工作负载和特定供应商的实现是完全灾难性的。不可能有十种定制设计。要实现可在多种场景中扩展的规模化实施，需要制定标准，使我们能够测试不同的实现。"

Hormuth补充说，行业标准对于推动体量十分必要，而体量又推动成本降低。然而，对于这些标准应包含什么以及应开发多少标准，存在不同观点。根据Hormuth的说法，关键问题是是否应该采用一刀切的光学方法，或者为基于数据包和基于加载/存储的应用分别制定标准。

尽管存在这些差异，业界普遍认为标准对光学I/O的发展和成功极为重要。对芯片间接口和光学连接器等关键方面进行标准化，会影响封装和集成，最终增加这些应用的体量。

图4. Ayar Labs是这些制定光学I/O发展和成功关键标准的组织成员。

硅基光电子部署时间表

行业专家预计，硅基光电子将在未来几年内部署到AI系统中。Chappell预测："我认为是几年后的事。不是十年。有很多聪明人在研究。生态系统确实有很大需求。"

Hormuth同意，认为光电共封装可能首先在顶部机架交换和交换硅中实施，他表示："微软何时告诉我们准备好，我们就会准备好。"

同时，Ayar Labs专注于扩大整个制造生态系统规模，以每年生产数千万个chiplet来满足未来需求。正如Hormuth总结："我们必须实现体量、规模经济和标准。这是成功的关键。"

END