Astera Labs präsentiert modulare Orion KI Rack-Architektur

Key Takeaways

• Orion ist Ast Astera Labs’ neues modulares Rack-Scale Referenzdesign, das Rechenzentrums-Betreiber CPUs und GPUs via PCIe-Plug-In-Karten mischen-und-anpassen lässt.
• Die Architektur unterstützt bis zu 160 Beschleuniger pro Pod und nutzt ein standardbasiertes Fabric, um die Latenz für Intra-Pod-Verkehr unter 1 µs zu halten.
• Durch die Entkopplung des Rack-Chassis von der Beschleunigerwahl reduziert Orion den Integrationsaufwand um ≈40 % und verkürzt die Time-to-Production auf Q1 2027.
• Orion wird mit COSMOS Rack Manager und COSMOS Fabric Manager geliefert für einheitliche Telemetrie, Diagnose und KI-Workload-Orchestrierung.
• Das Design wird auf dem 2026 OCP Global Summit (12.–15. Oct, San Jose) mit austauschbaren Compute-Trays demonstriert.

Overview

Astera Labs hat Orion vorgestellt, eine Rack-Scale Referenzplattform, die offene Standard-Konnektivität mit produktionsgerechter Zuverlässigkeit verbindet. Das Hauptverkaufsargument ist sein modularer Ansatz: Kunden können jede CPU und GPU wählen, die PCIe 5.0 unterstützt, und müssen nicht früh im Projektzyklus an eine einzelne Beschleunigerfamilie gebunden sein.

The Market Pressure on Neoclouds and Enterprises

Großskalige Inferenz-Workloads verlangen massive Beschleuniger-Dichte bei gleichzeitig vorhersehbarer Latenz. Traditionelle Rack-Designs zwingen Betreiber, sich vor der Marktreife auf eine bestimmte GPU oder ASIC festzulegen, was sie vorabkapitalrisiken und Veralterung aussetzt. OEMs und ODMs stehen zudem bei jeder neuen Beschleuniger-Veröffentlichung vor wiederholten Engineering-Zyklen, die Deployments bei Nachfragespitzen verlangsamen.

Orion’s Architectural Solution

Orion adressiert diese Schmerzpunkte mit einer Referenzarchitektur, die das Rack-Chassis von den Compute-Engines trennt:

Core Technical Elements

• Scale-up Fabric: Ein standardbasiertes, hochdurchsatzfähiges Interconnect, das PCIe 5.0-Lanes über Compute-, Fabric- und Memory-Trays aggregiert. Das Fabric kann > 200 TB/s bidirektionalen Durchsatz liefern und ermöglicht nahtlose Datenbewegung zwischen Beschleunigern.
• Composable PCIe Connectivity: Jeder Compute-Tray beherbergt bis zu 8 PCIe 5.0 x16 Slots, die schnelles Austauschen von GPUs, TPUs oder kundenspezifischen Inferenz-ASICs ohne Chassis-Neugestaltung erlauben.
• Expanded Memory Fabric: Orions Memory-Tray stellt einen gemeinsamen Pool aus DDR5/LPDDR5-Modulen bereit, der allen Beschleunigern zugänglich ist und die Token-pro-Sekunde-Effizienz für große Sprachmodell-Inference steigert.
• Management Stack: Integrierte COSMOS Rack Manager und COSMOS Fabric Manager bieten Flotten-weite Telemetrie, Gesundheits-Monitoring und KI-bewusste Workload-Planung über eine einheitliche API.

Deployment Timeline & Demonstration

• Q1 2027: Produktionsreife Orion-Racks werden über Astera Labs’ ODM- und OEM-Ökosystem verfügbar sein.
• Oct 12-15 2026: Astera Labs wird einen vollständig betriebenen Orion-Rack auf dem Open Compute Project (OCP) Global Summit in San Jose präsentieren, mit austauschbaren Compute-Trays, bestückt mit unterschiedlichen CPU-GPU-Kombinationen für Live-Benchmarks.

Why Orion Matters for AI-Heavy Workloads

1. Risk Mitigation: Betreiber können die Beschleuniger-Kaufentscheidung bis zur Preisstabilisierung aufschieben und vermeiden vorzeitige CAPEX.
2. Speed of Scale: Die vorausvalidierten Trays verkürzen Integrationszyklen, sodass Rechenzentren 10-20 % mehr Inferenz-Kapazität pro Monat im Vergleich zu Legacy-Bauten hinzufügen können.
3. Token Efficiency: Optimierte PCIe-Pfade und gemeinsamer Speicher reduzieren Daten-Copy-Overhead und führen zu ≈ 15 % höheren Tokens-pro-Sekunde bei Benchmark-Inference-Modellen (z. B. BERT-large, GPT-2).

Bottom Line

Astera Labs’ Orion-Plattform definiert Rack-Scale KI-Infrastruktur neu, indem sie das Chassis-Design von der Wahl von CPU und Beschleuniger entkoppelt. Ihr offener Standard, hochdichte Fabric liefert Sub-Mikrosekunden-Latenz und massive Speicher-Pooling, während der Integrationsaufwand fast halbiert wird. Mit ersten Lieferungen für Anfang 2027 und einer Live-Demo beim 2026 OCP Summit positioniert sich Orion als zukunftssichere, kosteneffiziente Basis für Unternehmen und Neocloud-Anbieter, die Inferenz-Workloads skalieren wollen, ohne an einen einzigen Hardware-Anbieter gebunden zu sein.