Entwicklung von PCIE

Im Jahr 2012 wurde die Kommunikation zwischen zwei Platinen über Glasfaser mithilfe des PCIE-Protokolls realisiert. Die Vorteile dabei sind: Der reservierte optische Port ermöglicht die physische Trennung der beiden Geräte, und die reservierte optische Schnittstelle und der Speicher sind miteinander kompatibel und können voneinander abgerufen werden. Wie in der Abbildung unten gezeigt, zeigt sie das tatsächliche Bild und das physikalische Blockdiagramm des Vier-Wege-PCIE über Glasfaser. Die Karte basiert auf einem PLX-Switch (PEX8609), der die Upstream-Ports (x4 Lanes) an die PCI-Anschlüsse weiterleitet. Die Downstream-Ports werden vom FPGA (Xilinx Spardan3AN) in zwei Modi konfiguriert: vier Single-Channel-Ports oder ein Quad-Channel-Port.

Zwei FPGA-Modi

Die Abbildung unten links ist ein gemessenes Augendiagramm einer 2.5-Gbit/s-Demonstrationsverbindung auf Basis von PCI Express, die der PCIE GEN2-Übertragungsrate entspricht. Der Artikel konzentriert sich mehr auf die Verbesserung des Protonenstrahlungstoleranztests von Intel-Transceivern, um sicherzustellen, dass die PCI-Express-Kompatibilität die 5·10^11 p/cm2-Anforderung erfüllt. Das CMS-Experiment ist in der Abbildung rechts dargestellt.

2.5-Gbit/s-Demo-Link basierend auf PCI Express

Laut einem Artikel, der 2018 von der Polytechnischen Universität Mailand in Italien veröffentlicht wurde, ist die folgende Abbildung ein Leistungstestdiagramm einer Glasfaserverbindung mit PCIe Gen3. Es hat ein kleines PCIE-Adapterkartenmodul entwickelt, das mit einer SFP+-Schnittstelle ausgestattet ist, und ein kleines Rackmodul mit 4 PCIe-Steckplätzen. Ein Host-Server-PC enthält eine PCIe-Karte (AERIAL1) mit einem kommerziellen 1310-nm-SFP+-Transceiver für 10G-Ethernet-Anwendungen. Über einen SMF-Link ist die Karte mit einer weiteren PCIe-Karte (AERIAL2) verbunden, beide können über Ethernet-Karten mit dem Internet verbunden werden. Der Glasfaserverbindung wird ein 90/10-Splitter hinzugefügt, und das geteilte optische Signal wird vom PD und dann von einem digitalen Abtastoszilloskop (DSO) empfangen, um die Übertragungsleistung zu bewerten.

Leistungstestdiagramm einer Glasfaserverbindung mit PCIe Gen3

Die Testergebnisse sind in der folgenden Abbildung dargestellt. Die Übertragungsrate beträgt 8 Gbit/s, die Bitfehlerratenleistung nach B2B 2^31-1 PRBS und SMF hat keine offensichtlichen Übertragungskosten. Abbildung b zeigt das Augendiagramm der optischen PCIe Gen3-Übertragung.

Augendiagramm der optischen PCIe Gen3-Übertragung

Die folgende Abbildung ist ein Glasfaserverbindungsdiagramm für PCIE GEN4 mit einer getesteten Glasfaserlänge von 2 km und 10 km. Die BER wird getestet, indem die Empfangsleistung durch VOA geändert wird.

PCIE GEN4-Glasfaserverbindungsdiagramm

Die folgende Abbildung zeigt die BER-Kurve des 2^31-1PRBS-Tests bei einer Übertragungsrate von 16 Gbit/s. Seine Rate entspricht PCIE GEN4. Es ist ersichtlich, dass es bei Back-to-Back (B2B) zu keiner offensichtlichen Verschlechterung der Leistungseinbußen der Glasfaserverbindung kommt.

BER-Kurve des 2^31-1PRBS-Tests bei einer Übertragungsrate von 16 Gbit/s

Tatsächlich ist hier zu erkennen, dass es bei PCIE GEN2-GEN4 keinen offensichtlichen Engpass bei der Übertragungsrate gibt und weiterhin das herkömmliche SFP-Modul verwendet wird. Da der optische Port derzeit nur als Übertragungsschnittstelle dient, bietet PCIE gegenüber Glasfaser keine großen Vorteile, erscheint jedoch sehr sperrig.

Ayar Labs teilt die Kurzstrecken-Bandbreitendichte durch die Energieeffizienz, um die Fähigkeit verschiedener Lösungen zur externen Datenausgabe widerzuspiegeln. Wie in der Abbildung unten dargestellt, ist die horizontale Achse die Signalübertragungsentfernung und die vertikale Achse der FOM1-Wert. Das Bild umfasst elektrische Verbindungsstandards wie UCle, NVlink und PCIe. Es sind mehrere Punkte zu erkennen:

1. Auf Platinenebene wird sich das anfängliche Pluggable mit steigenden Übertragungsraten- und Latenzanforderungen in Richtung CPO entwickeln, insbesondere für PCIE GEN5 und PCIE GEN6, die Übertragungsrate erreicht 32G und 64G, und die CPO-Verpackungsform wird enorme Vorteile bringen optische Transceiver. Wenn es sich weiterentwickelt, wird es sich in Richtung OIO bewegen, also einer chipbasierten optischen Verbindungslösung, die in das gleiche Paket wie der Computerchip (CPU, GPU, XPU) integriert ist und deren Bandbreitendichte, Energiekosten und Latenz vergleichbar sind elektrische Verbindungen innerhalb des Pakets.

2. Der FOM1-Wert von Optical IO ist mit dem von elektrischen Verbindungsstandards vergleichbar, die Übertragungsentfernung übertrifft diese jedoch bei weitem. Der FOM1-Wert von CPO ist eine Größenordnung kleiner als der von Optical IO. OIO deckt Slave-Geräte/Boards/Systeme ab, was die ultimative Lösung darstellt.

3. Im Inneren des Geräts wird es sich schließlich in Richtung UCIE entwickeln, also der Chip-zu-Chip-Verbindung.

Signalübertragungsentfernung und FOM1-Wert

Das Bild unten zeigt das OIO von Ayar Labs mit vier optischen TeraPHY™-I/O-Chips im gleichen Gehäuse wie das Hauptsystem-on-Chip (SoC). Es kann eine bidirektionale Übertragung von 16 Tbit/s bei einem Energieaufwand von <5 pJ/b in einem Computerpaket typischer Größe (50 mm x 50 mm) erreichen. Die Chips entsprechen dem Universal Chiplet Interconnect Express™ (UCIe)-Standard und der NVLink-C2C-Form.

OIO von Ayar Labs

Universal Chiplet Interconnect Express (UCIe)® ist ein offener Industrie-Verbindungsstandard, der die Verbindung zwischen Chiplets auf Paketebene ermöglicht und die Vorteile einer hohen Bandbreite, geringer Latenz und Kosteneffizienz bietet. Beim 2.5D- oder 3D-Packaging werden Kernprozessor, Speicher und IO-Controller zusammengepackt, um die Die-Fläche zu reduzieren und so die Leistung zu verbessern.

Die folgende Abbildung fasst die wichtigsten Leistungskennzahlen der beiden Verpackungsoptionen zusammen. Es sind mehrere Merkmale erkennbar:

1. Der Teilungsabstand verringert sich weiter auf 25 µm und die Bandbreitendichte erhöht sich auf das 3.24-fache. Selbst bei 45 µm beträgt die Bandbreitendichte etwa das 20-fache der derzeit effizientesten PCIe-SERDES.

2. Die aktuelle Energieeffizienz von ~10pJ/b des PHY von PCIe kann durch ein UCIe-basiertes Design auch auf 1/20 reduziert werden.

3. UCIe ermöglicht schnellere Umschaltzeiten in der Leistungsbandbreiten-Verbrauchskurve und spart so über 90 % Energie.

Zusammenfassend lässt sich sagen, dass PCIE über Glasfaser derzeit einer steckbaren Form ähnelt und Licht als Schnittstellenübertragungsmedium verwendet. In Zukunft wird es sich mit steigenden Bandbreiten- und Latenzanforderungen in Richtung CPO- und OIO-Formen entwickeln. Derzeit sind zentrale Master-Steuerungschips wie XPU über UCIE miteinander verbunden, und die Platinen kommunizieren über OIO, was die Form ist, von der große Hersteller träumen.