USANIFU WA MIUNDOMBINU

Miundombinu ya NVIDIA GB200 NVL72 na Uunganishaji wa Kebo za MPO-8 APC kwa Vitengo vya Kuongezeka

Kuchambua usanifu wa kebo wa Kitengo cha Scalable Unit (SU) cha Blackwell, ambapo racks 8 huungana kuwa nyuzi tendaji 9,216.

DGX GB200 Scalable Unit (SU) inawakilisha mabadiliko makubwa katika usanifu wa kituo cha data. SU ni kitengo kimoja cha GPU 576 kilichounganishwa na nyuzi tendaji 9,216. ScaleFibre hutoa kebo za shina zilizokamilishwa kwa usahihi yanayohitajika kudhibiti msongamano huu.

Mitandao 4 ya Kimwili ya SuperPOD (fabric)

NVIDIA inagawa SU katika tabaka tofauti za kimwili ili kutenga trafiki ya GPU.

MN-NVL (NVLink 5)

Kuongeza Juu

Mtandao wa ’ndani’ wa rack unaounganisha GPU 72 kwa 1.8 TB/s.

  • Nyuzi Sifuri za Macho
  • Backplane ya Shaba Isiyotumia Nguvu
  • Viunganishi vya Blind-mate

Compute InfiniBand

Kuongeza Nje

Mtandao mkuu (fabric) wa ‘Mashariki-Magharibi’ kwa mafunzo makubwa ya nodi nyingi.

  • Nyuzi tendaji 4,608 kwa kila SU
  • Topology iliyoboreshwa kwa reli
  • Quantum-3/Quantum-2

Hifadhi & Ndani ya Bendi

Upande wa Mbele

Mtandao (fabric) wenye msingi wa Ethernet kwa uingizaji wa data wa kasi ya juu na utoaji.

  • Sababu ya kuzuia 5:3
  • Upunguzaji mzigo wa BlueField-3 DPU
  • Usaidizi wa VXLAN/RoCE

Usimamizi wa OOB

Control Plane (Ndege ya Udhibiti)

Mtandao uliotengwa kwa telemetry ya vifaa, BMC, na usimamizi wa PDU.

  • Shaba ya RJ45/Cat6
  • Ngazi ya Swichi ya SN2201
  • Usalama wa kimwili wa air-gap

Vipimo vya Exascale SU

Kitengo cha Scalable Unit (SU) chenye racks 8 kinawakilisha kitengo cha msingi cha ujenzi wa Kiwanda cha AI cha NVIDIA.

9,216

Nyuzi Tendaji kwa kila SU

4,608

Nyuzi za Kompyuta pekee

5:3

Uwiano wa Kuzuia Hifadhi

400G/800G

Kasi za Asili za Port
Product Image
Suluhisho Lililoangaziwa

Kebo za Shina za MPO zenye Idadi Kubwa ya Nyuzi

Mikusanyiko ya shina ya MPO yenye idadi kubwa ya nyuzi, yenye nyuzi 48 hadi 576. Huwezesha usambazaji wa haraka na wa kiwango kikubwa kwa kazi iliyopunguzwa na gharama ndogo za usakinishaji.

Tazama Maelezo ya Trunk za MPO za Nyuzi Nyingi

Ngazi Tatu za Muunganisho wa SU

1
Ngazi A: Seva-hadi-Leaf

Nyuzi 1,152 kwa kila rack kwa kutumia kebo za shina za nyuzi nyingi au viunganishi vya kuruka ili kuunganisha nodi za NVL72 kwa Swichi za Leaf.

2
Ngazi B: Leaf-hadi-Spine

Kukusanya trafiki iliyopangiliwa na reli ndani ya SU kwa kutumia viunganishi vya 1:1 visivyozuia kwa kompyuta.

3
Ngazi C: Spine-hadi-Core

Kuongeza zaidi ya SU hadi eneo la Core kuu kwa kutumia kebo za shina zenye idadi kubwa ya nyuzi.

Patching ya Zamani (Point-to-Point)

  • ✕
    Ugumu wa Kazi ya Mikono: Inahitaji kamba 9,216 za kibinafsi za patch kwa kila block ya rack 8.
  • ✕
    Uzuiaji wa Mtiririko wa Hewa: Vifungu mnene vya kebo huzuia njia za kutoa hewa baridi ya kimiminika.
  • ✕
    Profaili ya Hatari: Uwezekano mkubwa wa ‘reli zilizovuka’ wakati wa patching ya mikono ya 1:1.
  • ✕
    Muda wa Usambazaji: Saa 115+ za uelekezaji na uwekaji lebo kwa mikono kwa kila SU.

Kebo za Shina za Moduli zenye Nyuzi Nyingi

  • ✓
    Plug-and-Play: Inaunganisha maelfu ya nyuzi katika kebo za shina za 128F/144F/256F/288F/576F zilizokamilishwa awali na kutengenezwa mahususi.
  • ✓
    Uboreshaji wa Joto: Kebo zenye kipenyo kidogo huongeza mtiririko wa hewa katika racks zenye msongamano.
  • ✓
    Ufanisi wa Njia: Inaunganisha nyuzi tendaji 1,152 kwa kila rack katika mifumo mikuu ya MPO yenye hesabu kubwa.
  • ✓
    Profaili ya Usakinishaji: Usambazaji wa haraka kupitia viunganishi vilivyomalizika kabla vilivyojaribiwa kiwandani.

Ukuaji wa Nyuzi Tendaji: Nodi hadi SuperPOD Kamili

Ugumu wa Kebo
Nyuzi tendaji 9,216 kwa kila SU zinahitaji kebo za shina za moduli zenye idadi kubwa ya nyuzi ili kuepuka 'machafuko ya kebo' yanayozuia mtiririko wa hewa.

Kitengo cha Scalable Unit Kimeonyeshwa

Block ya Kompyuta ya Raki 8
Block ya Kompyuta ya Raki 8

NVIDIA GB200 SU (Kitengo cha Scalable Unit) kinajumuisha racks 8, kila moja ikiwa na mfumo wa DGX GB200 NVL72 wenye GPU 72.

Usambazaji wa Kebo za Shina zenye Nyuzi Nyingi
Usambazaji wa Kebo za Shina zenye Nyuzi Nyingi

Kuunganisha maelfu ya nyuzi za rack katika kebo za shina zenye msongamano mkubwa kwa ajili ya usafishaji wa mtiririko wa hewa, usakinishaji wa haraka na matumizi madogo ya njia.

Kupoza kwa Kimiminika
Kupoza kwa Kimiminika

Sahani baridi zinazopozwa kwa kimiminika huleta utulivu wa mazingira ya trei, kuruhusu transceivers za OSFP kutoa joto kwa ufanisi kupitia vizamisha joto vinavyobandika.

Maswali ya Kiufundi Yanayoulizwa Mara kwa Mara

+ Je, hesabu ya SU inabaki vipi kudhibitiwa katika nyuzi 9,216?
Kwa kutumia safu ya uongozi wa kebo. Kebo za shina zenye nyuzi nyingi huchukua nafasi ya maelfu ya kamba za patch za MPO za kibinafsi, kupunguza ujazo wa kimwili na kuzuia vizuizi vya kupozea.
+ Je, '5:3 Blocking Factor' ni nini katika mtandao wa hifadhi?
Tofauti na mtandao wa kompyuta usiozuia (1:1), mtandao wa hifadhi umezidishiwa usajili (oversubscribed) kwa makusudi. Hii inapunguza gharama za nyuzi na ugumu huku ikikidhi mahitaji ya 40GB/s kwa kila nodi kwa hifadhi. Usambazaji mara nyingi hutumia kebo za patch za MPO zinazooana na NVIDIA.
+ Kwa nini mtandao wa ndani wa NVLink hauna nyuzi?
NVIDIA inatumia backplane ya shaba isiyotumia nguvu na cartridge za kebo ndani ya rack ya NVL72. Hii huondoa maelfu ya transceivers za macho na nyuzi, kupunguza sana matumizi ya nguvu na latency. Nyuzi ya macho imehifadhiwa kwa mtandao wa kompyuta wa scale-out.
+ Je, nini kinatokea tunapoongeza hadi Vitengo 16 vya Scalable Unit?
Katika kiwango cha SU 16 (GPU 9,216), jumla ya idadi ya nyuzi tendaji kwa mtandao wa kompyuta pekee inafikia nyuzi 73,728. Kudhibiti msongamano huu kunahitaji vizimba vyenye msongamano mkubwa vilivyoundwa mahsusi kwa nyuzi za macho zenye hesabu kubwa na usanifu wa swichi za kikundi kikuu.
+ Kwa nini MPO-8 inatumika badala ya MPO-12 ya kawaida?
Transceivers za kisasa za 400G NDR na 800G XDR hutumia macho sambamba ya njia 4 au 8. Upangaji wa MPO wa nyuzi 8 unalingana kikamilifu na usanidi wa 4x Tx na 4x Rx. Kutumia kebo za shina za MPO zenye nyuzi 8 huondoa nyuzi ’nyeusi’ au zilizopotea ndani ya mtandao wa klaster.
+ Umuhimu wa kung'arisha kwa APC (Angled Physical Contact) ni upi?
Mawimbi ya kasi ya juu ya 100G-PAM4 ni nyeti sana kwa kuakisi nyuma. Pembe ya digrii 8 ya kiunganishi cha APC inahakikisha mwanga ulioakisiwa unanyonywa kwenye cladding ya nyuzi, kudumisha Return Loss (ORL) ya juu inayohitajika kwa mafunzo ya AI yasiyo na makosa.
+ Je, msongamano wa nyuzi huathiri vipi kumbi za AI zinazopozwa kwa kimiminika?
Hata kwa trei zinazopozwa kwa kimiminika, hewa bado inahitaji kuzunguka ili kudhibiti joto la pili. Kutumia kebo za SmartRibbon zenye msongamano mkubwa hupunguza sana kipenyo cha kebo, kuhakikisha kuwa kebo za kimwili hazizuii mtiririko wa hewa au mabomba ya kupozea kimiminika.
+ Je, kuna mipaka gani ya umbali kwa kebo za kiwango cha SU?
Multimode (OM4/OM5) imezuiliwa kwa mita 50 kwa 400G/800G. Kwa viunganishi vya kati vya Spine-to-Core vinavyozidi hili, nyuzi za Single-mode G.657.A1 ni lazima ili kusaidia umbali mrefu zaidi bila uharibifu wa mawimbi.
+ Je, ninaweza kutumia kebo za kawaida za nje kwa mifumo mikuu ya vituo vya data vya AI?
Hapana. Kumbi za ndani za AI zinahitaji LSZH (Low Smoke Zero Halogen), Riser au Plenum ili kukidhi kanuni za usalama wa moto zinazohitajika kulingana na kanuni za eneo. Kwa njia zenye msongamano mkubwa, kebo maalum za ndani za SlimCORE hutoa idadi inayohitajika ya nyuzi katika kipenyo kilichopunguzwa.
+ Faida ya pigtail zilizokamilishwa kiwandani katika SU ni ipi?
Pigtail za nyuzi za macho za MPO huruhusu uunganishaji wa haraka wa mass-fusion kwenye safu ya Spine au Core. Kukamilishwa huku kunakodhibitiwa na kiwanda kwa upande mmoja kunatoa faida za kukamilishwa kabla, huku mwisho ‘butu’ ukiwezesha kubadilika ili kuendana na urefu unaohitajika kwenye tovuti.

Buni Kiwanda chako cha AI

ScaleFibre inatoa suluhisho za kebo zilizokamilishwa awali kwa usambazaji wa NVIDIA DGX SuperPOD.

Wasiliana Nasi

Pata maelezo kuhusu kebo za shina zenye nyuzi nyingi kwa SU yako ya NVIDIA DGX.