USANIFU WA MIUNDOMBINU

Miundombinu ya NVIDIA GB200 NVL72 na Uunganishaji wa Kebo za MPO-8 APC kwa Vitengo vya Kuongezeka

Kuchambua usanifu wa cabling wa Kitengo cha Scalable Unit (SU) cha Blackwell, ambapo racks 8 huungana kuwa nyuzi tendaji 9,216.

DGX GB200 Scalable Unit (SU) inawakilisha mabadiliko makubwa katika usanifu wa kituo cha data. SU ni kitengo kimoja cha GPU 576 kilichounganishwa na nyuzi tendaji 9,216. ScaleFibre hutoa mabaki yaliyokamilishwa kwa usahihi yanayohitajika kudhibiti msongamano huu.

Nguo 4 za Kimwili za SuperPOD

NVIDIA inagawa SU katika tabaka tofauti za kimwili ili kutenga trafiki ya GPU.

MN-NVL (NVLink 5)

Kuongeza Juu

Mtandao wa ’ndani’ wa rack unaounganisha GPU 72 kwa 1.8 TB/s.

  • Nyuzi Sifuri za Macho
  • Passive Copper Backplane
  • Viunganishi vya Blind-mate

Compute InfiniBand

Kuongeza Nje

Nguo kuu ya ‘Mashariki-Magharibi’ kwa mafunzo makubwa ya nodi nyingi.

  • Nyuzi tendaji 4,608 kwa kila SU
  • Topology iliyoboreshwa kwa reli
  • Quantum-3/Quantum-2

Hifadhi & Ndani ya Bendi

Upande wa Mbele

Nguo yenye msingi wa Ethernet kwa uingizaji wa data wa kasi ya juu na utoaji.

  • Sababu ya kuzuia 5:3
  • BlueField-3 DPU offload
  • Usaidizi wa VXLAN/RoCE

Usimamizi wa OOB

Jopo la Kudhibiti

Mtandao uliotengwa kwa telemetry ya vifaa, BMC, na usimamizi wa PDU.

  • RJ45/Cat6 Copper
  • Ngazi ya Swichi ya SN2201
  • Usalama wa kimwili wa air-gap

Vipimo vya Exascale SU

Kitengo cha Scalable Unit (SU) chenye racks 8 kinawakilisha kitengo cha msingi cha ujenzi wa Kiwanda cha AI cha NVIDIA.

9,216

Nyuzi Tendaji kwa kila SU

4,608

Nyuzi za Kompyuta pekee

5:3

Uwiano wa Kuzuia Hifadhi

400G/800G

Kasi za Asili za Port

Ngazi Tatu za Muunganisho wa SU

1
Ngazi A: Seva-hadi-Leaf

Nyuzi 1,152 kwa kila rack kwa kutumia mabaki ya nyuzi nyingi au viunganishi vya kuruka ili kuunganisha nodi za NVL72 kwa Swichi za Leaf.

2
Ngazi B: Leaf-hadi-Spine

Kukusanya trafiki iliyopangiliwa na reli ndani ya SU kwa kutumia viunganishi vya 1:1 visivyozuia kwa kompyuta.

3
Ngazi C: Spine-hadi-Core

Kuongeza zaidi ya SU hadi eneo la Core kuu kwa kutumia mabaki yenye hesabu nyingi.

Patching ya Zamani (Point-to-Point)

  • ✕
    Ugumu wa Mwongozo: Inahitaji kamba 9,216 za kibinafsi za patch kwa kila block ya rack 8.
  • ✕
    Uzuiaji wa Mtiririko wa Hewa: Vifungu mnene vya kebo huzuia njia za kutoa hewa baridi ya kimiminika.
  • ✕
    Profaili ya Hatari: Uwezekano mkubwa wa ‘reli zilizovuka’ wakati wa patching ya mwongozo ya 1:1.
  • ✕
    Muda wa Usambazaji: Saa 115+ za uelekezaji na uwekaji lebo kwa mikono kwa kila SU.

Mabaki ya Nyuzi Nyingi ya Moduli

  • ✓
    Plug-and-Play: Inaunganisha maelfu ya nyuzi katika mabaki ya nyuzi yaliyomalizika kabla ya 128F/144F/256F/288F/576F.
  • ✓
    Uboreshaji wa Joto: Kebo zenye kipenyo kidogo huongeza mtiririko wa hewa katika racks zenye msongamano.
  • ✓
    Ufanisi wa Njia: Inaunganisha nyuzi tendaji 1,152 kwa kila rack katika mifumo mikuu ya MPO yenye hesabu kubwa.
  • ✓
    Profaili ya Usakinishaji: Usambazaji wa haraka kupitia viunganishi vilivyomalizika kabla vilivyojaribiwa kiwandani.

Ukuaji wa Nyuzi Tendaji: Nodi hadi SuperPOD Kamili

Ugumu wa Cabling
Nyuzi tendaji 9,216 kwa kila SU zinahitaji mabaki ya moduli yenye hesabu nyingi za nyuzi ili kuepuka 'machafuko ya kebo' yanayozuia mtiririko wa hewa.

Kitengo cha Scalable Unit Kimeonyeshwa

Block ya Kompyuta ya Raki 8
Block ya Kompyuta ya Raki 8

NVIDIA GB200 SU (Kitengo cha Scalable Unit) kinajumuisha racks 8, kila moja ikiwa na mfumo wa DGX GB200 NVL72 wenye GPU 72.

Usambazaji wa Mabaki ya Nyuzi Nyingi
Usambazaji wa Mabaki ya Nyuzi Nyingi

Kuunganisha maelfu ya nyuzi za rack katika mabaki yenye msongamano mkubwa kwa ajili ya usafishaji wa mtiririko wa hewa, usakinishaji wa haraka na matumizi madogo ya njia.

Upashaji Joto kwa Kimiminika
Upashaji Joto kwa Kimiminika

Sahani baridi zilizopashwa joto kwa kimiminika huleta utulivu wa mazingira ya trei, kuruhusu transceivers za OSFP kutoa joto kwa ufanisi kupitia vizamisha joto vinavyobandika.

Technical FAQ

+ Je, hesabu ya SU inabaki vipi kudhibitiwa katika nyuzi 9,216?
Kwa kutumia safu ya uongozi wa cabling. Mabaki yenye nyuzi nyingi huchukua nafasi ya maelfu ya kamba za patch za MPO za kibinafsi, kupunguza ujazo wa kimwili na kuzuia vizuizi vya kupozea.
+ Je, '5:3 Blocking Factor' ni nini katika nguo ya kuhifadhi?
Tofauti na nguo ya kompyuta isiyozuia (1:1), mtandao wa hifadhi umewekwa kwa makusudi. Hii inapunguza gharama za nyuzi na ugumu huku ikikidhi mahitaji ya 40GB/s kwa kila nodi kwa hifadhi. Usambazaji mara nyingi hutumia kebo za patch za MPO zinazooana na NVIDIA.
+ Kwa nini nguo ya ndani ya NVLink haina nyuzi?
NVIDIA inatumia backplane ya shaba isiyotumia nguvu na cartridge za kebo ndani ya rack ya NVL72. Hii huondoa maelfu ya transceivers za macho na nyuzi, kupunguza sana matumizi ya nguvu na latency. Nyuzi ya macho imehifadhiwa kwa nguo ya kompyuta ya scale-out.
+ Je, nini kinatokea tunapoongeza hadi Vitengo 16 vya Scalable Unit?
Katika kiwango cha SU 16 (GPU 9,216), jumla ya idadi ya nyuzi tendaji kwa nguo ya kompyuta pekee inafikia nyuzi 18,432. Kudhibiti msongamano huu kunahitaji makazi yenye msongamano mkubwa yaliyoundwa mahsusi kwa nyuzi za macho zenye hesabu kubwa na usanifu wa swichi za kikundi kikuu.
+ Kwa nini MPO-8 inatumika badala ya MPO-12 ya kawaida?
Transceivers za kisasa za 400G NDR na 800G XDR hutumia macho sambamba ya njia 4 au 8. Upangaji wa MPO wa nyuzi 8 unalingana kikamilifu na usanidi wa 4x Tx na 4x Rx. Kutumia mabaki ya MPO yenye nyuzi 8 huondoa nyuzi ’nyeusi’ au zilizopotea ndani ya nguo ya klaster.
+ Umuhimu wa kung'arisha kwa APC (Angled Physical Contact) ni upi?
Mawimbi ya kasi ya juu ya 100G-PAM4 ni nyeti sana kwa kuakisi nyuma. Pembe ya digrii 8 ya kiunganishi cha APC inahakikisha mwanga ulioakisiwa unanyonywa kwenye cladding ya nyuzi, kudumisha Return Loss (ORL) ya juu inayohitajika kwa mafunzo ya AI yasiyo na makosa.
+ Je, msongamano wa nyuzi huathiri vipi kumbi za AI zilizopashwa joto kwa kimiminika?
Hata kwa trei zilizopashwa joto kwa kimiminika, hewa bado inahitaji kuzunguka ili kudhibiti joto la pili. Kutumia kebo za SmartRibbon zenye msongamano mkubwa hupunguza sana kipenyo cha kebo, kuhakikisha kuwa cabling ya kimwili haizuii mtiririko wa hewa au mabomba ya kupozea kimiminika.
+ Je, kuna mipaka gani ya umbali kwa cabling ya kiwango cha SU?
Multimode (OM4/OM5) imezuiliwa kwa mita 50 kwa 400G/800G. Kwa viunganishi vya kati vya Spine-to-Core vinavyozidi hili, nyuzi za Single-mode G.657.A1 ni lazima ili kusaidia umbali mrefu zaidi bila uharibifu wa mawimbi.
+ Je, ninaweza kutumia kebo za kawaida za nje kwa mifumo mikuu ya vituo vya data vya AI?
Hapana. Kumbi za ndani za AI zinahitaji LSZH (Low Smoke Zero Halogen), Riser au Plenum ili kukidhi kanuni za usalama wa moto zinazohitajika kulingana na kanuni za eneo. Kwa njia zenye msongamano mkubwa, kebo maalum za ndani za SlimCORE hutoa idadi inayohitajika ya nyuzi katika kipenyo kilichopunguzwa.
+ Faida ya pigtail zilizokamilishwa kiwandani katika SU ni ipi?
Pigtail za nyuzi za macho za MPO huruhusu upasuaji wa haraka wa mass-fusion kwenye safu ya Spine au Core. Kukamilishwa huku kunakodhibitiwa na kiwanda kwa upande mmoja kunatoa faida za kukamilishwa kabla, huku mwisho ‘butu’ ukiwezesha kubadilika ili kuendana na urefu unaohitajika kwenye tovuti.

Buni Kiwanda chako cha AI

ScaleFibre inatoa suluhisho za cabling zilizokamilika kabla kwa usambazaji wa NVIDIA DGX SuperPOD.

Wasiliana Nasi

Pata maelezo kuhusu mabaki yenye nyuzi nyingi kwa SU yako ya NVidia DGX.

Shiriki: