Hogyan használjuk az NVIDIA GPU-kat AI-képzéshez?

Hogyan használjuk az NVIDIA GPU-kat AI-képzéshez?

Rövid válasz: Használj NVIDIA GPU-kat mesterséges intelligencia betanításhoz úgy, hogy először megerősíted, hogy a driver és a GPU látható az nvidia-smi , majd telepítesz egy kompatibilis keretrendszert/CUDA stacket, és lefuttatsz egy apró „model + batch on cuda” tesztet. Ha elfogy a memória, csökkentsd a batch méretét, és használj vegyes pontosságot, miközben figyeled a kihasználtságot, a memóriát és a hőmérsékleteket.

Főbb tanulságok:

Alapszintű ellenőrzések : Kezdd az nvidia-smi ; javítsd ki az illesztőprogram láthatóságát a keretrendszerek telepítése előtt.

Veremkompatibilitás : A meghajtóprogram, a CUDA futtatókörnyezet és a keretrendszer verzióinak összehangolása az összeomlások és a törékeny telepítések megelőzése érdekében.

Apró siker : A kísérletek skálázása előtt győződjön meg arról, hogy egyetlen előrehaladás lefut a CUDA-n.

VRAM-fegyelem : Nagyobb modellekhez való illeszkedés érdekében vegyes pontosságra, gradiens-felhalmozódásra és ellenőrzőpontozásra támaszkodik.

Figyelési szokások : Kövesse nyomon a kihasználtságot, a memória-mintákat, az energiafogyasztást és a hőmérsékleteket, hogy időben észrevegye a szűk keresztmetszeteket.

Cikkek, amiket esetleg ezután érdemes elolvasnod:

🔗 Hogyan építsünk egy AI-ügynököt
Tervezze meg ügynöke munkafolyamatát, eszközeit, memóriáját és biztonsági védelmeit.

🔗 Hogyan telepítsünk MI-modelleket
Környezetek, csomagmodellek beállítása és megbízható szállítás éles környezetbe.

🔗 Hogyan mérjük a mesterséges intelligencia teljesítményét?
Válasszon mérőszámokat, futtasson értékeléseket, és kövesse nyomon a teljesítményt az idő múlásával.

🔗 Hogyan automatizáljunk feladatokat mesterséges intelligenciával
Automatizálja az ismétlődő munkákat promptokkal, munkafolyamatokkal és integrációkkal.

1) A nagy kép - mit csinálsz, amikor „GPU-val edzel” 🧠⚡

Amikor MI-modelleket tanítasz, többnyire mátrixmatematikai hegyeket végzel. A GPU-kat az ilyen típusú párhuzamos munkára tervezték, így az olyan keretrendszerek, mint a PyTorch, a TensorFlow és a JAX, átháríthatják a nehéz munkát a GPU-ra. ( PyTorch CUDA dokumentáció , TensorFlow telepítés (pip) , JAX gyorstalpaló )

A gyakorlatban az „NVIDIA GPU-k használata betanításhoz” általában a következőket jelenti:

  • A modellparamétereid (többnyire) a GPU VRAM-ban találhatók

  • A kötegek minden lépésben átkerülnek a RAM-ból a VRAM-ba

  • Az előre- és hátrafelé haladó műveletek CUDA kerneleken futnak ( CUDA programozási útmutató )

  • Az optimalizáló frissítései (ideális esetben) a GPU-n történnek

  • Figyeled a hőmérsékleteket, a memóriát és a kihasználtságot, így nem kell semmit sem főznöd túl 🔥 ( NVIDIA nvidia-smi dokumentáció )

Ha ez soknak hangzik, ne aggódj. Ez többnyire egy ellenőrzőlista és néhány szokás, amit idővel kialakítasz.

2) Mitől lesz jó egy NVIDIA GPU AI betanítási beállítás 🤌

Ez a „ne építs házat zselére” rész. Az NVIDIA GPU-k mesterséges intelligencia betanításához az, amelyik alacsony dramatizálású. Az alacsony dramatizálás stabil. A stabil gyors. A gyors… nos, gyors 😄

Egy jó edzőrendszer általában a következőket tartalmazza:

  • Elegendő VRAM a köteg méretéhez + modelljéhez + optimalizáló állapotaihoz

    • A VRAM olyan, mint a bőröndben lévő hely. Okosabban is pakolhatsz, de nem tudsz végtelenül sok helyet elfoglalni.

  • Egyező szoftvercsomag (illesztőprogram + CUDA futtatókörnyezet + keretrendszer-kompatibilitás) ( PyTorch Get Started (CUDA szelektor) , TensorFlow telepítés (pip) )

  • Gyors tárolás (az NVMe sokat segít a nagy adathalmazok esetén)

  • Megfelelő CPU + RAM , hogy az adatbetöltés ne terhelje túl a GPU-t ( PyTorch teljesítményhangolási útmutató )

  • Hűtés és teljesítménybeli szabad magasság (alulértékelt, amíg azzá nem válik 😬)

  • Reprodukálható környezet (venv/conda vagy konténerek), hogy a frissítések ne váljanak káoszba ( NVIDIA Container Toolkit áttekintés )

És még valami, amit az emberek kihagynak:

  • Egyfajta monitorozási szokás – a GPU memóriáját és kihasználtságát úgy ellenőrizheted, mintha vezetés közben a tükröket néznéd. ( NVIDIA nvidia-smi dokumentáció )

3) Összehasonlító táblázat - népszerű módszerek az NVIDIA GPU-kkal való képzéshez (különlegességekkel) 📊

Alább egy gyors „melyik illik hozzá?” összefoglaló. Az árak hozzávetőlegesek (mert a valóság más), és igen, az egyik cella szándékosan kicsit kaotikus.

Eszköz / Megközelítés Legjobb Ár Miért működik (többnyire)
PyTorch (vanília) PyTorch a legtöbb ember, a legtöbb projekt Ingyenes Rugalmas, hatalmas ökoszisztéma, könnyű hibakeresés – ráadásul mindenkinek van véleménye
PyTorch Lightning Lightning dokumentáció csapatok, strukturált képzés Ingyenes Csökkenti a sablonos megoldásokat, tisztább hurkokat eredményez; néha „varázslatosnak” tűnik, amíg már nem az
Átölelő Arc Transformers + Edző Edző dokumentációk NLP + LLM finomhangolás Ingyenes Elemes edzés, nagyszerű alapértelmezett beállítások, gyors győzelmek 👍
Gyorsítás Gyorsítási dokumentációk több GPU fájdalommentesen Ingyenes Kevésbé bosszantóvá teszi a DDP-t, jó a skálázáshoz anélkül, hogy mindent újra kellene írni
DeepSpeed ​​ZeRO dokumentációk nagy modellek, memóriatrükkök Ingyenes ZeRO, tehermentesítés, skálázás – lehet macerás, de kielégítő, ha kattan
TensorFlow + Keras TF telepítés termelési jellegű csővezetékek Ingyenes Erős eszközök, jó telepítési történet; vannak, akik imádják, vannak, akik csendben nem
JAX + Flax JAX gyorstalpaló / Flax dokumentáció kutatás + sebességmániások Ingyenes Az XLA fordítása elképesztően gyors lehet, de a hibakeresés… elvontnak tűnhet
NVIDIA NeMo NeMo áttekintés beszéd + LLM munkafolyamatok Ingyenes NVIDIA-ra optimalizált rendszer, jó receptek – olyan érzés, mintha egy menő sütőben főznél 🍳
Docker + NVIDIA Container Toolkit Eszközkészlet áttekintése reprodukálható környezetek Ingyenes „Az én gépemen működik” helyett „a mi gépeinken működik” lesz (többnyire, ismét)

4) Első lépés - ellenőrizd, hogy a GPU megfelelően látható-e 🕵️♂️

Mielőtt tucatnyi dolgot telepítenél, ellenőrizd az alapokat.

Amiket igaznak szeretnél lenni:

  • A gép látja a GPU-t

  • Az NVIDIA illesztőprogram megfelelően van telepítve

  • A GPU nem ragad le valami mással

  • Megbízhatóan lekérdezheted

A klasszikus ellenőrzés a következő:

Amit keresel:

Ha az nvidia-smi nem működik, akkor állj meg itt. Még ne telepíts keretrendszereket. Olyan ez, mintha kenyeret próbálnál sütni, miközben a sütőd nincs bedugva. ( NVIDIA System Management Interface (NVSMI) )

Egy kis emberi megjegyzés: néha az nvidia-smi működik, de a betanítás akkor is meghiúsul, mert a keretrendszer által használt CUDA futási környezet nem felel meg a driver elvárásainak. Nem te vagy a hülye. Ez... egyszerűen így van 😭 ( PyTorch Első lépések (CUDA választó) , TensorFlow telepítés (pip) )

5) Szoftvercsomag létrehozása - illesztőprogramok, CUDA, cuDNN és ​​a „kompatibilitási tánc” 💃

Itt veszítenek az emberek órákat. A trükk a következő: válassz egy utat, és tartsd magad hozzá .

A. lehetőség: Keretrendszerbe csomagolt CUDA (gyakran a legegyszerűbb)

Sok PyTorch build saját CUDA futtatókörnyezettel rendelkezik, ami azt jelenti, hogy nincs szükség egy teljes CUDA eszközkészletre, amely rendszerszinten telepítve van. Leginkább csak egy kompatibilis NVIDIA illesztőprogramra van szükség. ( PyTorch Első lépések (CUDA választó) , Korábbi PyTorch verziók (CUDA kerekek) )

Előnyök:

  • Kevesebb mozgó alkatrész

  • Könnyebb telepítések

  • Környezetenként jobban reprodukálható

Hátrányok:

  • Ha lazán kevered a környezeteket, összezavarodhatsz

B. lehetőség: Rendszer CUDA eszközkészlet (nagyobb kontroll)

Telepíted a CUDA eszközkészletet a rendszerre, és mindent ehhez igazítasz. ( CUDA Toolkit dokumentáció )

Előnyök:

  • Nagyobb kontroll az egyedi összeállításoknál, néhány speciális eszköz

  • Hasznos bizonyos műveletek fordításához

Hátrányok:

  • Több mód az eltérő verziók és a csendes sírás eljátszására

cuDNN és ​​NCCL, emberi értelemben

  • A cuDNN felgyorsítja a mélytanulási primitíveket (konvolúciók, RNN bitek stb.) ( NVIDIA cuDNN dokumentáció )

  • Az NCCL a gyors „GPU-GPU kommunikációs” könyvtár több GPU-s betanításhoz ( NCCL áttekintés )

Ha több GPU-s képzést végzel, az NCCL a legjobb barátod – és időnként a szeszélyes szobatársad is. ( NCCL áttekintés )

6) Az első GPU-tanítási futtatásod (PyTorch példa gondolkodásmóddal) ✅🔥

Ahhoz, hogy követni tudd , hogyan használd az NVIDIA GPU-kat AI-képzéshez , nem kell először egy hatalmas projektet csinálnod. Egy apró sikerre van szükséged.

Alapvető ötletek:

  • Eszköz észlelése

  • Modell áthelyezése GPU-ra

  • Tenzorok áthelyezése a GPU-ra

  • Erősítsd meg, hogy az előrehaladás ott fut ( PyTorch CUDA dokumentáció )

Amiket mindig korán ellenőrzök az épelméjűségem megőrzése érdekében:

Gyakori „miért lassú?” kérdések, érthetetlen

  • Az adatbetöltőd túl lassú (a GPU tétlen) ( PyTorch teljesítményhangolási útmutató )

  • Elfelejtetted áthelyezni az adatokat a GPU-ra (upsz)

  • A köteg mérete apró (a GPU kihasználatlan)

  • A betanítási lépésben nagy mennyiségű CPU-előfeldolgozást végzel

Igen, a GPU-d gyakran úgy fog tűnni, hogy „nem is olyan forgalmas”, ha a szűk keresztmetszet az adat. Olyan ez, mintha felbérelnél egy autóversenyzőt, és minden körben várnod kellene az üzemanyagra.

7) A VRAM játék - kötegelt méret, vegyes pontosság és nem felrobbanó 💥🧳

A legtöbb gyakorlati képzési probléma a memóriára vezethető vissza. Ha egy készséget elsajátítasz, akkor a VRAM kezelését.

Gyors módszerek a memóriahasználat csökkentésére

A „miért van tele a VRAM leállítás után is?” pillanat

A keretrendszerek gyakran gyorsítótárazzák a memóriát a teljesítmény érdekében. Ez normális. Ijesztőnek tűnik, de nem mindig szivárgásról van szó. Megtanulod olvasni a mintákat. ( PyTorch CUDA szemantika: gyorsítótár-allokátor )

Gyakorlati szokás:

8) Működtesd a GPU-t - teljesítményhangolás, ami megéri az idődet 🏎️

gyorsaság elérése .

Nagy hatású optimalizálások

A leginkább figyelmen kívül hagyott szűk keresztmetszet

A tárolási és előfeldolgozási folyamatod. Ha az adathalmazod hatalmas és lassú lemezen tárolódik, a GPU-d drága hősugárzóvá válik. Egy nagyon fejlett, nagyon csillogó hősugárzóvá.

Valamint egy kis vallomás: egy órán át „optimalizáltam” egy modellt, csak hogy rájöjjek, a naplózás a szűk keresztmetszet. A túl sok nyomtatás lelassíthatja a betanítást. Igen, lelassíthatja.

9) Több GPU-s tréning - DDP, NCCL és skálázás káosz nélkül 🧩🤝

Ha nagyobb sebességre vagy nagyobb modellekre vágysz, akkor több-GPU-s rendszerre váltasz. Itt kezdenek kiforrottabbá válni a dolgok.

Gyakori megközelítések

  • Adatpárhuzamos (DDP)

    • Kötegek felosztása GPU-k között, színátmenetek szinkronizálása

    • Általában az alapértelmezett „jó” opció ( PyTorch DDP dokumentáció )

  • Modell párhuzamos / Tenzor párhuzamos

    • A modell felosztása GPU-k között (nagyon nagy modellek esetén)

  • Csővezeték párhuzamos

    • Modellrétegek felosztása szakaszokra (mint egy összeszerelő sor, de tenzorokhoz)

Kezdőknek a DDP stílusú képzés a tökéletes választás. ( PyTorch DDP oktatóanyag )

Gyakorlati tippek több GPU-s rendszerekhez

  • Győződjön meg arról, hogy a GPU-k hasonló képességekkel rendelkeznek (a keverés szűk keresztmetszetet okozhat)

  • Összekapcsolás megtekintése: Az NVLink és a PCIe összehasonlítása fontos a szinkronizációt igénylő munkaterhelések esetén ( NVIDIA NVLink áttekintése , NVIDIA NVLink dokumentáció )

  • A GPU-nkénti kötegméretek kiegyensúlyozottan tartása

  • Ne hagyd figyelmen kívül a CPU-t és a tárhelyet – a több GPU-s rendszer felerősítheti az adatforgalmi szűk keresztmetszeteket

És igen, az NCCL-hibák olyanok lehetnek, mint egy rejtélybe burkolt talány, amit a „miért pont most” kérdés övez. Nem vagy átkozott. Valószínűleg. ( NCCL áttekintés )

10) Monitorozás és profilalkotás – a visszataszító dolgok, amikkel órákat spórolhatsz meg 📈🧯

Nincs szükséged flancos műszerfalakra az induláshoz. Észre kell venned, ha valami nincs rendben.

Fontos jelek, amelyeket figyelni kell

  • GPU-kihasználtság : folyamatosan magas vagy ugrásszerű?

  • Memóriahasználat : stabil, mászó vagy furcsa?

  • Energiafogyasztás : a szokatlanul alacsony teljesítmény alulkihasználtságot jelenthet

  • Hőmérsékletek : a tartósan magas hőmérséklet csökkentheti a teljesítményt

  • CPU-használat : az adatfolyamattal kapcsolatos problémák itt jelennek meg ( PyTorch teljesítményhangolási útmutató )

Profilalkotási gondolkodásmód (egyszerűsített változat)

  • Ha a GPU kihasználtsága alacsony - adat- vagy CPU-szűk keresztmetszet

  • Ha a GPU magas, de lassú - a kernel hatékonyságának hiánya, pontossága vagy modellarchitektúrája

  • Ha a betanítási sebesség véletlenszerűen csökken - hőszabályozás, háttérfolyamatok, I/O akadozások

Tudom, a monitorozás nem túl szórakoztatónak hangzik. De olyan, mint a fogselyem használata. Idegesítő, aztán hirtelen jobbra fordul az életed.

11) Hibaelhárítás - a szokásos gyanúsítottak (és a kevésbé gyakoriak) 🧰😵💫

Ez a rész alapvetően a következő: „ugyanaz az öt probléma, örökké”

Probléma: Nincs elég memória a CUDA-nak

Javítások:

Probléma: A betanítás véletlenül CPU-n fut

Javítások:

  • győződjön meg arról, hogy a modell átkerült a Cuda-ba

  • biztosítsa a tenzorok áthelyezését a cuda-ba

  • keretrendszer eszközkonfigurációjának ellenőrzése ( PyTorch CUDA dokumentáció )

Probléma: Furcsa összeomlások vagy illegális memória-hozzáférés

Javítások:

Probléma: Lassabb a vártnál

Javítások:

Probléma: Több GPU-s rendszer lefagy

Javítások:

  • a helyes háttérbeállítások megerősítése ( PyTorch elosztott dokumentáció )

  • NCCL környezeti konfigurációk ellenőrzése (óvatosan) ( NCCL áttekintés )

  • először egyetlen GPU-t tesztelj

  • a hálózat/összeköttetés megfelelő állapotának biztosítása

Apró visszautalásos megjegyzés: néha a megoldás szó szerint az újraindítás. Hülyeségnek tűnik. Működik. A számítógépek ilyenek.

12) Költség és praktikusság - a megfelelő NVIDIA GPU és beállítás kiválasztása túlgondolás nélkül 💸🧠

elegendő van szükség .

Ha közepes modelleket finomhangol

Ha nagyobb modelleket tanítasz a nulláról

Ha kísérletezést végzel

  • Gyors iterációt szeretnél

  • Ne költsd az összes pénzed GPU-ra, majd ne fogyaszd el a tárhelyet és a RAM-ot!

  • Egy kiegyensúlyozott rendszer legyőzi az egyenetlenet (a legtöbb nap)

És az igazság az, hogy heteket pazarolhatsz a „tökéletes” hardverdöntések hajszolására. Építs valami működőképeset, mérd meg, majd igazítsd. Az igazi ellenség a visszacsatolás hiánya.

Záró gondolatok - Hogyan használjuk az NVIDIA GPU-kat mesterséges intelligencia betanítására anélkül, hogy elveszítenénk az eszünket 😌✅

Ha semmi mást nem merítesz ebből az útmutatóból, ami az NVIDIA GPU-k használatáról szól AI-képzéshez , akkor ezt válaszd:

Az NVIDIA GPU-kon való tanulás egyike azoknak a készségeknek, amik ijesztőnek tűnnek, aztán hirtelen... teljesen normálissá válik. Mint a vezetés megtanulása. Először minden hangos és zavaró, és túl erősen szorítod a kormányt. Aztán egy nap már száguldozsz, kávét kortyolgatsz, és lazán hibaelhárítasz egy kötegméret-problémát, mintha nem lenne nagy ügy ☕😄

GYIK

Mit jelent egy MI-modell betanítása NVIDIA GPU-n?

Az NVIDIA GPU-n történő betanítás azt jelenti, hogy a modellparaméterek és a betanítási kötegek a GPU VRAM-ban tárolódnak, és a nehéz matematikai műveletek (előrehaladás, visszajátszás, optimalizáló lépések) CUDA kerneleken keresztül futnak. A gyakorlatban ez gyakran arra korlátozódik, hogy a modell és a tenzorok a CUDA-n , majd figyelemmel kell kísérni a memóriát, a kihasználtságot és a hőmérsékleteket, hogy az átviteli sebesség konzisztens maradjon.

Hogyan ellenőrizhető az NVIDIA GPU működése bármi más telepítése előtt

Kezdd az nvidia-smi . Ennek meg kell mutatnia a GPU nevét, az illesztőprogram verzióját, az aktuális memóriahasználatot és az összes futó folyamatot. Ha az nvidia-smi hibát jelez, várj a PyTorch/TensorFlow/JAX paranccsal - először javítsd ki az illesztőprogram láthatóságát. Ez az alap „csatlakoztatva van-e a sütő?” ellenőrzés a GPU betanításához.

Választás a rendszer CUDA és a PyTorch-hoz mellékelt CUDA között

Egy gyakori megközelítés a keretrendszerhez kapcsolt CUDA használata (mint sok PyTorch kerék), mivel ez csökkenti a mozgó alkatrészek számát – elsősorban egy kompatibilis NVIDIA illesztőprogramra van szükség. A teljes rendszer CUDA eszközkészletének telepítése nagyobb kontrollt kínál (egyedi buildek, fordítási műveletek), de több lehetőséget is teremt a verzióeltérésekre és a zavaró futásidejű hibákra.

Miért lehet lassú a betanítás még NVIDIA GPU-val is?

A GPU-t gyakran túlterheli a bemeneti folyamat. A késleltetett adatbetöltők, a betanítási lépésen belüli nagy teljesítményű CPU-előfeldolgozás, az apró kötegméretek vagy a lassú tárolás mind azt eredményezhetik, hogy egy nagy teljesítményű GPU úgy viselkedik, mint egy tétlen térfűtő. Az adatbetöltő-munkavégzők számának növelése, a rögzített memória engedélyezése, az előhívás hozzáadása és a naplózás csökkentése gyakori első lépések a modell hibáztatása előtt.

Hogyan kerüljük el a „CUDA nincs elég memóriában” hibákat az NVIDIA GPU betanítása során

A legtöbb javítás VRAM-taktika: a köteg méretének csökkentése, a vegyes pontosság engedélyezése (FP16/BF16), színátmenet-felhalmozás használata, a szekvencia hosszának/kivágási méretének rövidítése, vagy aktiválási ellenőrzőpontok használata. Ezenkívül ellenőrizd a memóriát fogyasztó egyéb GPU-folyamatokat is. Némi próbálkozás és hiba normális - a VRAM-költségvetés a gyakorlati GPU-képzés alapvető szokásává válik.

Miért tűnhet megteltnek a VRAM egy betanító szkript befejezése után?

A keretrendszerek gyakran gyorsítótárazzák a GPU-memóriát a sebesség érdekében, így a foglalt memória mennyisége magas maradhat akkor is, ha a lefoglalt memória mennyisége csökken. Ez hasonlíthat egy szivárgásra, de gyakran a gyorsítótárazási allokátor viselkedik a tervek szerint. A gyakorlati szokás az, hogy az időbeli mintázatot nyomon követik, és összehasonlítják a „lefoglalt és a lefoglalt” állapotot, ahelyett, hogy egyetlen riasztó pillanatképre koncentrálnának.

Hogyan ellenőrizhető, hogy egy modell nem csendben tanul-e CPU-n?

Korai ellenőrzés: confirm torch.cuda.is_available() returns True , verify next(model.parameters()).device shows cuda , és futtass le egyetlen előremenő menetet hibák nélkül. Ha a teljesítmény gyanúsan lassúnak érződik, ellenőrizd azt is, hogy a kötegek átkerülnek-e a GPU-ra. Gyakori, hogy a modell áthelyezése után véletlenül ottmaradnak az adatok.

A legegyszerűbb út a több GPU-s betanításhoz

Az adatpárhuzamos (DDP-stílusú betanítás) gyakran a legjobb első lépés: a kötegek GPU-k közötti felosztása és a gradiensek szinkronizálása. Az olyan eszközök, mint az Accelerate, a több GPU-s futtatást kevésbé fájdalmassá tehetik teljes átírás nélkül. Számíts extra változókra - NCCL kommunikáció, összekapcsolási különbségek (NVLink vs PCIe) és felerősödött adatszűk keresztmetszetek -, így a fokozatos skálázás egy stabil, egy GPU-s futtatás után általában jobban megy.

Mit kell figyelni az NVIDIA GPU betanítása során a problémák korai felismerése érdekében?

Figyeld a GPU kihasználtságát, a memóriahasználatot (stabil vagy emelkedő), az energiafogyasztást és a hőmérsékletet – a szabályozás észrevétlenül csökkentheti a sebességet. Tartsd szemmel a CPU-használatot is, mivel az adatfolyamat problémái gyakran ott jelentkeznek először. Ha a kihasználtság ugrásszerű vagy alacsony, gyanakodj I/O-ra vagy adatbetöltőkre; ha magas, de a lépésidő továbbra is lassú, akkor profilozd a kerneleket, a precíziós módot és a lépésidő lebontását.

Referenciák

  1. NVIDIA - NVIDIA nvidia-smi dokumentáció - docs.nvidia.com

  2. NVIDIA - NVIDIA rendszerfelügyeleti felület (NVSMI) - developer.nvidia.com

  3. NVIDIA - NVIDIA NVLink áttekintés - nvidia.com

  4. PyTorch - PyTorch Első lépések (CUDA választó) - pytorch.org

  5. PyTorch - PyTorch CUDA dokumentáció - docs.pytorch.org

  6. TensorFlow - TensorFlow telepítés (pip) - tensorflow.org

  7. JAX - JAX gyorstalpaló - docs.jax.dev

  8. Ölelő arc - Edzői dokumentáció - huggingface.co

  9. Lightning AI - Lightning dokumentáció - lightning.ai

  10. DeepSpeed ​​- ZeRO dokumentációk - deepspeed.readthedocs.io

  11. Microsoft Research - Microsoft Research: ZeRO/DeepSpeed ​​- microsoft.com

  12. PyTorch Fórumok - PyTorch Fórum: modell ellenőrzése a CUDA-n - discuss.pytorch.org

Találd meg a legújabb mesterséges intelligenciát a hivatalos AI Assistant áruházban

Rólunk

Vissza a bloghoz