NVIDIA B200 je dátacentrový GPU akcelerátor postavený na architektúre Blackwell, ktorý nadväzuje na modely H100 a H200 generácie Hopper. Vznikol najmä pre trénovanie a prevádzku veľkých modelov umelej inteligencie, generatívnu AI a ďalšie výpočtovo náročné úlohy, pri ktorých je dôležitý nielen samotný výkon, ale aj veľká kapacita pamäte a rýchla komunikácia medzi viacerými GPU.
Aké parametre má B200?
Akcelerátor využíva 180 GB pamäte HBM3e s priepustnosťou až 8 TB/s, čo mu umožňuje pracovať aj s veľmi rozsiahlymi modelmi a dátovými súbormi. Architektúra Blackwell zároveň prináša novú generáciu Tensor Cores a Transformer Engine s podporou výpočtov FP4, ktoré dokážu výrazne zvýšiť výkon najmä pri inferencii AI modelov.
Prečítaj si tiežČo je Black Box architektúra?
TechGuru Wiki Čo je Black Box architektúra? Black Box architektúra označuje modely umelej inteligencie, ktorých vnútorné procesy sú neprehľadné a ťažko vysvetliteľné. Takéto modely prijímajú vstupné dáta a poskytujú výstupy bez jasného vysvetlenia, ako k výsledku dospeli. Typickým príkladom sú hlboké neurónové siete (Deep Learning), ktoré môžu byť veľmi efektívne, ale zároveň netransparentné. Výhody Black […]...
Dôležitou súčasťou je aj piata generácia rozhrania NVLink s priepustnosťou až 1,8 TB/s na jeden GPU. Viacero akcelerátorov tak môže spolupracovať v jednom systéme bez toho, aby sa komunikácia medzi nimi stala výrazným obmedzením výkonu.
Na čo sa B200 používa?
Typickým nasadením sú dátové centrá, cloudové služby, výskumné pracoviská a podniková AI infraštruktúra. Akcelerátor sa používa pri trénovaní veľkých jazykových a multimodálnych modelov, ich inferencii, generovaní textu, obrazu či videa a tiež pri vedeckých a technických výpočtoch HPC.
Prečítaj si tiežČo je to inferencia?
Čo je to inferencia? Inferencia je proces, pri ktorom sa využíva natrénovaný model umelej inteligencie na vytváranie predpovedí alebo odhadov na základe nových, neznámych dát. Je to kľúčová fáza v praktickom využití AI, kde sa model aplikuje na riešenie reálnych problémov. Počas inferencie model AI v podstate uvažuje na základe naučených vzorov a vzťahov. Ako […]...
Nejde pritom o grafickú kartu určenú pre bežné osobné počítače alebo hry, ale o serverové riešenie optimalizované na rozsiahle paralelné výpočty a nepretržitú prevádzku vo výkonných systémoch.
Aký je rozdiel medzi B200, HGX B200, DGX B200 a GB200?
Označenie B200 patrí samotnému GPU akcelerátoru, zatiaľ čo HGX B200 označuje serverovú platformu, ktorá môže združovať osem takýchto GPU prepojených pomocou NVLink a NVSwitch. DGX B200 je už kompletný AI server spoločnosti NVIDIA postavený na tejto platforme.
Prečítaj si tiežČo je token pri umelej inteligencii?
Čo je to token umelej inteligencie? Token v kontexte umelej inteligencie označuje základnú jednotku textu, s ktorou model pracuje pri spracovaní a generovaní odpovedí. Token môže predstavovať jedno písmeno, slovo, časť slova alebo znak. Závisí to od konkrétneho modelu a jeho trénovacej schémy. Napríklad slovo „inteligencia“ môže byť rozdelené na viaceré tokeny podľa toho, ako […]...
GB200 Grace Blackwell Superchip je odlišné riešenie, ktoré kombinuje procesor NVIDIA Grace s GPU architektúry Blackwell. Hoci názvy vychádzajú z rovnakej generácie hardvéru, B200 a GB200 preto nie sú dva názvy toho istého produktu.
