Môže vyradený hardvér z dátových centier konkurovať drahej modernej technike? Experiment ukázal, že staršie podnikové akcelerátory dokážu poháňať pokročilý domáci server s AI prekvapivo svižne. Výsledná zostava dokonca v dlhých kontextoch predbehla prémiový počítač.
Prevádzka rozsiahlych jazykových modelov v domácom prostredí naráža na nepríjemný mantinel, ktorým je kapacita a priepustnosť grafickej pamäte. Bežné spotrebiteľské karty s rozumnou cenovkou ponúkajú obmedzenú VRAM, zatiaľ čo špičkové profesionálne AI pracovné stanice môžu stáť desiatky a servery až stovky tisíc eur. Hardvérový nadšenec vystupujúci pod prezývkou esologic sa preto rozhodol preskúmať opačnú cestu a siahol po vyradenom podnikovom hardvéri z druhej ruky.
Základom jeho projektu sa stala serverová doska Supermicro X10DRG-Q osadená dvojicou dvanásťjadrových procesorov Intel Xeon E5-2687W a napájaná zdrojom Corsair HX1500i. Do tohto základu osadil trojicu akcelerátorov Nvidia Tesla V100 so 16 GB pamäte. Cieľom rozsiahleho testovania, o ktorom informoval portál Tom’s Hardware, bolo overiť, či takáto kombinácia zvládne bežné nasadenie moderných modelov cez nástroj llama.cpp.
Súboj s modernou technikou a dlhým kontextom
Hlavným testovacím modelom sa stal pokročilý Qwen 3.6 35B s architektúrou Mixture of Experts (MoE), pri ktorom sa na jeden vygenerovaný token aktivujú len približne tri miliardy parametrov. Táto architektúra pomohla dosiahnuť vysokú rýchlosť generovania, zatiaľ čo trojica starších kariet poskytla potrebnú kapacitu grafickej pamäte. Pri kvantizácii Q8 a krátkom kontexte 4K dosiahla zostava tempo 100,8 tokenu za sekundu, čo výrazne prekonáva hranicu plynulej interakcie v reálnom čase.
Prečítaj si tiež486 DX2 ožila bez základnej dosky. Japonec na nej za 16 dní rozbehol Doom
Môže retro PC 486 DX2 bežať na kontaktnom poli? Japonský vývojár to dokázal za 16 dní a k netradičnému stroju pridal aj miniatúrny CRT monitor....
Skutočné prekvapenie však prinieslo porovnanie s počítačom Apple Mac Studio v konfigurácii s čipom M5 Max, 128 GB zjednotenej pamäte a cenovkou 5 399 dolárov (približne 4 923 eur/120 000 Kč). Kým pri menších kontextových oknách mal navrch moderný čip od Apple, s rastúcim objemom dát sa pomer síl otočil. Pri najdlhšom okne 128K totiž zostava s tromi kartami V100 dosiahla 72,7 tokenu za sekundu, zatiaľ čo testovaný Mac Studio zaznamenal 61,3 tokenu za sekundu. Staršie karty z dátových centier ťažili z vysokej priepustnosti pamätí HBM2 (predchodcu modernejších HBM3).
Opačná situácia nastala pri porovnaní s plnohodnotnými modernými akcelerátormi určenými pre dátové centrá. Samostatný moderný čip NVIDIA B200 dokáže pri rovnakom kontexte generovať približne 455 tokenov za sekundu a dvojica kariet Hopper H100 okolo 315 tokenov. Starší hardvér sa im v hrubej výpočtovej sile rovnať nemôže, no v domácom prostredí mieri na úplne inú kategóriu používateľov.
Praktické kompromisy a chladenie z 3D tlačiarne
Nasadenie podnikových kariet v domácich podmienkach prináša špecifické výzvy. Použité karty Tesla V100 totiž využívajú pasívne chladiče a počítajú s masívnym prietokom vzduchu v serverových skriniach. Aby sa zabránilo prehrievaniu, autor projektu musel pre každú kartu vytlačiť na 3D tlačiarni špeciálny vzduchový tunel s vlastným ventilátorom a pracuje aj na vlastnom návrhu samostatného chladiaceho riešenia.
Prečítaj si tiežSuperjachta Gabea Newella šokuje luxusom, no najviac prekvapila posádkou
Superjachta Gabea Newella búra zvyklosti luxusného jachtingu. Pozrite sa, aké netradičné zázemie pripravil šéf Valve pre svoju posádku....
Energetická náročnosť sa ukázala ako prijateľná. Pri vygenerovaní dávky tokenov v 128K kontexte spotrebovala trojica V100 približne 0,02 kWh priamo na kartách, čo predstavuje polovičnú spotrebu v porovnaní so staršou generáciou Pascal P100 pri rovnakej úlohe.
Koľko takáto domáca stavba reálne stála?
Výsledná bilancia potvrdzuje, že vyradený hardvér môže dávať zmysel, ak používateľ disponuje technickými zručnosťami. Kľúčové prvky zostavy vychádzajú po započítaní oboch procesorov približne na 1 070 dolárov, čo predstavuje asi 973 eur (zhruba 23 800 Kč).
- Samotné tri karty Nvidia Tesla V100-16GB vyšli v prepočte na 655,16 dolára (približne 597 eur / 14 600 Kč),
- serverová doska stála 211 dolárov (asi 192 eur / 4 700 Kč),
- napájací zdroj 147,70 dolára (okolo 135 eur / 3 300 Kč)
- a dvojica procesorov Xeon iba 56,40 dolára (asi 52 eur / 1 260 Kč).
Rozpočet nezahŕňa operačnú pamäť, úložisko, ventilátory ani samotnú konštrukciu, no za zlomok ceny komerčnej AI pracovnej stanice poskytuje dostatočnú pamäťovú kapacitu aj pre beh rozsiahlych lokálnych AI modelov.
Prečítaj si tiežJe GTA 6 trenažér, čo učí mužov o ženách? Prvýkrát nemôžete využiť prostitútky
GTA 6 prináša okrem prestreliek a automobilových naháňačiek aj nečakane prepracované partnerské vzťahy. Internet už žartuje, že muži sa budú o virtuálnu Luciu starať lepšie než o vlastné priateľky. Rockstar pritom vytvoril systém, ktorý tomuto vtipu dáva prekvapivo skutočný rozmer....
Dobrou správou je, že podobné akcelerátory si dnes môže kúpiť prakticky každý. Vyradené karty Tesla V100 sa bežne objavujú napríklad na eBay, kde sa použité 16 GB modely vo verzii PCIe predávajú približne za 280 až 410 eur za kus. Potenciálni záujemcovia si však musia dať pozor na rozdiel medzi verziami PCIe a SXM2, ktoré nie sú priamo zameniteľné. A hoci tieto akcelerátory ponúkajú zaujímavý výkon za relatívne málo peňazí, ich prevádzka si vyžaduje kvalitné chladenie, dostatočne dimenzovaný zdroj a určité technické skúsenosti. Výhodná kúpa teda ešte automaticky neznamená lacný a bezproblémový domáci AI server.






