Nové procesory zefektívňujú nasadzovanie AI vo firmách

Špeciálny projekt

Firmy čelia výzvam súvisiacim s nasadzovaním aplikácií využívajúcich AI, ktoré chcú prevádzkovať na výkonných, ale zároveň energeticky úsporných serveroch. Procesory AMD EPYC najnovšej generácie pomáhajú optimalizovať využitie dátových centier, umožňujú implementáciu AI a podporujú zvýšenie efektivity.

Najnovšia generácia Zen 5 prináša výrazné zlepšenia výkonu a efektívnosti pre strojové a hlboké učenie, High Performance Computing (HPC) a virtualizované pracovné prostredia schop­né poskytnúť vysoký výkon. Procesory sú prispôsobené predpokladanému zaťaženiu dátových centier zameranému na úlohy AI a, samozrejme, aj na podporu virtualizovaných prostredí a on premise aj cloudových aplikácií. Procesory série AMD EPYC 9005 umožňujú nasadzovanie a rozširovanie AI vo firmách a orga­nizáciách a zároveň zvyšujú energetickú efektívnosť a optimalizáciu dátových centier. Modernizácia pomocou osvedčenej pokročilej architektúry x86 umožní uvoľniť kapacity vo vašom ­dátovom centre a podporiť operácie AI a strojového učenia.

Doslova nenásytný dopyt po AI sa pre firmy, ktoré sa snažia naplno využiť príležitosť, stal rozhodujúcim faktorom akcelerácie inovácií IT infraštruktúry. Inak povedané, firmy, ktoré nedokážu implementovať AI, veľmi riskujú, že zaostanú za konkurenciou. Procesory AMD EPYC 9005 urýchľujú adaptáciu AI, pretože poskytujú základ platformy pre konsolidáciu dátových centier hostujúcich AI aplikácie využívajúce procesor na strojové učenie akcelerované GPU. Nové procesory umožnia odomknúť potenciál AI pri súčasnej či dokonca nižšej spotrebe energie. Ich výkonná a robustná architektúra, pokročilé funkcie a rastúci softvérový ekosystém robia z AMD EPYC 9005 kľúčovú hnaciu silu pre inovácie a dosahovanie obchodných cieľov v ére poháňanej umelou inteligenciou. Knižnica AMD ZenDNN optimalizuje stavebné bloky neurónových sietí s cieľom zvýšiť výkon hlbokého učenia na procesoroch AMD. Rozhrania API podporujú populárne AI frameworky, ako sú TensorFlow, PyTorch a ONNX Runtime.

Procesory AMD EPYC 9005 využívajú hybridný viacčipový dizajn a nové jadrá Zen 5 a Zen 5c. Boli navrhnuté s dôrazom na riešenie problémov dátových centier, aby poskytovali špičkový výkon a efektivitu vo virtualizovaných a cloudových prostrediach, ako aj na podporu AI pracovných zaťažení, jednak úloh bežiacich priamo na CPU, ale aj na podporu akcelerácie GPU. Aj keď hlavnú výpočtovú záťaž prevezmú procesory na grafických a tenzorových kartách, výkon procesora a priepustnosť dát medzi procesorom a operačnou pamäťou sú veľmi dôležité, pretože procesory sa starajú o orchestráciu GPU a dávkujú im údaje na spracovanie. Všetky procesory produktovej rodiny AMD EPYC 9005 podporujú až 12 pamäťových kanálov DDR5-6000, 128 I/O liniek PCIe Gen 5 (až 160 v dvojprocesorových serveroch) a obsahujú technológie AMD Secure Processor na povolenie domén šifrovania virtuálneho počítača.

V procesoroch AMD EPYC 5. generácie sa používajú dva rôzne typy jadier na riešenie rôznych potrieb pracovného zaťaženia zmenou typu a počtu jadier.

Jadro Zen 5 je optimalizované na vysoký výkon. Ide o kombináciu až ôsmich jadier, ktoré tvoria komplex jadra (CCX) obsahujúci 32 MB zdieľanej vyrovnávacej pamäte L3. Komplex jadra je vyrobený na matrici (CCD), pričom až 16 z nich sa dá nakonfigurovať do procesora EPYC 9005, takže na formáte SP5 možno mať až 128 jadier vo formáte SP5. V porovnaní s predchádzajúcou generáciou poskytujú procesory AMD EPYC 5. generácie s jadrom Zen 5 spolu s rýchlejšou pamäťou a ďalšími zlepšeniami procesora o 20 % vyšší výkon na aritmetiku celých čísel a o 34 % vyšší výkon na aritmetiku s pohyblivou rádovou čiarkou.

Jadro Zen 5c je optimalizované pre hustotu a efektivitu. Má rovnakú logiku prenosu registra ako jadro Zen 5, ale fyzicky zaberá menej miesta a je navrhnuté tak, aby poskytovalo vyšší výkon na watt. Jadrový komplex Zen 5c obsahuje až 16 jadier a zdieľanú 32 MB vyrovnávaciu pamäť L3. Až 12 týchto CCD možno kombinovať s I/O CCD na vytvorenie CPU až so 192 jadrami vo formáte SP5.

Jadrá Zen 5 sa vyrábajú pomocou 4 nm procesnej technológie, jadro Zen 5c sa vyrába 3 nm procesom. Matrica I/O zostáva na 6 nm rovnako ako v predchádzajúcej generácii. Tento prístup je flexibilnejší a dynamickejší, ako keby celý procesor bol vyrobený rovnakou technológiou. Modulárny prístup umožňuje kombinovať CPU a matrice I/O, ktoré presne zodpovedajú požiadavkám pracovného zaťaženia. Tie siahajú od vysokovýkonných procesorov so 192 jadrami až po systémy, ktoré potrebujú len osem jadier. 

Modulárny prístup umožňuje vytvárať varianty optimalizované na riešenie konkrétnych úloh. AMD EPYC 9005 je flexibilný procesor umožňujúci úzko vyvážiť požiadavky na výpočtový výkon a efektivitu, napríklad:

Vyvážené zaťaženie:  jadro Zen 5 disponujúce výkonom pre obchodné aplikácie, vývoj, správu dát a aj analytické, kolaboratívne a infraštruktúrne aplikácie.

Pre licencie „na jadro“ – pri softvéri, za ktorý platíte licenčné poplatky v závislosti od počtu jadier, je výhodná konfigurácia s menším počtom procesorových jadier a vyššími taktovacími frekvenciami. Tieto CPU majú na konci typového označenia písmeno F. Typickým príkladom takto licencovaného softvéru sú databázy, analytické a podnikové aplikácie Oracle a ďalších dodávateľov softvéru.

Aplikácie AI – EPYC 9575F poskytuje o 33 % viac jadier než predchádzajúca generácia s najvyššou optimalizovanou frekvenciou. Masívny paralelizmus na takejto konfigurácii umožňuje rýchle zaraďovanie údajov pre GPU. Vysoká taktovacia frekvencia a veľa jadier urýchľujú operácie AI, ktoré nevyžadujú akceleráciu GPU.

In-memory computing – veľa aplikácií má vysoké nároky na kapacitu a priepustnosť pamäte a takisto na vyrovnávaciu pamäť. Ide hlavne o softvér na simuláciu v reálnom čase, výpočty dynamiky tekutín či predpoveď počasia. Na uspokojenie vysokých nárokov na pamäť sú k dispozícii procesory efektívne spájajúce CPU a matricu I/O. To umožňuje zdvojnásobenie maximálnej teoretickej priepustnosti pamäte. Compute Express Link (CXL) 2.0 podporuje koherentnú vyrovnávaciu pamäť, rozšírenie pamäte, softvérovo riadenú viacvrstvovú pamäť či zdieľanie pamäte.

Výpočtovo náročné zaťaženie  – pri niektorých pracovných zaťaženiach nemusí stačiť ani 128 jadier na procesor. Typický príklad sú cloudové natívne aplikácie v kontajneroch, virtua­lizované prostredia zamerané na dosiahnutie čo najväčšieho počtu virtuálnych strojov či vysoko paralelizované pracovné zaťaženia. Na uspokojenie týchto potrieb sa kombinuje až 12 Zen 5c optimalizovaných na hustotu čiže jadier, ktoré na čipovom substráte zaberajú najmenej miesta a dovedna 1 MB vyrovnávacej pamäte L2 a 32 MB L3. Celková hustota tak dosahuje až 192 jadier na procesor v modeli EPYC 9965, je najvyššia zo všetkých CPU s architektúrou x86, ktoré sú dnes k dispozícii.

Procesory série EPYC 9005 sú navrhnuté tak, aby zvládali rastúce požiadavky aplikácií AI na výpočtový výkon. S 512-bitovými dátovými cestami v jadre, optimalizáciou inštrukčnej pipeline a jednotiek na počítanie s pohyblivou rádovou čiarkou dokážu tieto CPU spúšťať širokú škálu AI pracovných zaťažení bez potreby akcelerácie GPU. Úlohy ako detekcia obrazu, analýza podvodov, rozhodovacie stromy, ale aj niektoré jazy­kové modely efektívne fungujú aj na výkonnom CPU s vhodnou architektúrou.

Procesory série EPYC 9005 sú optimalizované na vysoké taktovacie frekvencie a veľmi dobre fungujú aj ako hostiteľské procesory v systémoch s akceleráciou GPU, čo umožňuje rýchle a efektívne spracovanie rozsiahlych úloh prípravy a následného spracovania úloh AI a strojového učenia. Pri hosťovaní ôsmich akcelerátorov GPU dosahujú servery s dvoma 64-jadrovými procesormi EPYC 9575F približne o 15 % kratší čas tréningu v porovnaní so servermi s dvoma 64-jadrovými procesormi Xeon 8592+ v aplikáciách Llama 3.1-70B a 3.1-8B. 

V krátkosti predstavíme kľúčové funkcie umožňujúce novým procesorom AMD EPYC konsolidovať infraštruktúru, optimalizovať náklady a prispôsobiť sa meniacim sa potrebám tradičných aj AI aplikácií.

• Vysoký počet jadier a viacvláknové spracovanie – umožňuje efektívne zvládnutie náročného pracovného zaťaženia pri využití paralelného spracovania.
• Veľké vyrovnávacie pamäte – ponúkajú vysoký výkon poskytovaním rýchleho prístupu k často používaným údajom.
• Hardvérová akcelerácia – preberá na seba výpočtovo náročné úlohy súvisiace s AI, čím prispieva k zvýšeniu výkonu.
• Pokročilá správa pamäte – poskytuje veľkú šírku pásma a nízku latenciu pre tok údajov, čo je dôležité aj pre AI bežiace na GPU.
• Robustný softvérový ekosystém – podporuje najrozšírenejšie AI frameworky a nástroje na optimalizovaný výkon.

Na ilustráciu uvádzame výsledky testov v porovnaní so 2P servermi s procesormi štvrtej generácie AMD EPYC 9654.

Priepustnosť v tokenoch za sekundu sa testovala na modeli LLM Llama 3.1-8B BF16. Na testovanie vyhľadávania podobnosti bola použitá knižnica FAISS. Knižnica obsahuje algoritmy, ktoré vyhľadávajú podobnosti v súboroch vektorov ľubovoľnej veľkosti, aj takých, ktoré sa nezmestia do RAM. Na testovanie ML bola použitá knižnica XGBoost. V benchmarkovom teste TPCx-AI SF30 servery 2P s procesormi AMD EPYC 9965 spracovali 3,8× viac testovacích AI prípadov za minútu v porovnaní so servermi 2P s procesormi Intel Xeon Platinum 8592+.

Pre podnikové aplikácie je dôležitý nielen výkon s dôrazom na podporu AI a energetickú efektívnosť, ale aj bezpečnosť. Firmy využívajúce novú procesorovú platformu budú riešiť súčasné aj budúce bezpečnostné výzvy pomocou pokročilého zabezpečenia AMD Infinity Guard. Dlhodobé konzistentné záväzky AMD k podpore otvorených štandardov sú rozhodujúce pre rozvoj bezpečných a konkurencieschopných počítačových ekosystémov.

Modernizácia infraštruktúry je kľúčová na vytvorenie efektívnej hardvérovej podpory pre AI. Servery založené na sérii EPYC 9005 podporujú konsolidáciu a modernizáciu dátových centier, čím riešia stále náročnejšie potreby podnikových aplikácií. Vysoký počet jadier umožňuje vykonávať viac úloh s menším počtom serverov. Napríklad 14 nových dvojprocesorových serverov vybavených 192-jadrovými procesormi AMD EPYC 9965 dokáže nahradiť 100 starších dvojprocesorových serverov s 28-jadrovými procesormi Intel Xeon 8280. Riešenie na báze nových procesorov AMD znižuje spotrebu energie o 69 % a znižuje trojročné celkové náklady na vlastníctvo (TCO) až o 65 %.

Distribútor: ASBIS SK