AI model Llama-2 na lokálnom PC s grafikou NVIDIA

Open source LLM (Large Language Model) model Llama 2 bol sprístupnený v júli 2023 spoločnosťou Meta, čo je spoločnosť prevádzkujúca okrem iného Facebook a Instagram. Model je k dispozícii zdarma nielen na vzdelávanie a výskum, ale aj na komerčné použitie. Model je možné nainštalovať aj na lokálnom počítači a používať bez toho aby bolo potrebné internetové pripojenie. Na ilustráciu natrénovaný model llama-2-70B, ktorý obsahuje 70 miliárd parametrov zaberie približne 140 GB a na jeho základné využitie je k dispozícii program, ktorého zdrojový kód má 500 riadkov v programovacom jazyku C. Nielen na trénovanie, ale aj na beh LLM modelov je mnohonásobne rýchlejšia grafická karta, alebo zostava viacerých grafických kariet. Zatiaľ čo pri trénovaní neurónových sietí sa údaje do grafickej karty prenášajú po dávkach, pri behu natrénovaného modelu je ideálne, ak je celý v pamäti. Keď napíšete zadanie neurónová sieť generuje odpoveď ako postupnosť slov, pričom ak sú všetky parametre v pamäti gene ... Zobrazit Galériu