NVIDIA ChatRTX AI na lokálnom PC

Určite ste postrehli, že vyhľadávacie nástroje a v poslednom čase aj generatívna AI si lepšie poradia s obsahom na internete ako s lokálne uloženými dokumentmi a obrázkami. Jedným z riešení môže byť nástroj NVIDIA ChatRTX, ktorý beží lokálne na vašom PC. {{BANNER|SIMPLE_BANNER_HOMEPAGE_2}} ChatRTX je vzorová aplikácia, ktorá vám umožňuje prepojiť LLM (Large Language Model) s vaším vlastným obsahom – dokumentmi, poznámkami, fotografiami alebo inými údajmi. Využíva technológie RAG (Retrieval-Augmented Generation) a TensorRT-LLM. Aby ste mohli ChatRTX spustiť, potrebujete mať na svojom PC alebo notebooku grafiku NVIDIA série RTX 3xxx a RTX 4xxx, ktorá má aspoň 8 GB VRAM pamäte GPU, takže tento nástroj funguje aj na cenovo dostupných grafických kartách. Pokiaľ máte grafickú kartu s vyššou kapacitou VRAM, dokáže ChatRTX pracovať aj s pokročilejšími modelmi. Technologické demo ChatRTX je vytvorené z referenčného projektu vývojára TensorRT-LLM RAG dostupného na Githube. Vývojári môžu použi ... Zobrazit Galériu