- Názov projektu: Testovanie jazykových modelov na zariadeniach s obmedzeným výkonom
- Trvanie projektu: 26/09/2024 – 15/01/2025
- Partner: BeBy Cloud / Share thinking
Spolupráca sa sústredila na konkrétnu technickú otázku: môžu jazykové modely na sumarizáciu textu efektívne fungovať na edge zariadeniach s obmedzenými zdrojmi? Prípad použitia predstavovalo automatické sumarizovanie PDF dokumentov pomocou predtrénovaných jazykových modelov nasadených v prostredí Kubernetes. Cieľom bolo identifikovať, ktoré modely a stratégie nasadenia sú vhodné pri obmedzených hardvérových podmienkach, s osobitným dôrazom na rovnováhu medzi výkonom, využitím pamäte a presnosťou.
AKO SME TO RIEŠILI
Testovali sme viaceré predtrénované modely na sumarizáciu s rôznou veľkosťou a výkonnostnými charakteristikami. Hodnotenie sa zameriavalo na tri hlavné oblasti:
🔹Hardvérové benchmarkovanie: Modely boli testované na zariadení BeBy – minimalistickom sieťovom počítači založenom na RPi Compute Modules CM4 a porovnávané so štandardnými notebookmi a zariadeniami s GPU, pričom sa meralo, ako sa výkon a využitie pamäte líšia medzi týmito konfiguráciami.
🔹Prístupy nasadenia: Hodnotili sa tri metódy nasadenia, natívne spustenie, kontajnerizácia pomocou Dockeru a nasadenie založené na Kubernetes, pričom sa posudzoval ich vplyv na výkon pri obmedzených hardvérových podmienkach.
🔹Optimalizácia modelov: Kvantizácia bola skúmaná ako technika na zníženie veľkosti modelu a pamäťových nárokov, pričom sa pri testovaných modeloch hodnotil jej vplyv na rovnováhu medzi výkonom, využitím pamäte a presnosťou.
Zorganizovaný bol aj workshop zameraný na prenos poznatkov, ktorý sa venoval jazykovým modelom, možnostiam nasadenia a optimalizačným stratégiám s cieľom zdieľať zistenia a technický kontext s tímom partnera.
„Pre mňa bolo najcennejším výsledkom tejto spolupráce ukázanie, že nasadenie AI na hardvéri s obmedzenými zdrojmi je možné, no vyžaduje si vyváženie ambícií s technickou realitou. Testovaním modelov priamo v prostredí Kubernetes a na edge zariadeniach sme dokázali identifikovať, čo je dnes realizovateľné a čo si ešte vyžaduje ďalšiu optimalizáciu pre praktické využitie.“
ALEXANDER BRECKO
Research Engineer, NLP tím
ČO SME DODALI
V rámci projektu sme vyvinuli backend vo FastAPI a nasadili ho do on-premise Kubernetes prostredia partnera hostovaného na platforme BeBy.cloud. Aplikácia umožňuje používateľom nahrávať PDF súbory a vybrať si model na sumarizáciu, čím demonštruje reálne využitie hodnotených modelov. Spolupráca priniesla overené technické riešenie, výkonnostné benchmarky, fungujúcu demonstračnú službu a praktické odporúčania pre budúce zlepšenia.
„Spolupráca s KInIT potvrdila, že naša nízkoenergetická platforma beby.cloud je plne pripravená na éru umelej inteligencie. Na 11-uzlovom klastri s celkovou spotrebou energie nižšou ako pri jednej 50 W žiarovke sme dosiahli to, čo bolo predtým doménou drahých cloudových riešení. Veríme, že jednoduchosť nášho prístupu umožní študentom lepšie porozumieť týmto komplexným technológiám a využívať ich vo svojich projektoch.“
ROBERT GALIK
CEO / Zakladateľ of BeBy.cloud
