Meta a făcut un pas uriaș înainte în lumea inteligenței artificiale cu lansarea familiei de modele Llama 3.2, introducând pentru prima dată un model cuantificat ușor care poate funcționa pe dispozitive mobile. Această inovație reprezintă un avans semnificativ în ceea ce privește viteza de inferență și utilizarea memoriei, menținând în același timp majoritatea performanțelor modelelor anterioare.
Llama 3.2, lansat pe 26 septembrie 2024, include modele mai mari, de 11B și 90B, dar și versiuni mai mici, de 1B și 3B, optimizate pentru dispozitive mobile. Această diversitate oferă o gamă largă de aplicații, de la cele care necesită putere de procesare intensivă până la cele care funcționează pe hardware limitat.
Inovația cheie a fost aplicarea tehnicii de cuantificare de la 4 biți la 8 biți pentru fiecare parte a modelului, urmată de un antrenament conștient de cuantificare (QAT) și ajustare fină supervizată cu ajutorul adaptorului LoRA, un proces numit ‘QLoRA’. Rezultatul? O reducere semnificativă a dimensiunii modelului, cu o scădere minimă a acurateței. De exemplu, viteza de decodare a tokenurilor pentru modelul de 1B a crescut de aproximativ 2,5 ori, în timp ce acuratețea a scăzut doar ușor.
Mai mult, utilizarea Prefill, care procesează tokenurile de intrare în paralel, a crescut viteza de 4,2 ori și a redus dimensiunea modelului la mai mult de jumătate. În plus, cantitatea de memorie folosită în timpul inferenței a scăzut cu aproximativ 30% pentru modelul de 1B și cu aproximativ 45% pentru modelul de 3B.
Aceste îmbunătățiri nu numai că fac modelele Llama 3.2 mai accesibile pentru o varietate mai mare de utilizatori și dezvoltatori, dar deschid și noi posibilități pentru integrarea IA în aplicații mobile, fără a compromite performanța. Utilizatorii pot descărca noul model de pe site-ul oficial Llama și Hugging Face, beneficiind astfel de ultimele progrese în domeniul modelelor de limbaj la scară largă.
În concluzie, cu Llama 3.2, Meta demonstrează angajamentul său de a aduce inteligența artificială mai aproape de utilizatorii de zi cu zi, oferind soluții inovatoare care îmbunătățesc experiența digitală pe o varietate de platforme și dispozitive. Acest pas înainte în tehnologia IA marchează un moment important în evoluția comunicării și interacțiunii umane cu mașinile.
