OpenAI a făcut un pas uriaș înainte cu introducerea modelului său revoluționar, OpenAI o1. Acest model de limbaj mare, antrenat cu învățare prin întărire, este proiectat să efectueze raționamente complexe, producând un lanț intern lung de gândire înainte de a răspunde utilizatorilor.
OpenAI o1 se remarcă prin performanța sa excepțională în întrebările de programare competitivă, clasându-se în percentila 89 pe Codeforces și situându-se printre cei mai buni 500 de studenți din SUA într-un calificativ pentru Olimpiada de Matematică a SUA (AIME). Mai mult, depășește acuratețea la nivel de doctorat uman pe un benchmark de probleme de fizică, biologie și chimie (GPQA).
Ce face OpenAI o1 atât de special? Modelul folosește un algoritm de învățare prin întărire la scară largă care îl învață cum să gândească productiv, folosindu-și lanțul de gândire într-un proces de antrenament extrem de eficient din punct de vedere al datelor. Performanța lui o1 se îmbunătățește constant cu mai multă învățare prin întărire (calcul la momentul antrenamentului) și cu mai mult timp petrecut gândindu-se (calcul la momentul testării).
Pentru a sublinia îmbunătățirea raționamentului față de GPT-4o, OpenAI a testat modelele pe un set divers de examene umane și benchmark-uri ML. Rezultatele arată că o1 depășește semnificativ GPT-4o în majoritatea acestor sarcini grele de raționament. De exemplu, pe examenele AIME din 2024, GPT-4o a rezolvat în medie doar 12% (1.8/15) din probleme, în timp ce o1 a avut o medie de 74% (11.1/15) cu un singur eșantion per problemă, 83% (12.5/15) cu consens între 64 de eșantioane și 93% (13.9/15) atunci când re-clasifică 1000 de eșantioane cu o funcție de scor învățată.
Prin învățarea prin întărire, o1 învață să-și perfecționeze lanțul de gândire și să-și rafineze strategiile pe care le folosește. Învață să recunoască și să corecteze greșelile. Învață să descompună pașii dificili în unii mai simpli. Învață să încerce o abordare diferită atunci când cea curentă nu funcționează. Acest proces îmbunătățește dramatic capacitatea modelului de a rezolva probleme complexe și de a raționa la un nivel comparabil cu experții umani.
Pentru mai multe informații despre OpenAI o1 și progresele sale remarcabile în domeniul inteligenței artificiale, puteți accesa acest link.
