Google a lansat Gemma 3, un model lingvistic AI bazat pe tehnologia Gemini, parte a seriei open-source a companiei. Această versiune apare la puțin peste un an după lansarea primelor două modele și consolidează strategia companiei de a folosi la toate modele tehnologia Gemini.
Modelele Gemma sunt un set de modele de inteligență artificială cu capacități generative, utilizate în diverse sarcini. Versiunea Gemma 3 aduce îmbunătățiri majore versii anterioare, inclusiv suport pentru imagini și text, context de intrare mai mare și suport extins pentru limbi, potrivit Google.
De asemenea, Gemma 3 introduce tehnologia multimodalități și aceptă intrări în limbaj vizual și ieșiri text. Acesta gestionează ferestre contextuale de până la 128k token-uri, înțelege peste 140 de limbi și oferă capacități îmbunătățite de matematică, gândire și conversație, inclusiv rezultate structurate și apeluri.
Totodată, Gemma 3 este disponibil în patru dimensiuni (1B, 4B, 12B și 27B), atât ca modele pre-pregătite, care pot fi ajustate pentru propriile cazuri de utilizare și domenii, cât și ca versiuni cu instrucțiuni generale ajustate.
Urmărește mai jos producțiile video ale Economedia:
- articolul continuă mai jos -
Noua versiune permite dezvoltatorilor să creeze aplicații AI care pot rula pe o gamă variată de dispozitive, de la smartphone-uri la stații de lucru.
Cu Gemma 3, dezvoltatorii pot crea aplicații bazate pe AI care pot rula pe orice device, de la un smartphone la o stație de lucru și suportă peste 35 de limbi. Google susține că Gemma 3 depășește alte modele open-source, precum Llama și DeepSeek, datorită optimizărilor avansate și a strategiilor de antrenare.
Cum a fost construit modelul Gemma 3
Procesele de pre-formare și post-formare ale Gemma au fost optimizate prin utilizarea unei combinații de procese de distilare, învățare prin consolidare și fuzionare a modelelor.
De asemenea, Gemma 3 utilizează un nou tokenizator pentru un suport multilingv mai bun pentru peste 140 de limbi și a fost antrenat pe 2T token-uri pentru 1B, 4T token-uri pentru 4B, 12T token-uri pentru 12B și 14T token-uri pentru 27B, pe Google TPU utilizând JAX Framework.
Pentru post-formare, Gemma 3 utilizează 4 componente: distilarea dintr-un model de formare mai mare în puncte de control Gemma 3 pre-format, învățarea prin consolidare din feedback uman (RLHF) pentru a alinia predicțiile modelului cu preferințele umane, învățarea prin consolidare din feedback-ul mașinii (RLMF) pentru a îmbunătăți raționamentul matematic și învățarea prin consolidare din feedback-ul de execuție (RLEF) pentru îmbunătățirea capacităților de codificare.