Techcrunch: Noile modele de inteligență artificială ale OpenAI au mai multe “halucinații”

Modelele de inteligență artificială o3 și o4-mini recent lansate de OpenAI sunt de ultimă oră în multe privințe, dar noile modele încă au halucinații sau inventează lucruri – de fapt, au “halucinații” mai mari decât câteva dintre modelele mai vechi ale OpenAI, conform unei analize Techcrunch.com.

Așa numitele halucinații (rezultate incorecte sau bizare care pot induce în eroare utilizatorii, n.red.) s-au dovedit a fi una dintre cele mai mari și mai dificile probleme de rezolvat în IA, afectând chiar și cele mai performante sisteme din prezent. Din punct de vedere istoric, fiecare model nou s-a îmbunătățit ușor la capitolul halucinații, halucinând mai puțin decât predecesorul său. Dar acesta nu pare să fie cazul pentru o3 și o4-mini, conform Techcrunch.

Potrivit testelor interne ale OpenAI, o3 și o4-mini, care sunt așa-numitele modele de raționament, halucinează mai des decât modelele de raționament anterioare ale companiei – o1, o1-mini și o3-mini – precum și decât modelele tradiționale „fără raționament” ale OpenAI, precum GPT-4o.

Analize Economedia

Analiză „la cald”. Ce impact vor avea taxele vamale americane pentru România?

ANALIZĂ Memento: Cum a arătat criza economică izbucnită în 2009 în România, venită tot din SUA / Au fost necesare măsuri dure de austeritate pentru redresare / Ca și acum, economia avea dezechilibre majore / Analiștii avertizează că politicile lui Trump împing Statele Unite în recesiune

ANALIZĂ Juniori pe piața muncii în IT-ul lovit de turbulențe. Experiențe de candidați: „Aproape orice postare pe LinkedIn are peste 100 de aplicanți”/ „În cazul în care nu ai absolvit o facultate, angajatorii nici nu te mai bagă în seamă”

ANALIZĂ Piața hotelieră, în vizorul dezvoltatorilor: Unități de jumătate de miliard de euro ar urma să fie inaugurate în următorii trei ani/ Care sunt marile branduri așteptate

ANALIZĂ Oul românesc: Producția anuală, peste 145.000 t / Locul 8 în Uniunea Europeană, la numărul de găini ouătoare, deși procentual România se situează sub 3% / Care sunt piețele principale

ANALIZĂ Ce s-a întâmplat pe piața RCA în ultimii 10 ani / Cât ne-au costat și cât ne costă falimentele: Prețul unei asigurări RCA a crescut de aproape 3 ori în perioada 2021-2024

ANALIZĂ De la export masiv de energie la import masiv, în nici 7 ore. Amplitudine de 3.700 MW într-o zi și ce spune acest lucru de starea Sistemului Energetic Național

ANALIZĂ Eliminarea facilităților fiscale începe să se vadă în venituri. Cum au scăzut salariile medii nete în ianuarie 2025 în domeniile vizate? IT-ul, cel mai bine plătit sector din piața muncii din România, a marcat un minus de 700 de lei de la o lună la alta – GRAFIC

Analiză. Statele Unite au ieșit „șifonate” din ultimele războaie comerciale cu China. Un nou conflict tarifar aduce noi riscuri pentru economia americană, în era AI

ANALIZĂ Antreprenoriat feminin în România: Doar una din 15 femei intenționează să demareze o afacere/ Avem un antreprenoriat de subzistență mai degrabă decât unul bazat pe inovație/ Digitalizarea aduce oportunități

ANALIZĂ România are o rată a șomajului ridicată în rândul tinerilor, de 25%, considerabil peste media UE/ Care sunt motivele, ce locuri de muncă pot găsi totuși aceștia și ce salarii se oferă?

ANALIZĂ Șantiere pentru verde: Mai multe orașe din România au în derulare proiecte de parcuri în 2025. Cum arată acestea și cât costă realizarea lor?

GRAFIC Evoluția cheltuielilor de apărare în România, țară cu război la graniță, și la vecini în ultimii 10 ani. Economiști: România a cheltuit doar aproximativ 42% din bugetul de apărare pe echipamente și infrastructură militară/ Deficitul bugetar limitează spațiul de manevră pentru creșterea cheltuielilor

ANALIZĂ De ce e importantă Germania pentru economia României? Este cel mai mare investitor străin în țara noastră și principalul partener comercial

GRAFIC Mii de angajați își pierd locul de muncă la început de 2025, după o creștere de 50% a concedierilor în 2024 / Harta concedierilor colective din România: cele mai afectate județe și sectoare

ANALIZĂ Peisaj din sectorul industrial, într-un an care a început cu reorganizări și concedieri în fabrici. Consultanți: Companiile sunt interesate de reducerea spațiilor și optimizare/ Unii jucători și-au diminuat suprafețele sau au renunțat la unități, dar vin și jucători noi

ANALIZĂ Cât a alocat statul și cât a cheltuit Armata română în ultimii ani pentru apărare. Pregătirile României nu s-au ridicat la nivelul țărilor NATO și UE din regiune

GRAFIC. Cum arată cheltuielile, veniturile și impozitele din România față de cele ale vecinilor din UE. Analiză Romanian Economic Monitor: Instabilitatea politică internă și presiunile economice externe, provocările semnificative pentru bugetul pe 2025

Analiză. Șantierele sportului în 2024: Peste 100 de proiecte, de sute de milioane de lei, au fost finalizate anul trecut. Care sunt cele mai mari investiții în derulare în acest an?

La vremuri noi tot noi: Posturi importante din companii sau agenții de sub umbrela statului, ocupate de clienți vechi ai funcțiilor publice

FOTO Topul aeroporturilor din România în funcție de trafic și inaugurările de proiecte noi așteptate în 2025

ANALIZĂ Bilanț „negru” în companiile prezente în România: Concedieri pe bandă rulantă chiar de la început de an

Cum se conturează piața IT în 2025? Andrei Kelemen, CEO al clusterului Cluj IT: An de tranziție, cu posibile noi concedieri, mai puține angajări, dar și oportunități/ Bianca Muntean, Transilvania IT: “Inovarea devine nu doar o opțiune, ci o necesitate. Va fi anul în care accentul trebuie să cadă pe dezvoltarea de produse proprii”

Cum se prefigurează 2025 pe piața muncii? Previziunile platformelor de job-uri: Vor fi foarte căutați specialiștii în AI, muncitorii calificați, inginerii/ Scăderi de salarii pentru sectoarele rămase fără facilități fiscale

ANALIZĂ. Antreprenori români în expansiune: Marile achiziții ale capitalului românesc din 2024 în țară și în regiune

GRAFIC Calendarul economic al anului. Evenimente și date-cheie în 2024: Încetinirea creșterii economice, deficit bugetar major, cea mai mare inflație din UE, dar încetinită, alegeri cu impact în economie și, pe final, o ordonanță care afectează puternic mediul de afaceri/ Am intrat în Schengen, am depășit Ungaria și am ajuns Polonia la un indicator important

Ce lucruri bune s-au întâmplat în economia României în 2024: Număr record de kilometri de autostrăzi inaugurate, intrăm în sfârșit în Schengen

ANALIZĂ 2024, an de miliarde pe piața de fuziuni și achiziții. Tranzacții majore în retail, energie și sectorul bancar, și chiar și în fotbal: Mega Image, Banca Transilvania și MVM, o parte dintre actorii care marchează achiziții semnificative

ANALIZĂ. Topul companiilor de bricolaj din România / O să reușească Altex să schimbe regulile jocului în 2025 după ce va achiziționa retailerul de bricolaj Brico Dépôt România?

ANALIZĂ. Împrumuturile din acest an ale Guvernului au depășit 225 de miliarde de lei / Din 2025, România intră în zodia ajustării fiscale

Iar creatorul ChatGPT nu știe de ce se întâmplă acest lucru.

În raportul său tehnic pentru o3 și o4-mini, OpenAI scrie că „este nevoie de mai multe cercetări” pentru a înțelege de ce halucinațiile se înrăutățesc pe măsură ce modelele de raționament cresc. O3 și o4-mini au performanțe mai bune în anumite domenii, inclusiv sarcini legate de codificare și matematică. Dar, deoarece acestea „fac mai multe afirmații în general”, sunt adesea conduse să facă „afirmații mai exacte, precum și afirmații mai inexacte / halucinate”, conform raportului.

OpenAI a constatat că o3 a avut halucinații ca răspuns la 33% din întrebările de pe PersonQA, punctul de referință intern al companiei pentru măsurarea preciziei cunoștințelor unui model despre oameni.
Aceasta reprezintă aproximativ dublul ratei de halucinații a modelelor de raționament anterioare ale OpenAI, o1 și o3-mini, care au obținut scoruri de 16% și, respectiv, 14,8%. O4-mini a avut rezultate și mai slabe la PersonQA – a avut halucinații în 48% din cazuri.

Testele efectuate de Transluce, un laborator non-profit de cercetare în domeniul inteligenței artificiale, au arătat, de asemenea, că o3 are tendința de a inventa acțiunile pe care le-a întreprins în procesul de obținere a răspunsurilor. Într-un exemplu, Transluce a observat o3 susținând că a rulat cod pe un MacBook Pro 2021 „în afara ChatGPT”, apoi a copiat numerele în răspunsul său. Deși o3 are acces la unele instrumente, nu poate face asta.

Sarah Schwettmann, co-fondator al Transluce, a adăugat că rata de halucinații a lui o3 îl poate face mai puțin util decât ar fi altfel.

Kian Katanforoosh, profesor adjunct la Stanford și CEO al startup-ului Workera, a declarat pentru TechCrunch că echipa sa testează deja o3 în fluxurile lor de lucru de codare și că au constatat că este cu un pas peste concurență.

Halucinațiile pot ajuta modelele să ajungă la idei interesante și să fie creative în „gândirea” lor, dar ele fac, de asemenea, ca unele modele să fie greu de vândut pentru întreprinderile de pe piețele în care acuratețea este primordială. De exemplu, o firmă de avocatură probabil că nu ar fi mulțumită de un model care introduce o mulțime de erori factuale în contractele cu clienții.

O abordare promițătoare pentru a spori acuratețea modelelor este de a le oferi capacități de căutare pe internet. GPT-4o de la OpenAI cu căutare pe internet atinge o precizie de 90% în SimpleQA, un alt criteriu de referință al OpenAI în materie de precizie. Potențial, căutarea ar putea îmbunătăți, de asemenea, ratele de halucinație ale modelelor de raționament – cel puțin în cazurile în care utilizatorii sunt dispuși să expună indicațiile unui furnizor de căutare terț.
Dacă extinderea modelelor de raționament continuă într-adevăr să agraveze halucinațiile, căutarea unei soluții va deveni cu atât mai urgentă.

„Abordarea halucinațiilor în toate modelele noastre este un domeniu de cercetare în curs de desfășurare și lucrăm continuu pentru a le îmbunătăți acuratețea și fiabilitatea”, a declarat purtătorul de cuvânt al OpenAI, Niko Felix, într-un e-mail trimis TechCrunch.

Articolul integral AICI