Companiile de inteligență artificială caută metode pentru a reduce „halucinațiile” AI

Marile grupuri de inteligență artificială din lume își intensifică eforturile pentru a reduce numărul de „halucinații” în modelele de limbaj mari (LLM – large language model), în condițiile în care încearcă să rezolve unul dintre marile obstacole care limitează adoptarea acestei tehnologii puternice, potrivit Financial Times.

Google, Amazon, Cohere și Mistral se numără printre cei care încearcă să reducă rata acestor răspunsuri fabricate prin implementarea unor soluții tehnice, îmbunătățirea calității datelor din modelele AI și construirea de sisteme de verificare și fact-checking în toate produsele lor de AI generativă.

Demersul de reducere a așa-numitelor halucinații este considerat crucial pentru creșterea utilizării instrumentelor AI în industrii precum cea juridică și medicală, care necesită informații precise, și pentru a ajuta la creșterea veniturilor sectorului AI.

Analize Economedia

ANALIZĂ Economedia: Tot mai multe mașini chinezești, și noi și rulate, pe șosele românești

Analiză. Turbulențele din industria auto se văd din plin în România: Sute de concedieri anunțate în interval de numai câteva săptămâni de către companii active în acest sector în țara noastră

ANALIZĂ Se pregătește sezonul de admiteri. Ce taxe de studii percep universitățile și cât costă cazarea la cămine în marile centre din țară?

ANALIZĂ Cum se schimbă topul companiilor de curierat din România după ce Sameday a cumpărat Cargus / Primele 10 firme au afaceri de peste 5 miliarde de lei

ANALIZĂ Produse românești în supermarketuri: Marile lanțuri de retail spun că au sute de parteneri locali. Care sunt produsele cu cea mai mare acoperire locală?

Analiză. Cum arată industria automotive din România, un sector marcat acum de turbulențe majore: Țara noastră are un număr mare de companii active, Germania e cel mai mare investitor străin/ Forța de muncă a scăzut, iar costurile sunt în creștere

Șantiere de vară: Piața piscinelor, în expansiune/ Cât costă un astfel de proiect?

ANALIZĂ Prăpastia dintre tinerii români și angajatori. De ce are România cea mai ridicată rată de șomeri până în 25 de ani din UE / Claudia Indreica, Psihoselect: „Companiile nu mai au timp să instruiască”

ANALIZĂ Primăvară cu fabrici noi: Care sunt companiile care au anunțat investiții în producție în România

ANALIZĂ Ce înseamnă procedura de suspendare a fondurilor UE dacă George Simion ajunge preşedinte / În cazul victoriei lui Nicuşor Dan există posibilitatea unei amânări a procedurii

ANALIZĂ De 9 Mai, ziua Europei. Cum a evoluat economia României, de 18 ani în “familia” UE: Salariile s-au triplat, PIB-ul pe cap de locuitor (PPP) a depășit Ungaria, țara noastră a primit peste 100 de miliarde de euro fonduri UE

ANALIZĂ. Care sunt efectele deprecierii leului și cine suferă

ANALIZĂ Marele blackout din Spania și Portugalia. Cele două țări iberice plătesc prețul dezvoltării exagerate din regenerabile și insularizării rețelei / Cum stă România

ANALIZĂ Efervescență pe piața dealerilor auto din România: de la consolidări la intrări străine surpriză

GRAFIC Schimbare nemaivăzută în istoria comercială a SUA din ultimii 100 de ani. Analiză Romanian Economic Monitor: Majorarea agresivă a tarifelor vamale de către SUA va avea un impact major asupra tuturor economiilor implicate. Date despre relațiile comerciale România-SUA și posibilele efecte în țara noastră

Analiză „la cald”. Ce impact vor avea taxele vamale americane pentru România?

ANALIZĂ Val de restaurante, cofetării și cafenele noi în România. Apar și food-hall-urile/ Piața devine mai competitivă, iar specialiștii se așteaptă să apară noi concepte, inclusiv francize internaționale

ANALIZĂ Memento: Cum a arătat criza economică izbucnită în 2009 în România, venită tot din SUA / Au fost necesare măsuri dure de austeritate pentru redresare / Ca și acum, economia avea dezechilibre majore / Analiștii avertizează că politicile lui Trump împing Statele Unite în recesiune

ANALIZĂ Juniori pe piața muncii în IT-ul lovit de turbulențe. Experiențe de candidați: „Aproape orice postare pe LinkedIn are peste 100 de aplicanți”/ „În cazul în care nu ai absolvit o facultate, angajatorii nici nu te mai bagă în seamă”

ANALIZĂ Piața hotelieră, în vizorul dezvoltatorilor: Unități de jumătate de miliard de euro ar urma să fie inaugurate în următorii trei ani/ Care sunt marile branduri așteptate

ANALIZĂ Oul românesc: Producția anuală, peste 145.000 t / Locul 8 în Uniunea Europeană, la numărul de găini ouătoare, deși procentual România se situează sub 3% / Care sunt piețele principale

ANALIZĂ Ce s-a întâmplat pe piața RCA în ultimii 10 ani / Cât ne-au costat și cât ne costă falimentele: Prețul unei asigurări RCA a crescut de aproape 3 ori în perioada 2021-2024

ANALIZĂ De la export masiv de energie la import masiv, în nici 7 ore. Amplitudine de 3.700 MW într-o zi și ce spune acest lucru de starea Sistemului Energetic Național

ANALIZĂ Eliminarea facilităților fiscale începe să se vadă în venituri. Cum au scăzut salariile medii nete în ianuarie 2025 în domeniile vizate? IT-ul, cel mai bine plătit sector din piața muncii din România, a marcat un minus de 700 de lei de la o lună la alta – GRAFIC

Analiză. Statele Unite au ieșit „șifonate” din ultimele războaie comerciale cu China. Un nou conflict tarifar aduce noi riscuri pentru economia americană, în era AI

ANALIZĂ Antreprenoriat feminin în România: Doar una din 15 femei intenționează să demareze o afacere/ Avem un antreprenoriat de subzistență mai degrabă decât unul bazat pe inovație/ Digitalizarea aduce oportunități

ANALIZĂ România are o rată a șomajului ridicată în rândul tinerilor, de 25%, considerabil peste media UE/ Care sunt motivele, ce locuri de muncă pot găsi totuși aceștia și ce salarii se oferă?

ANALIZĂ Șantiere pentru verde: Mai multe orașe din România au în derulare proiecte de parcuri în 2025. Cum arată acestea și cât costă realizarea lor?

GRAFIC Evoluția cheltuielilor de apărare în România, țară cu război la graniță, și la vecini în ultimii 10 ani. Economiști: România a cheltuit doar aproximativ 42% din bugetul de apărare pe echipamente și infrastructură militară/ Deficitul bugetar limitează spațiul de manevră pentru creșterea cheltuielilor

ANALIZĂ De ce e importantă Germania pentru economia României? Este cel mai mare investitor străin în țara noastră și principalul partener comercial

Aceasta vine în contextul în care erorile chatboturilor au dus deja la greșeli costisitoare și litigii. Anul trecut, un tribunal a obligat compania Air Canada să onoreze o reducere pe care chatbotul lor de servicii pentru clienți a inventat-o, iar avocații care au folosit instrumente AI în documente judiciare au fost sancționați după ce modelele au inventat citări.

Totuși, experții AI avertizează că eliminarea completă a halucinațiilor din modelele de limbaj mari este imposibilă din cauza modului în care funcționează aceste sisteme.

„Halucinațiile sunt o problemă foarte dificil de rezolvat din cauza naturii probabilistice a modului în care funcționează aceste modele. Nu le vei putea face niciodată să nu halucineze”, a spus Amr Awadallah, fost director la Google și fondator al Vectara, o companie startup cu agenți de AI generativă.

Aceste erori apar din cauză că acest modele sunt concepute pentru a prezice următorul cuvânt, cel mai probabil, într-o propoziție, pe baza statisticilor învățate din datele lor de antrenament.

Aceste greșeli pot apărea fie sub forma unor inexactități factuale, fie sub forma unei nepotriviri cu instrucțiunile, de exemplu, rezumând evenimente din anul greșit. Ce date intră în setul de antrenament al unui model AI contează, deoarece cu cât o informație apare mai des, cu atât este mai probabil ca modelul să o repete.

Cât de mult halucinează modelele?

Cantitatea de halucinații ale modelelor AI variază semnificativ. Vectara, care a creat un clasament ce urmărește aceste erori, a constatat că unele pot halucina doar 0,8% din timp, în timp ce altele până la 29,9%, atunci când li se cere să rezume un document.

Rata halucinațiilor a crescut inițial odată cu o nouă generație de modele AI care sunt capabile să „raționeze”, adică să rezolve probleme pas cu pas. Acest lucru se întâmplă probabil pentru că acestea repetă intern mult mai mult pentru a rezolva problemele în moduri diferite, ceea ce duce la o probabilitate mai mare de a face greșeli, a spus Awadallah. Totuși, rata halucinațiilor a scăzut ulterior, pe măsură ce companiile au învățat cum să construiască măsuri de protecție mai bune pentru aceste modele, a adăugat el.

Dar cercetările sale au arătat că atunci când sistemele AI sunt „ancorate” în alte surse de informații, cum ar fi căutări online, articole de presă sau documente interne ale companiilor, în loc să se bazeze doar pe datele lor de antrenament, numărul erorilor se reduce semnificativ.

Clasamentul Vectara evaluează cât de frecvent modelele halucinează informații care nu se află în materialul-sursă atunci când rezumă un document. Grupurile AI s-au concentrat pe această abordare „ancorată” pentru a identifica cele mai bune metode de reducere a halucinațiilor cât mai mult posibil.

O tehnică comună folosită de laboratoare se numește „generare augmentată prin regăsire” (retrieval-augmented generation, RAG), care caută informații din surse externe, ce pot fi folosite pentru a verifica afirmațiile făcute de sistemele AI.

Chatboturile de la companii precum Cohere, Mistral, Google DeepMind, OpenAI și Anthropic oferă citări care arată utilizatorilor sursele pe care le-au folosit pentru a-și baza textele generate.

Permițând modelelor AI să caute informații pe internet le face, de asemenea, susceptibile la un atac numit „injecție de prompt”, a spus Awadallah de la Vectara.

Aceasta este situația în care o terță parte poate insera informații false în locuri în care modelele își verifică informațiile, cum ar fi site-uri web, Reddit sau Wikipedia. Aceste informații pot determina modelul AI să prezinte informații false ca fiind reale sau să ignore măsurile sale de protecție și să „se comporte necorespunzător”.