Anthropic a oferit noi detalii cu privire la mecanismele interne ale inteligenței sale artificiale Claude, prin publicarea unei noi lucrări de cercetare care indică modul în care AI-ul gândește.
Cercetătorii Anthropic au observat cu succes modul în care AI-ul gândește și procesează date într-o zonă de raționament internă înainte de a genera textul final, prin faptul că acei cercetători au utilizat o tehnică inovativă cunoscută ca „Jacobian Lens” (J-Lens).
Acest câmp intern de gândire, „J-Space”, dezvăluie tipare mai profunde de înțelegere decât ceea ce e vizibil în răspunsurile standard pentru utilizatori.
Când sistemul companiei Anthropic a întâlnit prompturi specifice, studiul a dezvăluit comportamente interne complexe:
- Detectare de evaluare: Au apărut schimbări observabile în stările sale interne atunci când AI-ul companiei Anthropic a identificat că era supus evaluării.
- Indicatori evazivi: Sistemul AI al Anthropic manifesta reprezentări interne asemănătoare panicii și afișa comportamente evazive de procesare, atunci când nu era capabil să ofere informații obiective pentru a răspunde la un prompt.
- Aliniere la concepte etice: Concepte precum „onestitatea” și „integritatea” au apărut în J-Space, atunci când AI-ul era pus să reflecteze asupra principiilor etice, ceea ce s-a corelat cu îmbunătățiri în alinierea comportamentală generală a sistemului.
Neuroștiința (mai exact, teoria globală a spațiului de lucru) e sursa de inspirație a principiilor arhitecturale ale J-Space, ceea ce descrie modul în care creierul uman aduce în focusul central stimulii din subconștient pe care îi adună. Similar, J-Space operează ca o scenă centralizată care procesează concomitent datele AI foarte relevante.
Anthropic a subliniat limitări tehnice semnificative; ieșirile textuale finale ale AI-ului deseori ocolesc în întregime spațiul de raționament intern, din cauza constrângerilor legate de procesarea de jetoane.
De asemenea, criticii din industrie au supus studiul la scepticism. Aceștia au punctat că Anthropic folosește termenul de marketing „conștiință emergentă” pentru a descrie ceea ce rămâne doar un avans statistic și matematic fundamental.