In modo disomogeneo e non così diffuso come molti raccontano, un numero crescente di persone e di aziende fa ricorso ogni giorno a strumenti di IA generative e ai modelli LLM. Interrogarsi su benefici ed effetti di questi comportamenti può risultare utile, forse anche interessante.
E’ ciò che ha fatto un gruppo di ricercatori con lo studio “Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task”, pubblicato su Arxiv.org.
Lo studio si è concentrato sull’individuazione del costo cognitivo derivante dall’utilizzo di un LLM on un contesto particolare, quello legato alla scrittura di un saggio. 54 persone coinvolte sono state divise in tre gruppi: LLM, Motore di ricerca, solo cervello umano. Ogni persona ha utilizzato uno strumento prestabilito (nessuno strumento nel caso dell’uso del solo cervello), per scrivere un saggio. Dopo tre sessioni di lavoro così organizzate, la quarta ha imposto al gruppo che aveva usato gli LLM di non utilizzare alcuno strumento e a quelli che si erano limitati a usare il loro cervello di usare gli LLM.
L’attività di tutti i partecipanti è stata registrata attraverso l’applicazione di un ECG per verificare il coinvolgimento e il carico cognitivo e comprendere le attivazioni neurali coinvolte. Applicando l'analisi NLP ogni persona è stata intervistata per elaborare una valutazione con l’aiuto di insegnanti umani e un giudice AI appositamente creato.
some of the most striking observations in our study: Brain-to-LLM participants showed higher neural connectivity than LLM Group's
Ciò che è emersa è una omogeneità costante: i gruppi presentavano modelli di connettività neurale significativamente diversi riflettenti strategie cognitive divergenti. Con il crescere di un supporto esterno si riduce la connettività cerebrale: massima per chi ha usato solo il cervello, debole per chi ha usato LLM. Nella sezione quattro i partecipanti al gruppo solo-cervello hanno mostrato una maggiore capacità di richiamo mnestico e un rinnovato coinvolgimento di nodi occipito-parietali e prefrontali diffusi. Rispetto al gruppo solo-cervello, gli altri hanno mostrato un basso livello di appropriazione dei saggi, ritardi nella capacità di citare i saggi scritti pochi minuti prima, una diminuita capacità di apprendimento.
Benchè inizialmente l’uso degli LLM sembrasse avere dei benefici, i partecipanti del gruppo LLM hanno ottenuto i risultati peggiori. Risultati interessanti si sono evidenziati anche nella quarta sessione. Il gruppo solo-cervello passato a usare gli LLM ha avuto interazioni cerebrali più estese. Al contrario il gruppo solo-LLM passato a solo-cervello ha evidenziato una maggiore difficoltà: sforzo neurale meno coordinato, distorsioni nel vocabolario dell’LLM.
Lo studio qui brevemente riassunto è corposo, ricco di tabelle, dati e informazioni.
Per leggerlo: https://lnkd.in/dKamVdep
Per ora è disponibile in formato di bozza e aperto a tutti.
Nel caso in cui venisse pubblicato su qualche rivista scientifica il suo accesso sarebbe limitato.