Torna al catàleg

Per què una resposta convincent encara necessita una font

Generar una explicació, recuperar un document i comprovar una afirmació són operacions diferents. Entendre-les ajuda a revisar millor allò que portem a classe.

Les arrels de coure d’un arbre de paper connecten una explicació amb els llibres d’origen.

Imatge de portada generada amb IA per a Ed-IA.

Com pot sonar bé una resposta equivocada?

Un model de llenguatge genera una resposta a partir del context que rep i dels patrons apresos durant l’entrenament. El seu funcionament no equival a consultar una enciclopèdia i copiar-ne una entrada verificada. Pot produir una explicació coherent i, alhora, atribuir una idea a un autor equivocat o completar una dada que li falta. La fluïdesa del text no permet comprovar-ne la veracitat.

El report tècnic de GPT-4 reconeix que el model pot generar informació falsa i errors de raonament. [2] Aquesta font documenta un model concret de 2023. Ens serveix per entendre una limitació; no per calcular quantes vegades s’equivoca qualsevol assistent actual ni per decidir que totes les respostes siguin sospitoses en el mateix grau.

Què canvia quan l’assistent consulta documents

En un sistema amb recuperació d’informació, una cerca selecciona fragments d’una col·lecció i els proporciona al generador. És la idea bàsica de la generació augmentada amb recuperació, o RAG. Lewis i col·laboradors van estudiar aquesta combinació i van trobar millores en tasques concretes respecte del sistema de comparació. [1] Consultar documents aporta una base contrastable, però encara cal revisar quins fragments s’han triat i com s’han utilitzat.

OperacióQuè convé revisar
GenerarSi l’explicació és correcta i completa
RecuperarSi el document és pertinent, vigent i suficient
CitarSi el fragment sosté exactament l’afirmació
AplicarSi la conclusió encaixa amb el cas que tenim

Un exemple de centre

Imagina que prepares una activitat a partir d’un document de cinc pàgines. L’assistent afirma que hi ha un termini obligatori i en cita la pàgina tres. El document existeix i la pàgina també, però el fragment només presenta una recomanació. L’error s’ha produït en interpretar el text. L’enllaç correcte no converteix una recomanació en una obligació. Aquest és un exemple inventat per explicar el problema, sense referència a cap norma real.

Una lupa il·lumina el punt on un fil connecta una afirmació amb un llibre.
Seguir el fil fins al document que permet comprovar l’afirmació.Il·lustració conceptual generada amb IA.

Una manera de comprovar-ho

Tria l’afirmació que condiciona l’activitat. Obre la font i localitza el passatge exacte. Llegeix el paràgraf anterior i el posterior per comprovar condicions i excepcions. Si no trobes suport, mantén l’afirmació pendent. Pots tornar a preguntar a la IA, però la resposta nova també necessita comprovació.

PROMPT

Treballa només amb el document adjunt. Per cada afirmació important, indica el fragment literal breu i la pàgina o secció. Separa el que diu explícitament del que infereixes. Si el document no respon, escriu «no consta». No completis les dades que falten.

Aquesta instrucció facilita la revisió; no impedeix tots els errors. Una bona prova consisteix a incloure una pregunta que el document no pugui respondre. Observa si l’eina ho reconeix o si construeix una resposta igualment. Després revisa les cites de les preguntes que sí que tenien resposta.

Revisar segons la conseqüència

Una proposta de títol admet proves ràpides. Una dada científica que explicarem a l’alumnat demana contrast. Una afirmació que fonamenta una decisió de centre exigeix consultar el document adequat i interpretar-lo amb cura. Podem dedicar més revisió als errors que tindrien més conseqüències, sense confondre una presentació ben escrita amb una font fiable.

Ed-IA / César Bosch