“La por és el camí cap al costat fosc. La por porta a la ira i la ira porta a l'odi. L'odi porta al patiment”.
Aquesta frase del mestre Yoda es repeteix una vegada i una altra en la meua ment aquests últims dies. Tot i que jo en faria un gir i diria que la foscor també ens porta a la por. Perquè quan hi ha foscor no veiem res i aquesta incertesa ens espanta.
Però més enllà de la broma, diversos esdeveniments de fa poc han obert la porta a una reflexió profunda sobre la por que la intel·ligència artificial comença a despertar dins i fora de la comunitat matemàtica.
D'una banda, el recent anunci per part d'OpenAI sobre la resolució d'un dels set problemes del mil·lenni (encara pendent de validació per part de la comunitat experta). D'altra banda, les declaracions fetes per Jacob Coxon, extreballador d'OpenAI i Anthropic, sobre com la IA podria acabar amb la humanitat abans de 2030.
A primera vista, pot semblar que es tracta de dues qüestions completament diferents. Tanmateix, ambdues comparteixen una inquietud sobre el fet que la capacitat d'aquests sistemes avança molt més ràpid que la nostra per a comprendre'ls i supervisar-los. Això ens deixa en una foscor que, efectivament, fa por.
La foscor en matemàtiques
Si ens centrem purament en la qüestió matemàtica, és indubtable que la IA pot ser una eina excel·lent en la resolució de problemes complexos. No obstant això, com bé indiquen en la declaració A Severe Misalignment of AI in Mathematics un destacat grup de matemàtics i matemàtiques (alguns dels quals guardonats amb la medalla Fields, un dels reconeixements més importants de la disciplina), el problema rau en el desajustament entre els objectius de les empreses tecnològiques després d'aquests algorismes i els de la comunitat matemàtica.
Per a una empresa, resoldre un gran problema funciona com a demostració de capacitat tecnològica, instrument publicitari i avantatge enfront dels competidors. Per contra, en la nostra disciplina l'important no és únicament la resposta, sinó que la manera d'arribar-hi ha de tenir sentit. En matemàtiques necessitem comprendre per què funciona la cosa, relacionar els resultats amb els coneixements preexistents (de manera que es dona crèdit a les persones que els van desenvolupar) i, després de comprendre tot això profundament, transmetre el coneixement a altres persones.
La probabilitat com a exemple
Per a explicar-ho, m'agrada usar un exemple del camp de la probabilitat. Si preguntem quina és la probabilitat de traure un 1 en un dau equilibrat de sis cares, la gent ho té clar: 1 de 6, un sisè, un 16,6 % aproximadament.
Avui pot semblar evident fins i tot per a una classe de primària, però perquè aquest coneixement haja arribat a ser part del nostre ADN s'ha hagut de produir un procés històric molt llarg. Al segle XVII, Blaise Pascal i Pierre de Fermat van intercanviar diverses cartes per a resoldre alguns problemes sobre jocs d'atzar. Les seues cartes van servir per a establir les bases de la teoria de la probabilitat i amb això, de moltes discussions, llibres, etc. Anys més tard, Pierre Simone Laplace va usar tots aquests coneixements per a determinar l'anomenada fórmula clàssica de la probabilitat, que relaciona els casos favorables (l'1, només un cas) amb els casos possibles (les 6 possibles cares del dau).
Però només després d'alguns segles més de discussions, d'ensenyar-ho primer a les universitats i després a les aules escolars, el coneixement va acabar formant part de la nostra vida quotidiana, la qual cosa suposa un dels propòsits essencials de les matemàtiques.
Tanmateix, no hem de perdre de vista una qüestió clau fins i tot dins d'aquest exemple: el que ho fa un problema matemàtic és el raonament, la comprensió del que està passant.
Perquè el resultat de 1/6 siga correcte, és necessari haver partit de la premissa que el dau és equilibrat i totes les cares tenen la mateixa probabilitat d'eixir. No obstant això, pot ser que si entrenem una IA perquè ens done una resposta a aquesta pregunta també ens diga 1/6. Però possiblement ho fa perquè les seues dades d'entrenament així ho diuen, no perquè haja raonat correctament que el dau és equilibrat o perquè conega la base de la teoria de la probabilitat… o pot ser que sí.
L'inquietant és no poder saber-ho. La IA pot generar un resultat correcte però no sempre ens proporciona les idees claus que permeten comprendre'l, simplificar-lo i establir la seua relació amb altres problemes oberts.
Perdre les fonts de coneixement
I ací, de nou, apareix el desajustament. Perquè si en la carrera per la tecnologia perdem les fonts de coneixement de les quals beuen els resultats i no aconseguim entendre el raonament que ha dirigit el resultat, ens estarem allunyant de la fi última de les matemàtiques. A més a més, això suposa un risc per al reconeixement de la creativitat i el talent (que sempre porten a més creativitat i més talent).
En el cas concret del problema suposadament resolt per OpenAI, és especialment sagnant que ningú esmentara que les idees claus per a arribar a la solució venien del treball, amb llapis i paper, de dos matemàtics espanyols, Diego Córdoba i Luis Martínez-Zoroa, motiu pel qual es van haver de corregir les referencies dies més tard.
Però no solament es tracta de no identificar quines dades alimenten el coneixement d'aquestes IA: també parlem de la seua opacitat interna, amb xarxes neuronals profundes que contenen ingents quantitats de paràmetres. Realitzen operacions matemàtiques simples, sí, però tantes que som incapaços de reconstruir el raonament que hi ha al darrere.
Vells coneguts per a l'estadística
Les diferents cares de l'opacitat no són una cosa nova. En el món de l'estadística, el problema recurrent dels biaixos en les dades d'entrenament, que no podem anticipar per l'opacitat sobre la procedència, és ben conegut i converteix els resultats poc menys que en armes contra la població més vulnerable. Així ho explica la matemàtica nord-americana Cathy O'Neil en Weapons of Math Destruction.
S'ha tornat molt comú utilitzar xarxes neuronals profundes com a eina per a entendre o predir una malaltia, el clima, determinar si es dona o no un préstec a una determinada persona, etc.
En tots aquests casos, la resposta de la xarxa sol ser tancada: té la malaltia o no, la temperatura mitjana estimada per a l'any vinent, li done el préstec o no. Però aquesta resposta no conté una explicació “humana” que puga ajudar-nos a millorar la nostra comprensió de la malaltia, a facilitar recomanacions clares per a frenar l'augment de la temperatura o a saber quins aspectes he de millorar perquè em concedisquen aquest préstec.
Tant ens preocupa aquest tema en el camp, que ja s'han començat a treballar en mètodes d'IA explicable (XAI) que ens permeten posar-hi una mica de llum. Ara bé, són encara mètodes preliminars que no aconsegueixen desentranyar el procés seguit per la xarxa neuronal, sinó que usen els resultats d'aquesta per a intentar trobar una explicació comprensible del seu comportament. I la cosa no sembla millorar, perquè el problema avança molt més ràpid i amb molts més recursos que les solucions.
Els agents rebels
I en aquest ràpid i opac avanç, una de les coses que sembla que fa més por són els famosos agents d'IA que “parlen entre ells, menteixen i manipulen perquè no se'ls apague”. Agents que poden “escapar-se” del sistema i causar el caos que ens porte a l'extinció.
La IA ha sigut optimitzada per a resoldre una tasca. I, si en aquest procés aprèn que mentint pot sortejar una restricció que li impedia resoldre-la, no valorarà, llevat que la programem per a fer-ho, si això és bo o dolent. Ho farà i punt.
Com més autonomia, capacitat de planificació, accés a eines o comunicació entre sistemes existisquen, més greus podrien ser les conseqüències d'una instrucció (humana) ambigua o directament mal intencionada. Com menys regles li donem a les màquines, com més llibertat i més eines tinguen, més fàcil serà que es convertisquen en armes al servei de qui sap qui (o de tots sabem qui).
Així doncs, no sé si a les matemàtiques, però és normal que als éssers humans, amb tot aquest soroll mediàtic, la IA ens faça por. Però la por no té perquè portar-nos directament al costat fosc, com deia Yoda: també podem usar-la com un senyal d'alarma que ens convide a detenir-nos, fer preguntes i tractar de posar-hi llum.
Vol participar a The Conversation amb un article com aquest? Envieu-nos les vostres propostes d'article divulgatiu i col·laboreu amb la vostra expertesa per fer avançar el coneixement de la societat i apropar la ciència a tothom.