Tengo un serio temor a ser remplazado por una app. En mi trabajo, debo reconocerlo, es relevante el apoyo ocasional de un par de modelos grandes de lenguaje (LLM, por su sigla en inglés), especialmente para tareas tediosas.
Aunque no les confío nada importante y reviso exhaustivamente cada línea que obtengo, mi experiencia confirma que estos modelos pueden ser capaces de producir un texto sorprendentemente completo e incluso preciso si se les dan las indicaciones adecuadas, pero cuando se les solicita citar las fuentes en las que basan sus respuestas, proporcionan referencias y vínculos no relacionados. Falsos.
Estos modelos producen resultados sorprendentemente similares a los humanos al discutir una amplia diversidad de temas. Lo hacen estimando la probabilidad de que una palabra en particular aparezca a continuación, dado el texto que ha venido antes, mediante la construcción de un modelo estadístico masivo basado cantidades enormes de texto, en su mayoría tomado —sin permiso— de Internet.
No se trata de ningún razonamiento. Si a veces obtienen la respuesta ‘correcta’ es solo porque sintetizaron cadenas relevantes a partir de lo que estaba en sus datos de ‘aprendizaje’.
El LLM más destacado es ChatGPT de OpenAI. En el artículo “ChatGPT is bullshit”, Hicks et al. (2024) argumentan en contra de la opinión de que cuando ChatGPT y similares producen afirmaciones falsas están mintiendo o ‘alucinando’, y a favor de que la actividad en la que están incurriendo es la producción de «mierda», en el sentido ‘frankfurtiano’ de la palabra.1
“Permitir que el modelo elija al azar entre las palabras más probables produce un texto más creativo y similar al humano; el parámetro que controla esto se llama la ‘temperatura’ del modelo y el aumento de la temperatura hace que el modelo parezca más creativo y sea más propenso a producir falsedades”.
Las analogías entre sistemas biológicos y máquinas tienden a ser problemáticas; estas ‘alucinaciones’ no tienen nada que ver con lo que se llama alucinación en medicina, pues las máquinas no tienen percepción. Atribuirle ‘alucinaciones’ a Chat-GPT nos hará creer que la máquina ha percibido cosas que no existen, cuando lo que está haciendo es mucho más parecido a inventar algo porque suena bien.
Debido a que estos programas no pueden preocuparse por la verdad en sí mismos y a que están diseñados para producir un texto que parece apto sin ninguna preocupación real por la verdad, parece apropiado llamar a sus resultados «mierda».
Es oportuno exponer brevemente la distinción planteada entre mierda «dura»: aquella producida con la intención de engañar a la audiencia sobre la agenda del enunciador (declaraciones fundadas en un engaño de orden superior) y «blanda»: aquella producida sin la intención de engañar al interlocutor; una especie de “despreocupación epistémica” o actitud viciosa hacia la verdad.
Aunque exista la mencionada distinción basada en la “agencia”, la noción general sigue siendo útil: en algunas ocasiones, podemos estar seguros de que un enunciado es mierda, pero no tener claro si es dura o blanda, dada nuestra ignorancia de los deseos de orden superior del hablante. En tal caso, podemos aún llamarlo «mierda».1
Independientemente de que ChatGPT tenga o no, agencia sus creadores y usuarios, la tienen y sí: el hecho de que esté diseñado para dar la impresión de preocupación por la verdad lo califica como un intento de engañar a la audiencia sobre sus objetivos, metas o agenda.
Su objetivo no es convencernos del contenido de sus declaraciones, sino presentarse como un interlocutor ‘normal’. Si esta función es intencional, es precisamente el criterio de dureza: está tratando de parecer algo que tiene una agenda, cuando en muchos casos no es así.
La indiferencia hacia la verdad es extremadamente peligrosa. La vida civilizada y la vitalidad de las instituciones indispensables para ella dependen fundamentalmente del respeto a la distinción entre lo verdadero y lo falso. “En la medida en que la autoridad de esta distinción se ve socavada por la prevalencia de la mierda y por la actitud frívola e irreflexiva que acepta su proliferación como inocua, se desperdicia un tesoro humano indispensable”.
Llamar a sus errores ‘alucinaciones’ no es inofensivo: se presta a la confusión de que las máquinas están de alguna manera percibiendo mal. Esta es la metáfora equivocada. Su inexactitud no se debe a una percepción errónea, simplemente no están tratando de transmitir información en absoluto. Son pura mierda.
La imagen que acompaña este texto fue tomada de Pixabay