Entrevista a David Weinberger"La inteligencia artificial puede repetir los sesgos, o incluso amplificarlos"

La necesidad de abordar la tecnología y su impacto en nuestras vidas necesita ser abordada desde todos los puntos de vista que podamos imaginar. David Weinberger, tecnólogo y doctor en Filosofía por la Universidad de Toronto (Canadá), reflexiona sobre lo que podemos esperar de la inteligencia artificial y el aprendizaje automático.

De visita en el MediaLab de Madrid (en el marco de la Semana de la Ciencia y la Innovación), Weinberger —coautor del célebre Manifiesto Cluetrain, de 1999, sobre cómo funcionaría la conversación en internet— ahora investiga en el Berkman Klein Center for Internet & Society de la Facultad de Derecho de Harvard.

A continuación será ponente en el Foro de la Cultura de Burgos (del 9 al 11 de noviembre), en donde tratará de abordar la cuestión de si seremos capaces de controlar la inteligencia artificial. Weinberger responde para los lectores de Público a una serie de cuestiones acerca de la creciente automatización de nuestro entorno.

¿Realmente queremos que las máquinas tomen decisiones por nosotros?

La inteligencia artificial es capaz de hacer evaluaciones probabilísticas de cómo clasificar las cosas, por tanto puede hacer predicciones probabilísticas. Dependerá de la situación concreta si queremos que realice esas evaluaciones sin intervención humana.

Solemos usar simples ordenadores de esta forma todo el rato. Hay un millón de ejemplos, como convertir la escritura a mano en letras. Ahora, la inteligencia artificial en forma de aprendizaje automático está haciendo lo mismo. La diferencia es que hasta ahora los humanos tenían que decirles a las máquinas qué buscar para identificar la escritura a mano: si ve una línea vertical con un punto encima, esa es una "i", etc.

"En muchos casos, el aprendizaje automático funciona mejor que la forma antigua de programar estas reglas"

Con el llamado "machine learning" no necesitas introducir en el ordenador ese tipo de reglas, sino que se alimenta de miles de ejemplos de escritura a mano y descubre los patrones que se corresponden, estadística y probabilísticamente, a las letras. Resulta que, en muchos casos, el aprendizaje automático funciona mejor que la forma antigua de programar estas reglas. No hay ningún problema ético en particular con esto, ¿verdad? Tampoco veo que exista ninguna decisión en sentido literal.

Del mismo modo, si un sistema de aprendizaje automático le dice a su médico que usted tiene un 63% de probabilidades de desarrollar diabetes, la máquina no está tomando una decisión: nos está alertando de una probabilidad estadística. Usted —más bien, su médico— decidirá qué quiere hacer al respecto, tal como lo haría si hubiera notado un aumento en el nivel de azúcar en la sangre, que podría indicar una susceptibilidad a padecer diabetes.

Existe, por supuesto, una amplia gama de casos. Para el análisis de escritura a mano, las preguntas son relativamente fáciles.También para la inteligencia artificial que traza las rutas para que un automóvil llegue a un destino. Pero también es posible la inteligencia artificial para actuar sin intervención humana. Los ordenadores —ojo, no la inteligencia artificial, que yo sepa— aterrizan aviones con bastante frecuencia; los pilotos a veces no intervienen porque las máquinas suelen ser mejores que los humanos para esa tarea. Ése es un caso en el que habitualmente permitimos que una computadora "decida" un asunto. Digo "decidir" entre comillas porque las computadoras no son conscientes y, por lo tanto, no pueden decidir nada.

Del mismo modo, permitiremos que la inteligencia artificial conduzca nuestros coches si la inteligencia artificial lo hace mejor que los humanos; por ejemplo, los vehículos sin conductor pueden actuar sobre de datos recogidos en un rango de 360 grados y su tiempo de reacción es mucho mejor que el de los humanos. Así pues, permitiremos que existan los coches sin conductor si en las pruebas y en un despliegue cuidadosamente monitoreado resultan ser más seguros que los vehículos con conductor humano.

¿Queremos, por ejemplo, que la inteligencia artificial determine las sentencias judiciales?

Bueno, podemos decidir no hacerlo porque creamos que disminuirá la confianza en el sistema judicial. Por otro lado, los jueces humanos son propensos a sesgos —al fin y al cabo, como todos— y, por tanto, podría ser que la inteligencia artificial sea más justa en ciertas sentencias. Personalmente, creo que vamos a tener problemas para aceptar un sistema de inteligencia artificial en el ámbito de la jusricia; su uso en el sistema judicial de los Estados Unidos es problemático, por decirlo de alguna manera.

Mi punto de vista es que dejaremos que la inteligencia artificial tome "decisiones" por nosotros cuando los resultados sean mejores que los surgidos de las decisiones humanas, y somos los humanos los que podremos decidir qué consideramos como "mejores decisiones". Esto no es nada inusual en la historia de la computación. Variará según el entorno y la aplicación, y dependerá de muchos factores.

Puedo ver que las compañías y los expertos nos "venden" algoritmos como algo "blanco", inofensivo, pero en general el mundo del software es oscuro, no transparente. ¿Qué piensa sobre esto? ¿Cómo puede alguien decidir si algún sistema de inteligencia artificial es preciso o no antes de los resultados de su comportamiento?

Existe una controversia entre los científicos informáticos sobre si la inteligencia artificial tiene que ser opaca, y hay mucha investigación sobre cómo hacerla más transparente. Pero, por el momento, supongo (y no soy científico informático) que al menos algunos sistemas van a generar resultados a través de procesos que son simplemente demasiado complejos para que la mente humana los comprenda. Puede haber aplicaciones en las que queramos insistir en que sean transparentes, incluso si eso significa que sus resultados sean menos precisos.

Imaginemos, por un momento, que los coches sin conductor son controlados por la "caja negra" de inteligencia artificial, es decir, por unos modelos que los humanos no pueden entender. Pensemos, además, a raíz de ello las muertes en el tráfico disminuyen en un 90% (una estimación común que podría estar muy equivocada). Ahora, imaginemos que hacer que la inteligencia artificial sea "comprensible" se traduce en una reducción de las muertes sólo en un 50%. Eso significaría que miles de vidas que se hubieran salvado se pierden. ¿Querríamos, como sociedad, hacer ese intercambio entre transparencia y salvar vidas? Creo que no lo haría, pero esta es una pregunta que tendremos que responder.

"Insistir en la transparencia de los algoritmos no es la única forma de controlar la inteligencia artificial"

Sin embargo, insistir en la transparencia de los algoritmos no es la única forma de controlar la inteligencia artificial. Por ejemplo, en algunos casos, podríamos controlarla insistiendo en la transparencia sobre los datos que se utilizan para entrenar el sistema; podríamos exigir, por ejemplo, que esos datos no estén sesgados, que representen el rango de personas afectadas, que los marginados y vulnerables no hayan sido excluidos, etc.

O bien, podríamos insistir en que los resultados sean transparentes. En el caso de la "caja negra" de inteligencia artificial para coches sin conductor, esto significaría transparencia sobre los resultados que deseamos: menos muertes, más ahorro ecológico, tiempos de transporte más cortos, viajes más cómodos, etc. También se puede exigir transparencia sobre cómo cumple su función la máquina: si los vehículos no cumplen con sus objetivos declarados públicamente, podríamos requerir que los fabricantes los ajusten para que lo hagan. Este tipo de control no requeriría la transparencia de los algoritmos.

La transparencia no es en sí misma un bien. Por eso tenemos cortinas para nuestras ventanas, o un derecho al olvido en Europa. La transparencia es una herramienta que es útil en algunas circunstancias. En mi opinión, deberíamos acordar como sociedad lo que queremos o esperamos de determinados sistemas de inteligencia artificial, y luego encontrar los mejores mecanismos para garantizar que se obtienen los resultados deseados. A veces, la transparencia de los algoritmos será el enfoque correcto, pero no siempre.

Entonces, relacionado con esto, ¿por qué deberíamos confiar en inteligencia artificial?

Deberíamos confiar en una aplicación de inteligencia artificial cuando tengamos pruebas convincentes de que funciona. Dependiendo de la aplicación, esto podría requerir pruebas y más pruebas, algunas exhaustivas y en algunos casos, no tanto.

En su opinión, ¿puede la inteligencia artificial amplificar nuestros defectos?

Sin lugar a dudas. La inteligencia artificial aprende de los datos que le damos. Es decir, analiza esos datos ampliamente, y encuentra correlaciones complejas y patrones estadísticos y probabilísticos. Los datos reflejan prácticas y creencias humanas. Por lo tanto, la inteligencia artificial puede repetir los sesgos que existen en los datos, o incluso amplificarlos.

Por ejemplo, si las mujeres están subrepresentadas en la alta gerencia empresarial, los datos reflejarán eso, y la inteligencia artificial puede aprender de esa información que existe una correlación negativa entre ser mujer y ser una alta directiva. La consecuencia, por ejemplo, es que quizá el sistema termine por no recomendar a las mujeres para tales trabajos. El problema, por supuesto, puede ser mucho más sutil que eso. Ésta es una cuestión bien conocida y seria.

En su opinión, ¿existen los algoritmos 'sesgados'? ¿Cómo podemos detectarlos?

Sí, como ya he explicado. Hay una gran cantidad de investigación sobre cómo detectar sesgos en la inteligencia artificial y sobre cómo eliminarlos o, al menos, minimizarlos. No soy un científico informático, pero estimo que una forma de detectar sesgos es observar los resultados. Si un sistema de inteligencia artificial para clasificar las solicitudes de empleo rara vez recomienda a mujeres solicitantes, es evidente que existen razones para pensar que está sesgado. Pero insisto, el asunto puede ser mucho más sutil que eso.

Una forma de detectar el sesgo es examinar directamente el modelo que inteligencia artificial utiliza para tomar "decisiones". Eso requiere entender el modelo, y algunos pueden ser demasiado complejos para los humanos. Otra forma, que sugieren algunos investigadores de las universidades de Harvard y Oxford, es enviar la misma información al sistema, pero con ligeras variaciones en los datos: si cambiar un punto en esos datos altera el resultado de alguna manera significativa, es una señal de que ese punto de datos es importante. Si ese punto de datos es, por ejemplo, el género o la raza de la persona, eso es una prueba de que el sistema está sesgado. Claro que esto que explico es una gran simplificación ya que, como dije antes, no soy un científico informático.

Finalmente, ¿hasta qué punto puede ser peligroso (o no) un sistema de inteligencia artificial diseñado para realizar predicciones?

La inteligencia artificial puede hacer falsas predicciones. De hecho, todas sus predicciones conllevan un nivel de confianza, de la misma forma que los meteorólogos afirman que hay un 60% de probabilidad de lluvia. Los errores pueden ser peligrosos si las falsas predicciones son peligrosas: decir que mañana estará despejado cuando en realidad llueva por la tarde no es peligroso generalmente pero, por otro lado, un mal diagnóstico médico puede ser fatal. Al igual que con cualquier otra cosa, dependeremos de la inteligencia artificial en tanto en cuanto constatemos su precisión en casos anteriores y midamos la gravedad de las consecuencias de estar equivocado.

En cambio, uno podría preguntar si usar la inteligencia artificial para alguna tarea en particular es más peligroso que confiar en los métodos anteriores. Si la inteligencia artificial está haciendo predicciones más precisas que las realizadas hasta la fecha, entonces, aun existiendo un riesgo, las consecuencias serán menos peligrosas que las arrojadas por el método que reemplaza. En tal caso, podemos preferir la inteligencia artificial.