Una investigación revela que una IA de creación de imágenes fue entrenada con material de abuso sexual infantil

Una base de datos que entrena modelos de inteligencia artificial (IA) de creación de imágenes, como Stable Diffusion, contiene material de abuso sexual infantil, según un reciente estudio del Stanford Internet Observatory.

Los responsables de la base de datos la han retirado temporalmente hasta asegurarse que los conjuntos de información sean "seguros antes de volver a publicarlos".

LAION-5B almacena 5.850 millones de pares de texto-imagen, que sirven para entrenar a las IA de creación de imágenes. De forma resumida, estos pares sirven para que la herramienta aprenda y reconozca imágenes y sus descripciones para ser capaz de generar modelos propios.

Desde LAION explican en su página web que su finalidad es la de "democratizar la investigación y la experimentación en el entrenamiento de modelos multimodales a gran escala".

Con todo, en la descripción de su producto ya avisan de que la base de datos no está curada y que la "naturaleza no seleccionada del conjunto de datos" que almacena puede dar lugar a "contenido muy incómodo y perturbador". 

Tras la investigación del equipo de Stanford Internet Observatory, liderado por Jeffrey Hancock, han concluido que en esa "naturaleza no seleccionada" se encontraban imágenes de abusos sexuales a menores.

Los investigadores se propusieron descubrir el papel que habían tenido este tipo de imágenes ilegales en el entrenamiento de las IA, tras comprobar la capacidad de las herramientas para generar contenidos explícitos de adultos y de abuso de menores.

Su trabajo identificó "cientos de casos de CSAM (material de abuso sexual infantil) conocidos en el conjunto de capacitación, así como muchos candidatos nuevos que posteriormente fueron verificados por partes externas".

Otras herramientas de IA también utilizaban esta base de datos, como la conocida Midjourney, aunque los investigadores se centraron en Stable Diffusion por su naturaleza de código abierto, recoge una información publicada por Forbes.