Representatividad en IA: los límites que plantea la discapacidad a la regulación europea

La búsqueda de datos más representativos para mitigar el sesgo de los sistemas de inteligencia artificial (IA) enfrenta límites insalvables cuando se trata de la discapacidad, según un análisis publicado en Verfassungsblog.

El artículo, titulado "The Limits of Representation", examina la premisa de que una mayor recolección de datos sobre colectivos históricamente infrarrepresentados —como las personas con discapacidad— corregiría los resultados discriminatorios de la IA. Sin embargo, advierte que la discapacidad es una categoría difícil de cuantificar, pues bajo el derecho internacional no se reduce a una condición médica, sino que surge de la interacción entre deficiencias y barreras sociales.

Esa heterogeneidad hace que los subgrupos sean pequeños y que su representación estadística resulte casi imposible sin una recolección exhaustiva de datos, lo que colisiona con la protección de la privacidad. "Las cuestiones de equidad para las personas con discapacidad pueden ser más difíciles de resolver que para otros grupos", cita el texto a un estudio de 2019, porque incluso si se las incluye en los conjuntos de entrenamiento, "los sistemas actuales pueden descartarlas como valores atípicos".

Además, el análisis subraya que la información sobre discapacidad es especialmente sensible. Investigaciones recientes demuestran que, bajo ciertas condiciones, datos personales pueden ser extraídos o inferidos de modelos ya entrenados, y que los datos raros o minoritarios —como los asociados a muchas personas con discapacidad— corren un riesgo mayor de reidentificación. Las actuales negociaciones de la propuesta "Digital Omnibus" en la Unión Europea, que busca clarificar los conceptos de anonimización y seudonimización, ponen en entredicho la posibilidad de que ciertos datos de discapacidad lleguen a ser verdaderamente anónimos.

A la luz del Reglamento de Inteligencia Artificial de la UE (AI Act) y del Reglamento General de Protección de Datos (GDPR), el artículo cuestiona la incentivación de la producción masiva de datos sensibles, alertando sobre prácticas coercitivas que menoscaban la autonomía de las personas, principio reconocido por la propia normativa europea. También recuerda la obligación de los Estados de involucrar a las personas con discapacidad en las decisiones que les afectan, conforme a la Convención de la ONU sobre la materia.

"Existen razones legítimas para que los grupos marginados, incluidas las personas con discapacidad, oculten información sobre sí mismos", sostiene el texto, desafiando la suposición de que conjuntos de datos completos o representativos puedan existir sin vulnerar derechos humanos. La publicación original puede consultarse en Verfassungsblog.