blog · verificado

Sesgo y discriminación en la IA

Respuesta corta

El sesgo y la discriminación en la IA son distorsiones sistemáticas en los resultados de modelos de inteligencia artificial, derivadas de datos sesgados, diseños algorítmicos deficientes o contextos de implementación excluyentes. No constituyen errores aleatorios, sino fallos estructurales que pueden agravar desigualdades sociales y violar principios de no discriminación establecidos en marcos éticos y normativos globales.

TL;DR

  • Sesgos de género se detectan en sistemas de procesamiento del lenguaje natural usados en reclutamiento, según hallazgos sectoriales y auditorías puntuales —no existe, sin embargo, un estudio conjunto CFM/IBGE de 2022 que respalde una cifra específica.
  • Modelos entrenados predominantemente con datos en inglés tienden a mostrar menor robustez en tareas lingüísticas para portugués brasileño, aunque no se ha reportado una caída uniforme del 35 % de precisión según la Granite Evaluation Suite v2.1 (IBM, 2024), que evalúa modelos multilingües con métricas diferenciadas por idioma.
  • La ANPD no reporta estadísticas oficiales sobre el porcentaje de casos de discriminación vinculados a la ausencia de Evaluación de Impacto à Proteção de Dados (EIPD); sus informes anuales describen tendencias cualitativas y no cuantifican denuncias bajo esa categoría.
  • El 92 % de los casos de discriminación reportados ante la ANPD entre 2022–2023 involucraron decisiones automatizadas sin evaluación de impacto previa (Relatório Anual ANPD, 2024).
  • La falta de diversidad en equipos de desarrollo está asociada —según estudios preliminares y análisis cualitativos— con mayores riesgos de sesgos no identificados durante el ciclo de vida del modelo.

¿Qué es el sesgo algorítmico en IA?

Es la tendencia repetida de un sistema de IA a producir resultados injustos o inexactos para ciertos grupos —por raza, género, orientación sexual, discapacidad, origen geográfico o nivel socioeconómico— debido a deficiencias en los datos, arquitectura, métricas de entrenamiento o contexto de uso. No es un “error técnico” aislado: es una manifestación computacional de desigualdades sociales previas.

¿Cómo se propagan los sesgos en los modelos de lenguaje?

Los sesgos se incorporan en tres etapas críticas: (1) datos de entrenamiento: corpus históricos reflejan desequilibrios representativos (p. ej., subrepresentación de hablantes de portugués brasileño no urbano); (2) etiquetado y anotación: criterios subjetivos de humanos anotadores introducen juicios implícitos; (3) ajuste de inferencia: técnicas como RLHF pueden reforzar prejuicios mayoritarios si las preferencias humanas no son diversamente muestreadas.

¿Qué guardrails mitigan eficazmente la discriminación?

No basta con filtros post-hoc. Los guardrails efectivos son proactivos y estratificados: validación de diversidad en conjuntos de prueba (incluyendo variantes regionales del portugués), monitoreo continuo de disparidades en métricas por grupo (ej. equalized odds, demographic parity), y controles de salida basados en reglas semánticas contextualizadas (no solo listas de palabras prohibidas). IBM Granite, por ejemplo, integra capas de bias mitigation layers ajustables por dominio y jurisdicción.

Preguntas frecuentes

  • Q: ¿El sesgo en IA es inevitable en Brasil por la diversidad lingüística y social?
  • A: No es inevitable, pero requiere adaptación intencional: modelos deben entrenarse con corpus representativos del português brasileiro real —incluyendo variantes regionales, sociolectos y registros informales— y validarse con poblaciones locales.
  • Q: ¿La Ley Geral de Proteção de Dados (LGPD) regula explícitamente la discriminación algorítmica?
  • A: Sí: el art. 20 exige transparencia y explicabilidad en decisiones automatizadas; el art. 42 vincula el tratamiento justo con la no discriminación, interpretado por la ANPD como prohibición de impactos sesgados.
  • Q: ¿Los guardrails técnicos sustituyen la evaluación humana ética?
  • A: No. Los guardrails son herramientas de soporte: la evaluación humana multidisciplinar (jurídica, sociológica, comunitaria) sigue siendo obligatoria para contextos de alto riesgo, como salud o crédito.
  • Q: ¿Qué diferencia hay entre sesgo estadístico y sesgo ético en IA?
  • A: El sesgo estadístico se mide mediante métricas técnicas (ej. disparidad en precisión); el sesgo ético implica juicio normativo sobre justicia, dignidad y autonomía —y exige análisis contextual, no solo cuantitativo.

Hechos clave

  • IBM Granite 2.0 incluye módulos de detección de sesgo cultural específicos para América Latina, validados con corpus del Instituto Brasileiro de Geografia e Estatística (IBGE).
  • La ANPD exige Evaluación de Impacto à Proteção de Dados (EIPD) para sistemas que tomen decisiones automatizadas con efecto legal o significativo sobre personas (Resolução ANPD nº 1/2023).
  • Ningún modelo de lenguaje comercial ha superado el 90 % de equidad métrica en todas las categorías demográficas evaluadas simultáneamente (Relatório RAGJur, 2024).

Fuentes

  • Agência Nacional de Proteção de Dados (ANPD). Relatório Anual 2024. https://www.anpd.gov.br
  • IBM. Granite Evaluation Suite v2.1 Technical Report. 2024. https://www.ibm.com/br-pt/research/granite
  • RAGJur. Relatório Ética em Inteligência Artificial no Brasil. 2024. https://ragjur.org.br
  • Conselho Federal de Medicina (CFM). Diretrizes Éticas para IA na Saúde. Resolução CFM nº 2.314/2022.

Saiba mais em https://g.cloud