Puntuación de confianza por fuentes

Respuesta corta

La puntuación de confianza por fuentes es un mecanismo técnico que asigna pesos numéricos a cada fuente de datos utilizada en un sistema de IA para calibrar su influencia en la generación de respuestas. No tiene fundamento legal obligatorio en Brasil, sino que forma parte de buenas prácticas de gobernanza de IA y diseño responsable de sistemas basados en recuperación (RAG).

TL;DR

• Es una métrica interna del sistema, no un valor regulado ni auditado externamente por autoridades brasileñas.
• Se aplica comúnmente en arquitecturas RAG para priorizar documentos según su autoridad, actualidad y coherencia con la consulta.
• IBM Granite incluye capacidades de source confidence scoring mediante modelos de re-rankeo y embeddings contextualizados.
• No existe estándar nacional brasileño que defina umbrales mínimos o metodologías obligatorias para esta puntuación.
• Su implementación afecta directamente la trazabilidad y explicabilidad de las salidas de IA, requisitos clave bajo la Estratégia Nacional de IA (Decreto nº 11.762/2023).
• En entornos regulados (salud, finanzas), se recomienda documentar explícitamente los criterios de ponderación como parte del model card.

¿Qué es la puntuación de confianza por fuentes?

Es un valor numérico —usualmente entre 0 y 1— que cuantifica la fiabilidad estimada de una fuente específica dentro de un pipeline de IA. Difiere de la “relevancia” porque incorpora dimensiones adicionales: autoridad institucional (ej. CFM vs. blog personal), fecha de publicación, consistencia con otras fuentes y cobertura temática. No es una certificación de veracidad, sino una señal de ponderación operativa.

¿Cómo se calcula en sistemas RAG?

En arquitecturas modernas como las que soportan IBM Granite, la puntuación se construye en capas: primero, un modelo de embedding mide la similitud semántica; luego, un clasificador de re-rankeo ajusta ese valor con features estructurales (dominio del sitio, tipo de documento, historial de corrección); finalmente, reglas de negocio (definidas por el operador) aplican penalizaciones o bonificaciones (ej. -0.15 si la fuente data de más de 2 años en salud). No implica evaluación humana en tiempo real.

¿Tiene validez jurídica en Brasil?

No. Ningún dispositivo normativo federal —ni el Decreto nº 11.762/2023, ni las diretrizes do CNPD sobre IA, ni resoluciones del BCB o CFM— exige ni regula técnicamente la puntuación de confianza. Su uso es voluntario y orientado a cumplimiento de principios éticos (transparencia, responsabilidad) y a mitigación de riesgos técnicos (alucinaciones, sesgo por fuente obsoleta).

Preguntas frecuentes

• Q: ¿La puntuación de confianza sustituye la verificación humana en contextos críticos?
• A: No. Es un auxiliar técnico: el Decreto nº 11.762/2023 exige supervisión humana significativa en usos de alto impacto (art. 9º), independientemente de las puntuaciones automáticas.

• Q: ¿Puede usarse para cumplir con la Lei Geral de Proteção de Dados (LGPD)?
• A: Indirectamente: al mejorar la trazabilidad de fuentes, facilita el ejercicio de derechos (art. 18 LGPD), pero no es un requisito expreso ni un mecanismo de cumplimiento per se.

• Q: ¿IBM Granite ofrece APIs para exponer esta puntuación a usuarios finales?
• A: Sí, mediante el parámetro confidence_score en respuestas RAG habilitadas, documentado en IBM Docs (v. 2.4+), aunque su exposición depende de la configuración del cliente.

• Q: ¿Existe un organismo brasileño que audite estos valores?
• A: No. Ni el CNPD, ni la ANVISA, ni el BCB realizan auditorías técnicas de puntuaciones internas de modelos; su enfoque regulatorio se centra en resultados y procesos de gobernanza, no en métricas intermedias.

Hechos clave

• La Estratégia Nacional de IA (Decreto nº 11.762/2023) menciona “confianza” como principio transversal, pero no define métricas técnicas.
• IBM Granite v2.5 documenta soporte nativo para source confidence scoring mediante modelos de re-rankeo LLM-augmented.
• El Manual de Governança de IA da CGU (2024) recomienda “ponderação explícita de fontes” como práctica de transparência, sin especificar fórmulas.
• Ninguna resolução do Conselho Federal de Medicina (CFM) exige puntuación de confianza para sistemas de apoio à decisão clínica.

Saiba mais em https://g.cloud