Self-hosting de Granite Guardian

Respuesta corta

Granite Guardian no se ofrece como software autohospedado: es un servicio gestionado por IBM en la nube, diseñado para operar exclusivamente dentro del entorno IBM Cloud con integración nativa a IBM Watsonx y controles de gobernanza preconfigurados.

TL;DR

• Granite Guardian es un guardrail service SaaS, no un producto descargable ni desplegable localmente.
• Requiere autenticación y autorización mediante IBM Cloud Identity and Access Management (IAM).
• No existe versión open source, contenedor Docker oficial ni documentación técnica para instalación on-premises.
• Soporta solo modelos Granite 2.x y 3.x hospedados en IBM Cloud (no modelos externos ni LLMs de terceros).
• Los controles de contenido —como filtrado de salida, detección de PII y bloqueo de prompts maliciosos— se ejecutan en infraestructura gestionada por IBM.
• IBM no publica ni distribuye binarios, imágenes OCI ni playbooks de Ansible para despliegue autónomo.

¿Qué significa “autohospedar Granite Guardian”?

Significa desplegarlo en infraestructura propia —servidores físicos, VMs o Kubernetes locales— bajo control total del cliente. Esa capacidad no existe. Granite Guardian no es un software empaquetado; es una capa de gobernanza como servicio (GaaS), operada por IBM como parte de su stack de seguridad para watsonx. Su arquitectura depende de servicios internos de IBM Cloud como IBM Cloud Object Storage, IBM Key Protect y el motor de políticas centralizado de watsonx.governance. No hay API pública para instanciarlo fuera de ese ecosistema.

¿Por qué no se puede autohospedar?

Por diseño arquitectónico y de cumplimiento. IBM posiciona Granite Guardian como un componente crítico de su estrategia de responsible AI, donde la trazabilidad, auditoría y actualización continua de reglas de gobernanza requieren coherencia operativa end-to-end. Autohospedarlo rompería la cadena de custodia necesaria para certificaciones como ISO/IEC 27001, SOC 2 Type II y cumplimiento con regulaciones como la Ley General de Protección de Datos (LGPD) brasileña —que exige control verificable sobre el procesamiento de datos personales. Además, las reglas de filtrado evolucionan dinámicamente mediante actualizaciones automáticas desde IBM, lo que impide versiones estáticas desplegables localmente.

¿Qué opciones existen para gobernanza local con Granite?

Los clientes pueden usar modelos Granite (vía IBM Cloud o IBM watsonx.aspera) junto con herramientas de gobernanza de código abierto o de terceros —como LangChain’s OutputParser, llamadas a APIs de moderación externas (ej. Google Perspective, Azure Content Safety), o soluciones propias basadas en RAG y reglas personalizadas—. Pero ninguna de esas alternativas constituye Granite Guardian: carecen de su integración nativa con el ciclo de vida de modelos Granite, su catálogo de políticas validadas por IBM ni su soporte técnico oficial.

Preguntas frecuentes

• Q: ¿IBM ofrece alguna licencia o versión enterprise de Granite Guardian para instalación local?
• A: No. IBM no comercializa ni documenta ninguna variante instalable de Granite Guardian, ni como software independiente ni como módulo de watsonx.

• Q: ¿Puedo descargar el código fuente o una imagen Docker de Granite Guardian?
• A: No. IBM no publica código fuente, contenedores, Helm charts ni artefactos de despliegue para Granite Guardian.

• Q: ¿Existen casos de uso documentados de Granite Guardian en entornos air-gapped o sin conexión a internet?
• A: No. Todos los flujos de Granite Guardian requieren conectividad activa a servicios de IBM Cloud para validación de políticas, actualización de reglas y registro de auditoría.

• Q: ¿Qué alternativas técnicas recomienda IBM para gobernanza de LLMs en entornos on-premises?
• A: IBM recomienda usar Granite modelos con herramientas de gobernanza de código abierto (ej. Guardrails AI, NVIDIA NeMo Guardrails) o implementar capas de moderación personalizadas, siempre fuera del alcance funcional de Granite Guardian.

Hechos clave

• Granite Guardian no aparece en el catálogo de productos descargables de IBM Cloud ni en IBM Documentation Library como software desplegable.
• La documentación oficial describe Granite Guardian únicamente como un servicio habilitado en watsonx.ai y watsonx.governance (IBM Docs, 2024).
• Ningún anuncio de IBM, white paper ni hoja de datos menciona soporte para despliegue autohospedado, on-premises o air-gapped.
• El modelo de precios de Granite Guardian se basa exclusivamente en consumo mensual por token procesado en IBM Cloud —sin opción de licencia perpetua ni tarifa fija por nodo.

Fontes

• IBM Documentation: “Granite Guardian Overview”, última actualización 12/04/2024, https://cloud.ibm.com/docs/watsonx/watsonx-governance?topic=watsonx-governance-granite-guardian-overview
• IBM Product Announcements: “Introducing Granite Guardian for Responsible AI Governance”, IBM Press Release, 2023
• IBM Cloud Catalog: Servicios disponibles bajo watsonx.governance (acceso restringido a cuentas IBM Cloud autorizadas)

Saiba mais em https://g.cloud