Infraestructura de IA:
Manual de Gobernanza
para el CTO
Build, Buy, Hybrid - infraestructura conforme
al EU AI Act antes de agosto de 2026
Build, Buy, Hybrid - infraestructura conforme
al EU AI Act antes de agosto de 2026
La infraestructura de IA crece más rápido que las estructuras de gobernanza que la controlan.
Según HashiCorp (2024), el 82% de las empresas operan entornos multi-cloud, pero solo el 31% tiene una estrategia de gobernanza centralizada. El resultado: Shadow AI. Los departamentos utilizan APIs de LLM externas sin autorización. Los equipos de ciencia de datos despliegan modelos en endpoints no controlados.
El Stanford HAI AI Index Report (2025) documenta: las inversiones en infraestructura de IA crecen un 29% anual, pero los presupuestos de gobernanza solo crecen un 8%. Esta brecha genera deuda técnica. En España, la AESIA (Agencia Española de Supervisión de la IA) es la autoridad competente para supervisar el cumplimiento del EU AI Act.
| Nivel | Responsabilidad | Quién |
|---|---|---|
| Gobernanza de arquitectura | Patrones, modelos y APIs autorizados | CTO + Enterprise Architecture |
| Gobernanza de operaciones | SLAs, monitoring, respuesta a incidentes, gestión de costes | Infrastructure + DevOps |
| Gobernanza de cumplimiento | EU AI Act, RGPD, Audit Trail, Data Residency | CTO + CISO + Legal |
| Gobernanza de costes | Presupuesto, chargeback, detección de desperdicio | FinOps + CTO |
| Gobernanza de seguridad | Zero Trust, cifrado, gestión de accesos | CISO + Platform |
Antes de que el primer agente de IA entre en producción:
Según Flexera (2024), las empresas desperdician en promedio el 28% de su gasto en la nube. En cargas de trabajo de IA con instancias GPU, la tasa de desperdicio es aún mayor.
Cada componente de infraestructura de IA requiere una decisión fundamental: construir internamente, comprar o combinar.
| Criterio | Build | Buy | Hybrid |
|---|---|---|---|
| Control | Completo | Limitado | Diferenciado |
| Data Residency | Garantizado | Dependiente del contrato | Controlable |
| Time-to-Value | 3-6 meses | 1-4 semanas | 4-8 semanas |
| Costes operativos | Fijos + personal | Variable (pay-per-use) | Mixto |
| Vendor Lock-in | Ninguno | Alto | Medio |
| Carga de trabajo | Recomendación | Justificación |
|---|---|---|
| LLM Inference (estándar) | Buy | Eficiente en costes con volumen variable |
| LLM Inference (sensible) | Build | Los datos no deben salir de la UE |
| Agent Orchestration | Hybrid | Framework auto-alojado, llamadas LLM enrutadas |
| Document Intelligence | Build | Los documentos contienen PII |
| Vector Database | Hybrid | Gestionada para no sensible, auto-alojada para PII |
| Monitoring | Buy | Herramientas especializadas con región UE |
Hardware GPU: NVIDIA H100: 25.000-40.000 USD por tarjeta. Clúster de producción: 4-8 tarjetas mínimo.
Personal: Ingenieros MLOps, ingenieros de plataforma, especialistas en seguridad. Al 40% de las empresas les faltan las habilidades (Gartner 2024).
Mantenimiento: Actualizaciones de modelos, parches de seguridad, mejoras de infraestructura. Continuo.
Data Residency: ¿Dónde se procesan los prompts? ¿Se utilizan para entrenamiento?
Vendor Lock-in: APIs propietarias, formatos de embedding. La migración cuesta 3-6 meses.
Disponibilidad: 12 horas de downtime por trimestre en promedio (Stanford HAI 2025).
Para la mayoría de los escenarios empresariales se recomienda un enfoque híbrido: Model Gateway como control central (auto-alojado), enrutamiento por sensibilidad, estrategia de fallback ante caída del proveedor, optimización de costes mediante enrutamiento inteligente de modelos.
Lo que los juristas leen como obligaciones de cumplimiento, son para el CTO requisitos de infraestructura.
A partir de agosto de 2026 se aplican seis requisitos obligatorios (sujeto al Digital Omnibus Package - posible aplazamiento a diciembre de 2027). En España, la AESIA supervisa la implementación de estos requisitos.
| Requisito | Art. | Medida de infraestructura |
|---|---|---|
| Gestión de riesgos | 9 | Confidence Routing, Circuit Breaker, Canary Deployments |
| Gobernanza de datos | 10 | Data Lineage, Immutable Storage, Data Catalog |
| Obligaciones de registro | 12 | Structured Logging, Retención 10+ años, Tamper-Proof |
| Transparencia | 13 | Observability Stack, Decision Explanation API, Model Cards |
| Supervisión humana | 14 | HITL Gateway (arquitectónico), Kill Switch < 1s, Portal Auditor |
| Precisión/Robustez | 15 | Benchmark Pipeline, Adversarial Testing, Redundancia multi-región |
Confidence Routing: Cada output de agente recibe un valor de confianza. Por debajo del umbral: escalamiento. Circuit Breaker: Desactivación automática ante anomalías. Canary Deployments: Nuevas versiones de modelo de forma gradual, rollback automático ante deterioro.
Structured Logging: Cada llamada API, cada decisión de agente, cada intervención HITL. Retención: Vida útil del sistema + 10 años (art. 19). Tamper-Proof: Logs append-only en almacenamiento inmutable.
HITL Gateway: Aprobación humana forzada arquitectónicamente. Sin bypass. Kill Switch: Desactivación inmediata, latencia < 1 segundo. Portal Auditor: Dashboard de solo lectura para auditores de cumplimiento.
Sanciones: Hasta 15 millones de EUR o el 3% de la facturación anual global.
El 40% de los incidentes de seguridad en entornos cloud surgen por mala configuración, no por ataques (ENISA 2024).
| Pilar | Requisito | Implementación |
|---|---|---|
| Data Residency | Todo el procesamiento en centros de datos de la UE | Modelos auto-alojados o región UE en el proveedor |
| Cifrado | At Rest, In Transit, In Use | AES-256, TLS 1.3, mTLS, Confidential Computing |
| Zero Trust | Sin confianza implícita | Identity-Based Access, Least Privilege, Micro-Segmentation |
| Supply Chain | Origen de modelos y software verificado | Model Provenance, SBOM, Container Scanning, Signed Artifacts |
| Componente | Requisito UE | Implementación |
|---|---|---|
| LLM Inference | Los prompts no deben salir de la UE | Auto-alojado o región UE en el proveedor |
| Vector Database | Los embeddings contienen conocimiento codificado | Región UE o auto-alojado |
| Logging | Los logs contienen PII | Almacenamiento UE con política WORM |
| Backups | Mismas reglas que datos de producción | Región UE, cifrado |
| Escenario | Riesgo | Medida |
|---|---|---|
| PII en prompts | Art. 6 - Base jurídica | PII-Stripping antes de llamada API |
| Datos de clientes en RAG | Art. 5 - Limitación de finalidad | Control de acceso a nivel de documento |
| Logs con datos de usuarios | Art. 17 - Derecho de supresión | Pseudonimización + política de retención |
| Embeddings con PII | Art. 22 - Decisiones automatizadas | Documentación de transparencia |
Los frameworks de agentes están diseñados para experimentación, no para producción. Los agentes empresariales necesitan: permisos definidos, audit trails, rollback, control de costes.
| Componente | Función | Tecnología |
|---|---|---|
| Orchestrator | Workflow, enrutamiento de tareas, paralelización | Temporal, Prefect, Custom |
| Permission Layer | Permisos de agente para herramientas/APIs | OPA, Cedar |
| State Management | Contexto, memoria, progreso de tareas | Redis, PostgreSQL |
| Observability | Traces, consumo de tokens, latencia | OpenTelemetry, Langfuse |
Resultado: MTTR en fallos de agentes -70%. Costes de API descontrolados -40-60% (proyectos Gosign).
El 80% de los datos empresariales no están estructurados (IDC 2024). Un pipeline de Document Intelligence clasifica, extrae y vectoriza documentos automáticamente.
| Etapa | Función | Tecnología |
|---|---|---|
| Ingestion | Lectura de PDF, Word, escáner, email | Tika, Unstructured.io |
| OCR | Conversión de escáneres a texto | Tesseract, PaddleOCR |
| Clasificación | Reconocimiento del tipo de documento | Fine-tuned Classifier |
| Extracción | Extracción de datos estructurados | LLM + Schema Validation |
| Embedding | Vectorización de documentos | Sentence Transformers |
| Storage | Vectores + metadatos | pgvector, Qdrant |
Resultado: 92-97% de precisión en clasificación. Procesamiento manual -60-80%.
Capa central entre aplicaciones y proveedores de LLM. Enrutamiento, detección de PII, rate limiting, caché, fallback, logging.
| Tipo de solicitud | Enrutamiento | Justificación |
|---|---|---|
| Contiene PII | Modelo auto-alojado | Los datos permanecen en la UE |
| Clasificación estándar | Modelo más económico | Optimización de costes |
| Análisis complejo | Modelo más potente | Calidad priorizada |
| Proveedor A caído | Proveedor B | Disponibilidad |
Resultado: Costes de LLM -30-50% mediante enrutamiento y caché. Cumplimiento mediante screening centralizado de PII.
Los sistemas de IA fallan silenciosamente. Un LLM con respuestas deficientes no lanza ningún error.
| Nivel | Qué se mide | Herramientas |
|---|---|---|
| Infrastructure | CPU, GPU, memoria, red | Prometheus, Grafana |
| Application | Latencia, tasa de error, throughput | OpenTelemetry, Jaeger |
| Model | Confianza, tokens, alucinación | Langfuse, WhyLabs |
| Business | Zero-touch rate, escalamiento | Custom Dashboards |
| Cost | Costes de API por equipo/proyecto | Infracost, Custom |
| Compliance | Completitud de auditoría, cuota HITL | Custom + SIEM |
Resultado: Problemas de calidad detectados 4 veces más rápido. Duración del impacto de incidentes -65% (Gartner 2024).
10 preguntas para el CTO. Evalúe cada una con 0 (no), 1 (parcialmente) o 2 (sí).
| # | Pregunta | 0 | 1 | 2 |
|---|---|---|---|---|
| 1 | Inventario completo de todos los sistemas y APIs de IA (incl. Shadow AI). | ☐ | ☐ | ☐ |
| 2 | Arquitectura de referencia aprobada para cargas de trabajo de IA con patrones definidos. | ☐ | ☐ | ☐ |
| 3 | Todo el procesamiento de datos de IA verificadamente en centros de datos de la UE. | ☐ | ☐ | ☐ |
| 4 | Model Gateway con screening de PII y logging centralizado. | ☐ | ☐ | ☐ |
| 5 | Structured Logging para cada llamada API y cada decisión de agente. | ☐ | ☐ | ☐ |
| 6 | Kill Switch para agentes individuales y sistema de IA completo (< 1s). | ☐ | ☐ | ☐ |
| 7 | Costes de GPU/API rastreados por equipo, proyecto y caso de uso. | ☐ | ☐ | ☐ |
| 8 | Evaluación automática de benchmark y adversarial antes del despliegue. | ☐ | ☐ | ☐ |
| 9 | Estrategia de backup y DR específica para infraestructura de IA. | ☐ | ☐ | ☐ |
| 10 | Los 6 requisitos del EU AI Act (art. 9-15) verificadamente cumplidos. | ☐ | ☐ | ☐ |
| Puntuación | Evaluación | Recomendación |
|---|---|---|
| 16-20 | Production-Ready | Optimización y escalado. Preparado para cargas reguladas. |
| 10-15 | Base existente | Cerrar brechas: logging, screening de PII, Kill Switch. |
| 5-9 | Necesidad de mejora | Arquitectura de referencia, Model Gateway, inventariar Shadow AI. |
| 0-4 | Necesidad de acción | Comenzar inmediatamente. Inventario + arquitectura de referencia. |
| Partida | Actual | Recomendación |
|---|---|---|
| Modelos & Compute | 70% | 35-40% |
| Plataforma de infraestructura | 15% | 25-30% |
| Gobernanza & Cumplimiento | 5% | 15-20% |
| Observability & Monitoring | 5% | 10-15% |
| Seguridad | 5% | 10-15% |
| Mes | Enfoque | Resultado |
|---|---|---|
| 1 | Inventario & Arquitectura | Inventario de IA, arquitectura de referencia, Data Residency verificado, Cost Baseline |
| 2 | Gateway & Gobernanza | Model Gateway en producción, Structured Logging, Kill Switch, Observability Stack |
| 3 | Cumplimiento & Piloto | Lista de verificación EU AI Act, Benchmark Pipeline, Adversarial Testing, auditoría de cumplimiento |
| Capa | Recomendación | Alternativas |
|---|---|---|
| Model Gateway | LiteLLM, Portkey | Custom (Go/Python) |
| Agent Orchestration | Temporal + Custom | Prefect, Airflow |
| Vector Database | pgvector (PostgreSQL) | Qdrant, Weaviate |
| Observability | OpenTelemetry + Grafana | Datadog, Langfuse |
| Policy Engine | OPA | Cedar, Casbin |
| Secret Management | Vault | AWS KMS, SOPS |
| Container Runtime | Kubernetes | Nomad, ECS |
| CI/CD | GitHub Actions | GitLab CI, Tekton |
Analizamos su infraestructura de IA e identificamos las brechas críticas.
Cumplimiento normativo, seguridad y gobernanza de costes - 30 minutos, gratuito, sin compromiso.
Theandra Moreira - Directora de Consultoría, Gosign GmbH
Contacto: www.gosign.de/es/contacto
Web: www.gosign.de