Infrastruktura AI:
Poradnik Governance
dla CTO
Build, Buy, Hybrid - infrastruktura zgodna
z EU AI Act przed sierpniem 2026
Build, Buy, Hybrid - infrastruktura zgodna
z EU AI Act przed sierpniem 2026
Infrastruktura AI rośnie szybciej niż struktury governance, które ją kontrolują.
Według HashiCorp (2024) 82% przedsiębiorstw korzysta ze środowisk multi-cloud - ale tylko 31% posiada scentralizowaną strategię governance. Efekt: Shadow AI. Działy biznesowe korzystają z zewnętrznych API LLM bez zatwierdzenia. Zespoły data science wdrażają modele na niekontrolowanych endpointach.
Stanford HAI AI Index Report (2025) dokumentuje: inwestycje w infrastrukturę AI rosną o 29% rocznie, ale budżety na governance rosną zaledwie o 8%. Ta luka generuje dług technologiczny.
| Warstwa | Odpowiedzialność | Kto |
|---|---|---|
| Governance architektury | Zatwierdzone wzorce, modele, API | CTO + Enterprise Architecture |
| Governance operacyjne | SLA, monitoring, reakcja na incydenty, zarządzanie kosztami | Infrastructure + DevOps |
| Governance compliance | EU AI Act, RODO, ścieżka audytu, rezydencja danych | CTO + CISO + Dział prawny |
| Governance kosztów | Budżetowanie, chargeback, wykrywanie marnotrawstwa | FinOps + CTO |
| Governance bezpieczeństwa | Zero Trust, szyfrowanie, zarządzanie dostępem | CISO + Platform |
Zanim pierwszy agent AI trafi do produkcji:
Według Flexera (2024) przedsiębiorstwa marnują średnio 28% wydatków na chmurę. W przypadku obciążeń AI z instancjami GPU wskaźnik marnotrawstwa jest jeszcze wyższy.
Każdy komponent infrastruktury AI wymaga fundamentalnej decyzji: budować samodzielnie, kupić czy łączyć.
| Kryterium | Build | Buy | Hybrid |
|---|---|---|---|
| Kontrola | Pełna | Ograniczona | Zróżnicowana |
| Rezydencja danych | Gwarantowana | Zależna od umowy | Sterowana |
| Time-to-Value | 3-6 miesięcy | 1-4 tygodnie | 4-8 tygodni |
| Koszty operacyjne | Stałe + personel | Zmienne (pay-per-use) | Mieszane |
| Vendor lock-in | Brak | Wysoki | Średni |
| Obciążenie | Rekomendacja | Uzasadnienie |
|---|---|---|
| LLM inference (standardowe) | Buy | Efektywne kosztowo przy zmiennym wolumenie |
| LLM inference (wrażliwe) | Build | Dane nie mogą opuścić UE |
| Agent Orchestration | Hybrid | Framework self-hosted, wywołania LLM routowane |
| Document Intelligence | Build | Dokumenty zawierają dane osobowe |
| Vector Database | Hybrid | Managed dla niewrażliwych, self-hosted dla danych osobowych |
| Monitoring | Buy | Specjalistyczne narzędzia z regionem UE |
Sprzęt GPU: NVIDIA H100: 25 000-40 000 USD za kartę. Klaster produkcyjny: minimum 4-8 kart.
Personel: Inżynierowie MLOps, inżynierowie platformy, specjaliści ds. bezpieczeństwa. 40% przedsiębiorstw nie ma odpowiednich kompetencji (Gartner 2024).
Utrzymanie: Aktualizacje modeli, łatki bezpieczeństwa, upgrade infrastruktury. Ciągle.
Rezydencja danych: Gdzie przetwarzane są prompty? Czy są wykorzystywane do treningu?
Vendor lock-in: Własnościowe API, formaty embeddingów. Migracja kosztuje 3-6 miesięcy.
Dostępność: Średnio 12 godzin przestoju na kwartał (Stanford HAI 2025).
W większości scenariuszy enterprise rekomendowany jest model hybrydowy: Model Gateway jako centralna warstwa sterująca (self-hosted), routing według wrażliwości, strategia fallback na wypadek awarii dostawcy, optymalizacja kosztów przez inteligentny routing modeli.
Co prawnicy czytają jako obowiązki compliance, dla CTO to wymagania infrastrukturalne.
Od sierpnia 2026 obowiązuje sześć wymagań obowiązkowych (z zastrzeżeniem Digital Omnibus Package - możliwe przesunięcie na grudzień 2027):
| Wymaganie | Art. | Środek infrastrukturalny |
|---|---|---|
| Zarządzanie ryzykiem | 9 | Confidence routing, circuit breaker, canary deployments |
| Governance danych | 10 | Data lineage, immutable storage, katalog danych |
| Obowiązki ewidencyjne | 12 | Structured logging, retencja 10 lat+, tamper-proof |
| Transparentność | 13 | Stos observability, decision explanation API, model cards |
| Nadzór ludzki | 14 | HITL gateway (architektoniczny), kill switch < 1s, portal audytora |
| Dokładność/odporność | 15 | Pipeline benchmarków, testy adversarial, redundancja multi-region |
Confidence routing: Każdy output agenta otrzymuje wartość pewności. Poniżej progu: eskalacja. Circuit breaker: Automatyczna dezaktywacja przy anomaliach. Canary deployments: Nowe wersje modeli wdrażane stopniowo, automatyczny rollback przy pogorszeniu.
Structured logging: Każde wywołanie API, każda decyzja agenta, każda interwencja HITL. Retencja: Czas życia systemu + 10 lat (art. 19). Tamper-proof: Logi append-only w immutable storage.
HITL gateway: Architektonicznie wymuszona zgoda człowieka. Bez możliwości obejścia. Kill switch: Natychmiastowa dezaktywacja, opóźnienie < 1 sekunda. Portal audytora: Dashboard read-only dla audytorów compliance.
Sankcje: Do 15 mln EUR lub 3% światowego rocznego obrotu.
40% incydentów bezpieczeństwa w środowiskach chmurowych powstaje z powodu błędnej konfiguracji - nie ataków (ENISA 2024).
| Filar | Wymaganie | Realizacja |
|---|---|---|
| Rezydencja danych | Całe przetwarzanie w centrach danych UE | Modele self-hosted lub region UE u dostawcy |
| Szyfrowanie | At rest, in transit, in use | AES-256, TLS 1.3, mTLS, Confidential Computing |
| Zero Trust | Brak domyślnego zaufania | Dostęp oparty na tożsamości, least privilege, mikrosegmentacja |
| Łańcuch dostaw | Zweryfikowane pochodzenie modeli i oprogramowania | Model provenance, SBOM, skanowanie kontenerów, podpisane artefakty |
| Komponent | Wymaganie UE | Realizacja |
|---|---|---|
| LLM inference | Prompty nie mogą opuścić UE | Self-hosted lub region UE u dostawcy |
| Vector Database | Embeddingi zawierają zakodowaną wiedzę | Region UE lub self-hosted |
| Logowanie | Logi zawierają dane osobowe | Storage w UE z polityką WORM |
| Kopie zapasowe | Te same zasady co dane produkcyjne | Region UE, zaszyfrowane |
| Scenariusz | Ryzyko | Środek |
|---|---|---|
| Dane osobowe w promptach | Art. 6 - Podstawa prawna | Usuwanie danych osobowych przed wywołaniem API |
| Dane klientów w RAG | Art. 5 - Ograniczenie celu | Kontrola dostępu na poziomie dokumentu |
| Logi z danymi użytkowników | Art. 17 - Prawo do usunięcia | Pseudonimizacja + polityka retencji |
| Embeddingi z danymi osobowymi | Art. 22 - Zautomatyzowane decyzje | Dokumentacja transparentności |
Frameworki agentowe są zbudowane do eksperymentów, nie do produkcji. Agenty enterprise potrzebują: zdefiniowanych uprawnień, ścieżek audytu, rollbacku, controllingu kosztów.
| Komponent | Funkcja | Technologia |
|---|---|---|
| Orchestrator | Workflow, routing zadań, równoległość | Temporal, Prefect, Custom |
| Permission Layer | Uprawnienia agentów do narzędzi/API | OPA, Cedar |
| State Management | Kontekst, pamięć, postęp zadań | Redis, PostgreSQL |
| Observability | Traces, zużycie tokenów, opóźnienie | OpenTelemetry, Langfuse |
Wynik: MTTR przy awariach agentów -70%. Niekontrolowane koszty API -40-60% (projekty Gosign).
80% danych przedsiębiorstw jest niestrukturyzowanych (IDC 2024). Pipeline Document Intelligence automatycznie klasyfikuje, ekstrahuje i wektoryzuje dokumenty.
| Etap | Funkcja | Technologia |
|---|---|---|
| Ingestion | Wczytywanie PDF, Word, skanów, e-mail | Tika, Unstructured.io |
| OCR | Konwersja skanów na tekst | Tesseract, PaddleOCR |
| Klasyfikacja | Rozpoznanie typu dokumentu | Fine-tuned classifier |
| Ekstrakcja | Ekstrakcja danych strukturalnych | LLM + walidacja schematu |
| Embedding | Wektoryzacja dokumentów | Sentence Transformers |
| Storage | Wektory + metadane | pgvector, Qdrant |
Wynik: 92-97% dokładności klasyfikacji. Przetwarzanie ręczne -60-80%.
Centralna warstwa między aplikacjami a dostawcami LLM. Routing, wykrywanie danych osobowych, rate limiting, caching, fallback, logowanie.
| Typ zapytania | Routing | Uzasadnienie |
|---|---|---|
| Zawiera dane osobowe | Model self-hosted | Dane pozostają w UE |
| Standardowa klasyfikacja | Najtańszy model | Optymalizacja kosztów |
| Złożona analiza | Najbardziej wydajny model | Priorytet jakości |
| Dostawca A niedostępny | Dostawca B | Dostępność |
Wynik: Koszty LLM -30-50% dzięki routingowi i cachingowi. Zgodność dzięki centralnemu screeningowi danych osobowych.
Systemy AI zawodzą cicho. LLM ze słabymi odpowiedziami nie zgłasza błędu.
| Warstwa | Co jest mierzone | Narzędzia |
|---|---|---|
| Infrastructure | CPU, GPU, pamięć, sieć | Prometheus, Grafana |
| Application | Opóźnienie, wskaźnik błędów, przepustowość | OpenTelemetry, Jaeger |
| Model | Pewność, tokeny, halucynacje | Langfuse, WhyLabs |
| Business | Wskaźnik zero-touch, eskalacja | Dashboardy dedykowane |
| Cost | Koszty API na zespół/projekt | Infracost, Custom |
| Compliance | Kompletność audytu, wskaźnik HITL | Custom + SIEM |
Wynik: Problemy jakościowe wykrywane 4x szybciej. Czas trwania wpływu incydentów -65% (Gartner 2024).
10 pytań dla CTO. Oceń każde: 0 (nie), 1 (częściowo) lub 2 (tak).
| # | Pytanie | 0 | 1 | 2 |
|---|---|---|---|---|
| 1 | Pełna inwentaryzacja wszystkich systemów AI i API (włącznie z Shadow AI). | ☐ | ☐ | ☐ |
| 2 | Zatwierdzona architektura referencyjna dla obciążeń AI ze zdefiniowanymi wzorcami. | ☐ | ☐ | ☐ |
| 3 | Całe przetwarzanie danych AI udowodnione w centrach danych UE. | ☐ | ☐ | ☐ |
| 4 | Model Gateway ze screeningiem danych osobowych i centralnym logowaniem. | ☐ | ☐ | ☐ |
| 5 | Structured logging dla każdego wywołania API i każdej decyzji agenta. | ☐ | ☐ | ☐ |
| 6 | Kill switch dla pojedynczych agentów i całego systemu AI (< 1s). | ☐ | ☐ | ☐ |
| 7 | Koszty GPU/API śledzone na zespół, projekt i przypadek użycia. | ☐ | ☐ | ☐ |
| 8 | Zautomatyzowana ewaluacja benchmarków i testów adversarial przed wdrożeniem. | ☐ | ☐ | ☐ |
| 9 | Strategia backup i DR specyficzna dla infrastruktury AI. | ☐ | ☐ | ☐ |
| 10 | Wszystkie 6 wymagań EU AI Act (art. 9-15) udowodnione jako spełnione. | ☐ | ☐ | ☐ |
| Wynik | Ocena | Rekomendacja |
|---|---|---|
| 16-20 | Production-ready | Optymalizacja i skalowanie. Gotowość na regulowane obciążenia. |
| 10-15 | Podstawa istnieje | Zamknij luki: logowanie, screening danych osobowych, kill switch. |
| 5-9 | Nadrabianie zaległości | Architektura referencyjna, Model Gateway, inwentaryzacja Shadow AI. |
| 0-4 | Wymagane działanie | Natychmiast rozpocznij. Inwentaryzacja + architektura referencyjna. |
| Pozycja | Stan faktyczny | Rekomendacja |
|---|---|---|
| Modele i obliczenia | 70% | 35-40% |
| Platforma infrastruktury | 15% | 25-30% |
| Governance i compliance | 5% | 15-20% |
| Observability i monitoring | 5% | 10-15% |
| Bezpieczeństwo | 5% | 10-15% |
| Miesiąc | Fokus | Rezultat |
|---|---|---|
| 1 | Inwentaryzacja i architektura | Inwentarz AI, architektura referencyjna, rezydencja danych zweryfikowana, baseline kosztów |
| 2 | Gateway i governance | Model Gateway live, structured logging, kill switch, stos observability |
| 3 | Compliance i pilot | Lista kontrolna EU AI Act, pipeline benchmarków, testy adversarial, audyt compliance |
| Warstwa | Rekomendacja | Alternatywy |
|---|---|---|
| Model Gateway | LiteLLM, Portkey | Custom (Go/Python) |
| Agent Orchestration | Temporal + Custom | Prefect, Airflow |
| Vector Database | pgvector (PostgreSQL) | Qdrant, Weaviate |
| Observability | OpenTelemetry + Grafana | Datadog, Langfuse |
| Policy Engine | OPA | Cedar, Casbin |
| Secret Management | Vault | AWS KMS, SOPS |
| Container Runtime | Kubernetes | Nomad, ECS |
| CI/CD | GitHub Actions | GitLab CI, Tekton |
Analizujemy Twoją infrastrukturę AI i identyfikujemy krytyczne luki.
Compliance, bezpieczeństwo i governance kosztów - 30 minut, bezpłatnie, bez zobowiązań.
Bert Gogolin - Dyrektor Zarządzający, Gosign GmbH
Kontakt: www.gosign.de/pl/kontakt
Web: www.gosign.de