AWS hat einen neuen Blueprint namens Agentic Data Operations Platform (ADOP) im AWS Machine Learning Blog veröffentlicht. Er nutzt KI-Agenten, um Daten-Pipelines zu schreiben. Das hilft Teams dabei, wochenlange, langsame manuelle Einrichtungsarbeit zu überspringen.
Wie ADOP Ihre Daten-Pipelines aufbaut
ADOP hilft Datenteams dabei, Datensätze über die Datenstufen Bronze, Silver und Gold hinweg zu bewegen. Es übernimmt zeitraubende Aufgaben wie das Anbinden von Datenquellen, das Transformieren von Daten und das Durchführen von Qualitätsprüfungen. Zudem aktualisiert es semantische Schichten und koordiniert Workflows.
Anstatt den gesamten Code von Hand zu schreiben, nutzen Sie einen zentralen Data Onboarding Agent. Dieser läuft auf Claude Code und Amazon Bedrock. Dieser Agent erstellt kleinere Hilfsagenten für bestimmte Aufgaben:
- Metadaten und Ontologie: Schema-Tags erstellen und Datenstrukturen finden.
- Transformationen und Qualität: ETL-Code schreiben und Regeln für die Datenqualität einrichten.
- Workflow-Orchestrierung: Pipeline-DAGs für Apache Airflow oder AWS Step Functions erstellen.
Sobald die Agenten fertig sind, prüfen menschliche Entwickler den Code. Anschließend stellt eine CI/CD-Pipeline standardmäßigen PySpark- und SQL-Code, DAGs, IAM-Richtlinien und Cedar-Sicherheitsregeln im Staging- und Produktivsystem bereit.
Das Wichtigste dabei: Die produktive Live-Pipeline führt Standardcode aus, ohne ein KI-Modell aufzurufen. Sie erhalten KI-Geschwindigkeit während der Einrichtung, aber vorhersehbare Stabilität im laufenden Betrieb.
Guardrails und Sicherheitskontrollen
AWS fügt mehrere Sicherheitsebenen hinzu, um Unternehmensdaten zu schützen:
- Kein Zugriff auf Rohdaten: Agenten sehen nur Schema-Metadaten, Stichprobenzahlen und Spaltenstatistiken.
- Sichere Zugangsdaten: System-Anmeldedaten werden erst beim Start bereitgestellt. Sie gelangen niemals in den Prompt des Agenten.
- Strenge Guardrails: Bedrock Guardrails filtern Inhalte, prüfen das Grounding und blockieren sensible Daten.
- Isolierte Netzwerke: Die Arbeit findet in geschützten Netzwerken mit obligatorischer menschlicher Überprüfung statt.
Worauf Sie noch nicht vertrauen sollten
AWS behauptet, dass dieser Blueprint die Zeit für das Anbinden neuer Datenquellen von Wochen auf Stunden reduziert. Diese Angabe stammt vom Anbieter selbst. Niemand außerhalb von AWS hat dies bisher überprüft. AWS hat weder Gesamtkosten noch Genauigkeitsraten der Ausgaben oder formelle Compliance-Zertifizierungen veröffentlicht. Selbst wenn nur Metadaten analysiert werden, kann ein Agent dennoch fehlerhaften Code schreiben oder subtile regulatorische Vorgaben übersehen.
Warum dieses Design wichtig ist
KI-Modelle können im Produktivbetrieb unberechenbar sein. ADOP vermeidet dieses Risiko, indem KI nur zur Build-Zeit eingesetzt wird.
Das ist ein riesiger Vorteil für regulierte Branchen.
Sie können standardmäßigen SQL- oder PySpark-Code überprüfen, testen und versionieren, bevor er mit echten Kundendaten in Berührung kommt. Dieser Workflow erfordert jedoch Vorarbeit: Sie müssen klare Prompts, strenge Richtlinien und gründliche Überprüfungen pflegen. Wenn Ihre ersten Kontrollen lückenhaft sind, könnte der Agent denselben Fehler über viele Datensätze hinweg wiederholen.
Wie Sie es selbst testen können
Fangen Sie klein an. Wählen Sie zwei oder drei engagierte Entwickler und eine unkritische Datenquelle aus.
Bauen Sie diese Pipeline zweimal auf: Zuerst von Hand und danach mit ADOP. Vergleichen Sie den gesamten Entwicklungsaufwand, die Token- und Cloud-Kosten, den Nachbesserungsbedarf sowie Fehler bei der Datenqualität. Prüfen Sie den generierten Code sorgfältig auf Netzwerklecks oder offengelegte Zugangsdaten.
Wenn sich Ihr Pilotprojekt als zuverlässig erweist, können Sie ADOP sicher auf Ihren gesamten Daten-Stack ausweiten.