AWS a publié un nouveau blueprint intitulé Agentic Data Operations Platform (ADOP) sur le AWS Machine Learning Blog. Il utilise des agents IA pour rédiger des pipelines de données. Cela permet aux équipes d’éviter des semaines de configuration manuelle et fastidieuse.
Comment ADOP construit vos pipelines de données
ADOP aide les équipes data à faire transiter les jeux de données à travers les étapes Bronze, Silver et Gold. Il prend en charge les tâches chronophages comme l’intégration des sources, la transformation des données et l’exécution des contrôles de qualité. Il met également à jour les couches sémantiques et coordonne les flux de travail.
Au lieu de rédiger tout le code à la main, vous utilisez un agent principal, le Data Onboarding Agent. Il fonctionne sur Claude Code et Amazon Bedrock. Cet agent crée des agents secondaires plus petits pour des tâches spécifiques :
- Métadonnées et ontologie : création de balises de schéma et détection des structures de données.
- Transformations et qualité : rédaction du code ETL et mise en place des règles de qualité des données.
- Orchestration des flux de travail : construction des DAG de pipeline pour Apache Airflow ou AWS Step Functions.
Lorsque les agents ont terminé, des ingénieurs humains examinent le code. Ensuite, un pipeline CI/CD déploie le code standard PySpark, le SQL, les DAG, les politiques IAM et les règles de sécurité Cedar vers les environnements de staging et de production.
Le point le plus important : le pipeline en production exécute du code standard sans appeler de modèle d’IA. Vous profitez de la rapidité de l’IA lors de la configuration, tout en conservant une stabilité prévisible en production.
Garde-fous et contrôles de sécurité
AWS intègre plusieurs niveaux de sécurité pour protéger les données de l’entreprise :
- Aucune exposition des données brutes : les agents n’ont accès qu’aux métadonnées de schéma, aux comptages d’échantillons et aux statistiques de colonnes.
- Gestion sécurisée des secrets : les identifiants système sont déployés au moment du lancement. Ils n’entrent jamais dans le prompt de l’agent.
- Garde-fous stricts : Bedrock Guardrails filtre le contenu, vérifie l’ancrage et bloque les données sensibles.
- Réseaux isolés : le travail s’effectue au sein de réseaux protégés avec des revues humaines obligatoires.
Ce qu’il ne faut pas encore croire aveuglément
AWS affirme que ce blueprint réduit le temps d’intégration des sources de plusieurs semaines à quelques heures. Ce chiffre reste une promesse marketing du fournisseur. Personne en dehors d’AWS ne l’a encore vérifié. AWS n’a pas publié les coûts globaux, les taux de précision des résultats ni de certifications officielles de conformité. Même avec un profilage limité aux métadonnées, un agent peut toujours générer un mauvais code ou passer à côté de subtilités réglementaires.
Pourquoi cette approche est importante
Les modèles d’IA peuvent être imprévisibles en production. ADOP contourne ce risque en utilisant l’IA uniquement lors de la phase de création.
C’est un atout majeur pour les secteurs réglementés.
Vous pouvez inspecter, tester et versionner le code standard SQL ou PySpark avant qu’il ne touche aux véritables enregistrements clients. Cependant, cette méthode demande un travail préparatoire. Vous devez maintenir des prompts précis, des politiques strictes et des revues rigoureuses. Si vos vérifications initiales sont insuffisantes, l’agent pourrait reproduire le même bug sur de nombreux jeux de données.
Comment le tester vous-même
Commencez modestement. Désignez deux ou trois ingénieurs référents et choisissez une source de données non critique.
Construisez ce pipeline deux fois. D’abord à la main, puis avec ADOP. Comparez le temps total d’ingénierie, les coûts en jetons et en infrastructure cloud, les besoins de corrections et les incidents de qualité des données. Vérifiez minutieusement le code généré pour détecter d’éventuelles failles réseau ou des secrets exposés.
Si votre phase pilote s’avère fiable, vous pourrez étendre ADOP à l’ensemble de votre infrastructure de données en toute sécurité.