A AWS publicou um novo blueprint chamado Agentic Data Operations Platform (ADOP) no AWS Machine Learning Blog. Ele usa agentes de IA para escrever pipelines de dados. Isso ajuda as equipes a evitar semanas de configuração manual e lenta.
Como o ADOP constrói seus pipelines de dados
O ADOP ajuda as equipes de dados a mover conjuntos de dados pelas etapas Bronze, Silver e Gold. Ele lida com tarefas lentas, como integração de fontes, transformação de dados e execução de verificações de qualidade. Ele também atualiza camadas semânticas e coordena fluxos de trabalho.
Em vez de escrever todo o código manualmente, você usa um Data Onboarding Agent principal. Ele roda no Claude Code e no Amazon Bedrock. Esse agente cria agentes auxiliares menores para tarefas específicas:
- Metadados e ontologia: Criação de tags de esquema e descoberta de estruturas de dados.
- Transformações e qualidade: Criação de código ETL e definição de regras de qualidade de dados.
- Orquestração de fluxo de trabalho: Criação de DAGs de pipeline para o Apache Airflow ou AWS Step Functions.
Quando os agentes terminam, engenheiros humanos revisam o código. Em seguida, um pipeline de CI/CD implanta PySpark padrão, SQL, DAGs, políticas de IAM e regras de segurança do Cedar para homologação e produção.
O mais importante é que o pipeline de produção em execução roda código padrão sem chamar um modelo de IA. Você obtém a velocidade da IA durante a configuração, mas com a estabilidade previsível em produção.
Guardrails e controles de segurança
A AWS adiciona várias camadas de segurança para proteger os dados da empresa:
- Sem exposição de dados brutos: Os agentes veem apenas metadados de esquema, contagens de amostras e estatísticas de colunas.
- Segredos protegidos: As credenciais do sistema são implantadas no momento da inicialização. Elas nunca entram no prompt do agente.
- Guardrails rigorosos: O Bedrock Guardrails filtra conteúdo, verifica a fundamentação e bloqueia dados confidenciais.
- Redes isoladas: O trabalho acontece dentro de redes protegidas com revisões humanas obrigatórias.</li
No que você ainda não deve confiar
A AWS afirma que este blueprint reduz o tempo de integração de fontes de semanas para horas. Esse número é uma alegação de projeto do fornecedor. Ninguém fora da AWS verificou isso ainda. A AWS não publicou custos totais, taxas de precisão dos resultados ou certificações formais de conformidade. Mesmo com a criação de perfis apenas com metadados, um agente ainda pode escrever um código ruim ou ignorar regras regulatórias sutis.
Por que esse design é importante
Modelos de IA podem ser imprevisíveis em produção. O ADOP evita esse risco usando IA apenas no momento da criação.
Isso é enorme para setores regulamentados.
Você pode inspecionar, testar e controlar a versão de código SQL ou PySpark padrão antes que ele acesse registros reais de clientes. No entanto, esse fluxo de trabalho exige esforço inicial. Você deve manter prompts claros, políticas rigorosas e revisões minuciosas. Se suas verificações iniciais forem fracas, o agente poderá repetir o mesmo bug em vários conjuntos de dados.
Como testar você mesmo
Comece aos poucos. Escolha dois ou três engenheiros de referência e selecione uma fonte de dados não crítica.
Construa esse pipeline duas vezes. Primeiro, construa-o manualmente e, depois, construa-o com o ADOP. Compare o tempo total de engenharia, os custos de tokens e de nuvem, as necessidades de retrabalho e as falhas de qualidade dos dados. Verifique o código gerado com cuidado em busca de vazamentos de rede ou segredos expostos.
Se o seu piloto se mostrar confiável, você poderá expandir o ADOP com segurança por toda a sua stack de dados.