AWS가 AWS Machine Learning Blog를 통해 Agentic Data Operations Platform(ADOP)이라는 새로운 블루프린트를 공개했습니다. 이 플랫폼은 AI 에이전트를 활용해 데이터 파이프라인을 작성합니다. 이를 통해 팀은 수 주가 걸리던 느리고 수동적인 설정 작업을 건너뛸 수 있습니다.
ADOP가 데이터 파이프라인을 구축하는 방법
ADOP는 데이터 팀이 Bronze, Silver, Gold 데이터 단계를 거쳐 데이터셋을 이동할 수 있도록 돕습니다. 소스 온보딩, 데이터 변환, 품질 검사 실행과 같은 지연되기 쉬운 작업을 처리합니다. 또한 시맨틱 레이어를 업데이트하고 워크플로를 조정합니다.
모든 코드를 직접 작성하는 대신 메인 Data Onboarding Agent를 사용합니다. 이 에이전트는 Claude Code 및 Amazon Bedrock에서 실행됩니다. 이 에이전트는 특정 작업을 위해 더 작은 보조 에이전트들을 생성합니다:
- Metadata and ontology: 스키마 태그 생성 및 데이터 구조 찾기.
- Transformations and quality: ETL 코드 작성 및 데이터 품질 규칙 설정.
- Workflow orchestration: Apache Airflow 또는 AWS Step Functions용 파이프라인 DAG 구축.
에이전트가 작업을 마치면 엔지니어가 코드를 검토합니다. 이후 CI/CD 파이프라인이 표준 PySpark, SQL, DAGs, IAM 정책, Cedar 보안 규칙을 스테이징 및 프로덕션 환경에 배포합니다.
가장 중요한 점은 실제 프로덕션 파이프라인이 AI 모델을 호출하지 않고 표준 코드를 실행한다는 것입니다. 설정 단계에서는 AI의 빠른 속도를 누리면서도, 프로덕션에서는 예측 가능한 안정성을 확보할 수 있습니다.
가드레일 및 보안 제어
AWS는 기업 데이터를 보호하기 위해 여러 보안 계층을 추가했습니다:
- No raw data exposure: 에이전트는 스키마 메타데이터, 샘플 수, 열 통계만 볼 수 있습니다.
- Safe secrets: 시스템 자격 증명은 실행 시점에 배포됩니다. 에이전트 프롬프트에는 절대 포함되지 않습니다.
- Strict guardrails: Bedrock Guardrails가 콘텐츠를 필터링하고 그라운딩을 확인하며 민감한 데이터를 차단합니다.
- Isolated networks: 필수적인 사람의 검토와 함께 보호된 네트워크 내부에서 작업이 이루어집니다.
아직 맹신해서는 안 되는 부분
AWS는 이 블루프린트가 소스 온보딩 시간을 몇 주에서 몇 시간으로 단축한다고 주장합니다. 이 수치는 벤더 측의 설계상 주장입니다. AWS 외부에서는 아직 아무도 이를 검증하지 않았습니다. AWS는 총비용, 결과물 정확도, 공식 규제 준수 인증을 공개하지 않았습니다. 메타데이터 전용 프로파일링을 사용하더라도 에이전트가 잘못된 코드를 작성하거나 미묘한 규제 규칙을 놓칠 가능성은 여전히 존재합니다.
이러한 설계가 중요한 이유
AI 모델은 프로덕션 환경에서 예측하기 어려울 수 있습니다. ADOP는 빌드 시점에만 AI를 사용하여 이러한 위험을 방지합니다.
이는 규제가 엄격한 산업군에 큰 의미를 갖습니다.
실제 고객 데이터에 적용되기 전에 표준 SQL 또는 PySpark 코드를 점검, 테스트 및 버전 관리할 수 있습니다. 그러나 이 워크플로에는 사전 작업이 필요합니다. 명확한 프롬프트, 엄격한 정책, 철저한 검토를 유지해야 합니다. 초기 점검이 미흡하면 에이전트가 여러 데이터셋에 걸쳐 동일한 버그를 반복해서 만들어낼 수 있습니다.
직접 테스트하는 방법
작게 시작하세요. 두세 명의 주도적인 엔지니어를 지정하고 중요도가 낮은 데이터 소스 하나를 선택하세요.
해당 파이프라인을 두 번 구축해 보세요. 먼저 수작업으로 구축한 다음, ADOP를 사용해 구축해 봅니다. 총 엔지니어링 시간, 토큰 및 클라우드 비용, 재작업 필요성, 데이터 품질 실패 사례를 비교하세요. 생성된 코드에 네트워크 유출이나 노출된 보안 정보가 없는지 면밀히 확인하세요.
파일럿 테스트의 안정성이 입증되면 데이터 스택 전반으로 ADOP를 안전하게 확장할 수 있습니다.