2026년 8월 18일, Together AI는 벤치마크를 발표하여 두 가지 코딩 모델인 GPT-5.6 Sol과 DeepSeek V4 Pro 0813을 비교했습니다. AI 코딩 에이전트를 개발하고 있다면, 이번 테스트는 속도와 비용 사이의 균형을 맞추는 실용적인 교훈을 제공합니다.
테스트 결과 수치
Together AI는 113개의 DeepSWE 작업에서 총 904회의 롤아웃을 실행하며 각 모델에 네 번의 기회를 부여했습니다(모델당 452회 롤아웃). 데이터는 명확한 트레이드오프를 보여줍니다:
- 첫 번째 시도 정확도: GPT-5.6 Sol이 72.7%로 pass@1에서 앞섰고, DeepSeek V4 Pro 0813은 62.8%를 기록했습니다.
- 네 번 시도 정확도: DeepSeek은 88.5%로 pass@4에서 앞서며 Sol의 85.8%를 넘어섰습니다.
- 롤아웃 비용: DeepSeek은 롤아웃당 $0.24에 불과했던 반면, Sol은 $8.37였습니다.
- 속도 및 단계: Sol은 중앙값 기준 17분 및 53단계 만에 완료했습니다. DeepSeek은 35분 및 146단계가 걸렸습니다.
- 토큰 사용량: Sol은 59k의 출력 토큰을 사용한 반면, DeepSeek은 101k를 소모했습니다.
Sol은 빠르고, DeepSeek은 저렴합니다.
단일 모델 선택보다 라우팅이 더 나은 이유
두 모델의 강점이 서로 다르기 때문에, Together AI는 “Pro-first” 라우팅 캐스케이드를 테스트했습니다. 시스템은 DeepSeek을 먼저 실행하고, 테스트가 실패할 경우에만 GPT-5.6 Sol로 전환합니다.
이러한 라우팅 구성은 평균 $3.35의 비용으로 83.0%의 작업을 해결했습니다. 이는 Sol 단독 점수인 72.7%를 넘어서면서도 $8.37였던 비용을 절반 이상 절감한 것입니다. 스마트 라우팅은 비용을 절약해 줍니다.
유의해야 할 점
이 수치는 Together AI의 자체 테스트 환경에서 나온 것으로, 아직 회사 외부에서 독립적으로 검증되지 않았습니다. Together AI는 또한 DeepSeek V4 Pro가 미국 내 호스팅, 1.05M 컨텍스트 윈도우, function calling, JSON 모드 및 OpenAI 호환 API를 지원한다고 밝혔습니다. 파이프라인을 변경하기 전에 본인 계정에서 이러한 사양을 확인하세요.
팀에서 직접 테스트하는 방법
벤더의 벤치마크에만 의존하지 마세요. 비공개 코드베이스에서 두 모델을 직접 테스트해 보세요:
- 모델 ID를 고정하고 테스트 조건을 일정하게 유지하세요.
- 작업에 대해 단일 시도 및 네 번 시도 중 최고 결과(best-of-four) 평가를 실행하세요.
- Sol 단독 실행 대비 Pro-first 캐스케이드를 테스트해 보세요.
- 통과율, 소요 시간, 토큰 수, 비용을 추적하세요.
항상 사람이 코드 패치를 검토하도록 하세요. 테스트 통과가 반드시 좋은 코드를 보장하는 것은 아닙니다.