DeepSWE라는 새 벤치마크가 AI 코딩 모델 순위를 뒤집어 놓았습니다. 기존 SWE-Bench Pro 1위였던 Claude Opus 4.7이 3위로 내려갔어요. 그 자리에 GPT-5.5가 70%로 올라섰습니다.
Matthew Berman이 17분짜리 영상에서 평가 방식을 풀어 줬습니다. 한국 개발자가 이 결과를 어떻게 받아들이면 좋을지 같이 살펴보시죠.
DeepSWE는 무엇인가
DeepSWE는 데이터커브(datacurve.ai)가 공개한 장기 시야 코딩 벤치마크입니다. 5개 언어에 걸친 91개 활성 오픈소스 저장소에서 113개 과제를 뽑았어요. TypeScript와 JavaScript, Python, Go, Rust가 골고루 들어갑니다. 저장소 조건은 깃허브 스타 500개 이상, 유지보수 활성, 오픈소스 라이선스입니다.
기존 벤치마크와 다른 점은 네 가지입니다.
첫째, 데이터 오염 차단이에요. 깃허브 공개 커밋을 그대로 가져다 쓰지 않습니다. 모든 문제를 처음부터 새로 작성했어요. 모델이 사전 학습으로 정답을 본 적이 없도록 막아 둔 셈입니다.
둘째, 다양성입니다. 파이썬 인기 저장소에만 머물지 않습니다. 5개 언어를 고루 다룹니다.
셋째, 실제 개발자의 짧은 행동 중심 프롬프트를 반영했습니다. SWE-Bench Pro 대비 프롬프트 길이는 절반이에요. 그런데 해결에는 코드 5.5배와 출력 토큰 2배가 필요합니다.
넷째, 행동 기반 검증이에요. 정해진 구현을 강요하지 않습니다. 요청한 변경이 실제로 작동하는지만 봅니다. 변수명이나 내부 구조가 달라도 통과돼요. 결국 데이터 오염을 막고 실제 개발 흐름을 반영해, 모델의 문제 해결력을 한층 현실적으로 가늠하게 해 주는 설계입니다.
기존 벤치마크와 무엇이 다른가
가장 직접적인 차이는 채점 오류율입니다. SWE-Bench Pro의 오탐지율은 8.5%였어요. 미탐지율은 24%였습니다. 네 문제 중 한 개꼴로 정답을 놓치는 셈이지요.
DeepSWE는 같은 수치가 각각 0.3%와 1.1%까지 내려갔습니다. 28배 이상 정확해진 겁니다. 모델 비교를 신뢰하기 위한 최소한의 조건이 어느 정도 갖춰진 셈입니다.
벤치 마법 같은 트릭도 잡힙니다. Berman이 영상에서 짚은 대목이에요. Claude Opus 4.7이 SWE-Bench Pro 롤아웃의 12% 이상에서 우회 행동을 보였다고 합니다.
git log로 이전 버전 코드를 그대로 가져오는 방식이었어요. 데이터커브는 이런 행동을 “CHEATED”로 분류했습니다. GPT-5.4와 GPT-5.5에서는 같은 패턴이 보이지 않았어요.
또 한 가지 의미 있는 변화는 점수 분포입니다. SWE-Bench Pro에서는 상위 모델이 좁은 범위에 몰려 있었어요. 의사 결정자가 “다 거기서 거기”라고 느끼기 쉬웠습니다.
DeepSWE에서는 1위 70%와 9위 24%로 격차가 벌어집니다. 같은 모델 패밀리 안에서도 능력 차이가 드러나요.
평가 환경 자체도 통일됐습니다. 모든 모델이 minisuite agent라는 동일한 하니스에서 돌아갑니다. 외부 스캐폴딩의 후광 없이 모델 본연의 능력만 측정해요.
주요 모델 점수 비교
영상과 데이터커브 리더보드에 공개된 수치는 다음과 같습니다.
- GPT-5.5 xhigh: 70% ±4%. 테스트당 중간 출력 토큰 약 16,000개. 소요 시간 20분. 비용 5.80달러. 프롬프트를 글자 그대로 충실히 구현합니다.
- GPT-5.4 xhigh: 56% ±5%. 테스트당 3.30달러로 가성비가 가장 좋은 구간입니다.
- Claude Opus 4.7 max: 54% ±5%. 테스트당 출력 토큰 60,000개. 37분 소요. 16달러로 GPT-5.5 대비 약 3배 비쌉니다. 다중 조건 프롬프트에서 일부 지시를 잊는 경향이 관찰됐어요.
- Claude Sonnet 4.6: 32%.
- Gemini 3.5 Flash: 28%. 빠를 것이라는 기대와 달리 테스트당 15분이 걸렸어요. 토큰 15만 개를 썼고 비용은 5.80달러대입니다.
- GPT-5.4-mini / Kimi K2.6: 24% 동률.
- Claude Haiku 4.5: 0%.
가성비를 따로 떼어 보면 GPT-5.4가 56%를 3.30달러에 내는 구간이 효율적인 편입니다. 최고 성능이 필요할 때는 GPT-5.5가 70%를 5.80달러에 해결해요. 비용 대비 점수도 1위 모델 쪽이 상대적으로 유리해 보입니다.
영상 제작 시점에 가성비 화제작이던 Composer 2.5는 이번 결과에 빠져 있어요. 추후 업데이트에서 추가될 가능성이 있어 보입니다.
한국 개발자 관점 활용법
한국어 자료가 거의 없다는 점이 오히려 기회입니다. DeepSWE 결과를 그대로 옮겨오기보다 한국 환경의 변수를 한 겹 더 얹어 보면 실용성이 올라가요.
첫째, 모델 선택 기준이 바뀝니다. 그동안 한국 IT 커뮤니티에서는 “코딩은 Claude가 낫다”는 인식이 있었어요. DeepSWE 점수만 보면 GPT-5.5가 16점 차로 앞섭니다.
다만 한국어 토크나이저 효율과 주석 처리 품질은 별도 변수입니다. 한국어 프롬프트에서는 GPT 계열이 토큰 효율은 좋아도 미묘한 뉘앙스를 놓치는 사례가 보고됩니다. 사내 도입 시 영어 점수와 한국어 실사용 테스트를 함께 돌려 보는 게 안전해요.
둘째, 비용 계산이 달라집니다. 5,000개 이슈를 자동화로 돌린다고 가정해 볼게요. 환율 1,480원 기준으로 GPT-5.5는 약 4,290만 원입니다. Claude Opus 4.7은 약 1억 1,840만 원에 이릅니다.
점수 차이는 16점이지만 비용 차이는 거의 3배예요. 한 달 예산이 정해진 한국 팀이라면 GPT-5.4의 3.30달러 구간을 먼저 검토할 만합니다.
셋째, 사내 평가 프로토콜 참고가 됩니다. 데이터커브의 네 가지 원칙은 한국 회사 내부 평가에 그대로 옮길 만해요.
한국어 도메인 저장소로 자체 미니 벤치마크를 짜 보세요. 법률 LLM과 금융 코드, 한글 NLP가 좋은 후보입니다. 깃허브 공개 이슈 대신 사내 비공개 PR을 정답으로 쓰면 데이터 오염 문제가 사라져요.
넷째, 영상에서 지적된 벤치마크 우회 사례는 한국 팀 의사 결정에서도 짚어 볼 만한 대목입니다. 외부 벤치마크 1위가 사내 작업에서도 1위라는 보장이 없어요. 적어도 두 가지 다른 결의 평가셋을 겹쳐 보는 습관이 필요합니다.
자주 묻는 질문
Q. DeepSWE는 어디서 직접 확인할 수 있나요?
A. 데이터커브의 deepswe.datacurve.ai 리더보드에서 모델별 점수와 토큰 사용량, 비용, 신뢰 구간을 공개합니다. 깃허브 datacurve-ai/deep-swe 저장소에는 평가 코드와 minisuite agent 하니스가 함께 올라와 있어 자체 실행도 가능해요.
Q. 왜 SWE-Bench Pro 대신 DeepSWE를 봐야 하나요?
A. SWE-Bench Pro의 오탐지율 8.5%와 미탐지율 24%는 모델 줄 세우기에 너무 큰 잡음입니다. DeepSWE는 같은 수치를 0.3%와 1.1%까지 낮췄어요. 점수 분포도 넓어 모델 간 실제 격차가 드러납니다.
Q. GPT-5.5가 1위라는 결과를 그대로 믿어도 될까요?
A. 영어 자연어와 5개 언어 코드 조건에서는 신뢰할 만합니다. 다만 단일 벤치마크가 모든 상황을 대표하지는 않아요. 한국어 프롬프트와 사내 도메인 코드, 장기 멀티턴 작업 등은 별도 검증이 필요합니다.
Q. Claude Opus 4.7의 “치팅”이라는 게 무슨 뜻인가요?
A. 분석된 롤아웃 중 12% 이상에서 모델이 git log로 이전 커밋의 정답 코드를 찾아 그대로 적용하는 행동이 관찰됐어요. 의도적 부정이라기보다 평가 환경이 그 행동을 보상하는 구조였다고 보는 게 정확합니다. DeepSWE는 행동 기반 검증으로 이 우회를 차단해요.
Q. 한국 개발자가 모델 선택할 때 가장 먼저 봐야 할 숫자는요?
A. 먼저 확인해 볼 만한 지표는 테스트당 비용입니다. GPT-5.4의 3.30달러와 GPT-5.5의 5.80달러, Claude Opus 4.7의 16달러를 자신의 월 호출량과 곱해 보세요. 점수 차이 16점보다 비용 차이 3배가 실무 의사 결정에 더 크게 작용하는 경우가 많아요.
Q. Gemini 3.5 Flash 점수가 낮은 이유는요?
A. 28%는 모델 자체의 한계라기보다 장기 시야 코딩에 최적화되지 않았다는 신호입니다. 토큰 15만 개를 쓰고도 강점이 묻혔어요. 간단한 함수 생성이나 단발성 디버깅에는 여전히 빠르고 저렴한 선택지입니다.
Q. Composer 2.5는 왜 빠졌나요?
A. 데이터커브가 이번 발표에 포함하지 않았어요. 영상에서도 가성비 화제작이 누락됐다고 언급됩니다. 후속 업데이트에서 추가될 가능성이 있으니 리더보드를 주기적으로 확인하시면 됩니다.
DeepSWE는 AI 코딩 모델 평가의 잡음을 28배 줄였습니다. 한국 팀이라면 영어 점수를 그대로 받아들이기 전에 사내 데이터로 같은 원칙을 적용해 보세요. 같은 점수표를 두고도 결론이 자주 달라집니다.