Real-SWE가 드러낸 AI 코딩의 한계
AI 코딩 에이전트가 공개 예제는 잘 풀어도, 낯선 기업의 운영 코드까지 안전하게 수정할 수 있을까요? Real-SWE는 이 질문에 답하기 위해 실제 비공개 프로덕션 코드와 현업 업무로 모델을 평가했어요.
1. Real-SWE, 실제 기업 코드로 평가하다
Real-SWE는 기업으로부터 라이선스를 받은 비공개 코드베이스에서 현업 엔지니어가 수행하는 작업을 그대로 가져온 벤치마크예요. 인터넷에서 정답을 찾을 수 없기 때문에 모델이 코드를 직접 탐색하고 회사 고유의 규칙을 이해해야 해요.
과제에는 세금·청구 계산, 고객 데이터 이전, API 사용량 측정처럼 사업 운영에 직접 영향을 주는 작업이 포함됐어요. 예를 들어 청구 시스템을 수정하려면 면세 고객, 국가별 세율, 외부 세금 서비스, 거래 원장까지 함께 고려해야 하죠.
평가는 모델만 따로 비교하지 않고 Codex CLI, Claude Code, Gemini CLI 같은 **네이티브 하네스(에이전트 실행 환경)**와 결합해 진행했어요. 모든 모델에는 높은 추론 설정을 적용했고, 격리된 샌드박스에서 검증 테스트를 주입해 결과를 채점했습니다.
2. 최고 모델도 해결률은 46.25%
1위인 GPT-6 Astra조차 해결률이 46.25%에 그쳤어요. 해결률은 각 과제를 모델별로 8회 실행한 pass@1 평균이며, 결과에는 95% 신뢰구간이 적용됐습니다.
주요 순위는 다음과 같아요.
GPT-6 Astra: 46.25%,Codex CLIFable 5.1: 45.00%,Claude CodeGemini 3.8 Flash: 38.75%,Gemini CLIGLM 5.3: 37.50%,Claude CodeMuse Spark 1.3: 36.25%Grok 4.6: 32.50%GPT-5.6 Sol: 26.25%Kimi K3: 20.00%
모든 과제를 해결한 모델은 없었어요. 특히 10개 분석 과제 가운데 4개는 해결률이 15% 미만이었고, Analytics stream reducer는 0%, 세금 관할권 처리는 **3.1%**에 불과했습니다.
3. 짧은 지시가 더 넓은 수정을 요구한다
Real-SWE의 지시문 길이 중앙값은 1,742자로 비교적 짧지만, 정답 구현은 중앙값 기준 11개 파일을 수정해야 했어요. FrontierCode와 DeepSWE의 6개보다 변경 범위가 훨씬 넓습니다.
이는 “API 사용량을 정확히 청구해 달라”는 요청 하나가 인증, 데이터 저장, 집계 로직, 청구서 생성까지 이어질 수 있다는 뜻이에요. 에이전트는 요구사항에 적히지 않은 구현 위치와 기존 설계 패턴도 코드에서 찾아내야 합니다.
실제로 기업이 도입을 검토한다면 단일 함수 생성보다 여러 서비스가 연결된 변경 작업으로 파일럿 테스트를 해야 해요. 그래야 모델이 자사 아키텍처와 업무 규칙을 얼마나 정확히 이해하는지 확인할 수 있습니다.
4. 가장 흔한 실패는 요구사항 누락
실패 원인은 크게 검증하지 않은 가정, 요구사항 누락, 통합 오류, 회귀, 잘못된 파일 수정으로 분류됐어요. 모델마다 비율은 달랐지만, 요구사항을 빠뜨리거나 주변 시스템과 잘못 연결하는 문제가 공통적으로 두드러졌습니다.
예를 들어 Kimi K3는 실패 실행의 54.7%가 요구사항 누락이었고, Gemini 3.8 Flash는 42.9%가 통합 오류였어요. GPT-5.6 Sol은 검증하지 않은 가정과 요구사항 누락이 각각 35.6%를 차지했습니다.
실행 시간이 길다고 성공률이 높아지는 것도 아니었어요. 10분 미만 실행은 57.4%가 실패했지만, 10분 이상 실행은 오히려 66.2%가 실패해 오래 고민하는 것보다 가정을 확인하고 테스트하는 과정이 중요함을 보여줬습니다.
5. 비용과 성능은 비례하지 않는다
실행당 예상 비용은 2.50~6.96달러였지만, 더 비싼 모델이 항상 높은 해결률을 기록하지는 않았어요. Fable 5.1은 6.96달러로 가장 비쌌고 45%를 기록한 반면, GPT-6 Astra는 4.67달러로 46.25%를 달성했습니다.
Gemini 3.8 Flash는 2.50달러로 가장 저렴하면서도 38.75%를 기록해 비용 효율 측면에서 눈에 띄었어요. 따라서 기업은 모델 순위만 볼 것이 아니라 과제별 성공률, 실행 비용, 출력 토큰, 도구 호출량을 함께 비교해야 합니다.
실무에서는 결제·세금처럼 위험도가 높은 업무에는 사람의 승인과 회귀 테스트를 두고, 문서화나 반복 수정부터 자동화하는 방식이 현실적이에요. Real-SWE의 결과는 AI 에이전트가 유용한 수준에 도달했지만, 독립적인 소프트웨어 엔지니어를 대체하기에는 아직 검증 장치가 필요하다는 점을 분명히 보여줍니다.
결국 중요한 것은 가장 높은 점수의 모델을 고르는 일이 아니라, 우리 회사 코드에서 어떤 실패를 만드는지 확인하는 일이에요. 도입 전 실제 업무와 유사한 비공개 과제로 평가하고, 요구사항 체크리스트와 통합 테스트를 운영 과정에 반드시 포함해 보세요.
