
오픈AI가 18일 내부 연구 업무에서 코딩 에이전트가 거둔 성과를 공개했다. 사람에게 2~4시간 걸리는 과제를 AI 에이전트가 단독으로 성공한 비율은 올해 3월 23%에서 10월 46%로 올랐다는 자체 측정이다. 다만 분야별 성과 차이가 크고, 연구자 판단과 검증이 여전히 필요하다고 회사는 설명했다.
긴 과제도 개선됐지만 업무별 성과 차이
사람이 4~8시간 걸리는 과제의 성공률은 같은 기간 13%에서 35%로 높아졌다. 훈련 실행을 모니터링하는 과제에서는 79%를 기록한 반면, 새 훈련 실행을 시작하는 업무는 35%, 추론·서빙 코드를 작성하는 업무는 25%였다. 하나의 평균치만으로 연구 전반이 자동화됐다고 해석하기 어려운 이유다.
활용 늘어도 인간 연구자가 중심
10월 연구자의 하루 API 이용량을 정가로 환산한 중앙값은 2,400달러로 전달보다 62% 늘었다. 상위 10%는 2만3,000달러로 105% 증가했다. 이는 실제 청구액이나 연구 투자 비용이 아니라 정가 기준 사용량 환산값이다. 안전·정렬 연구에서 기록된 작업주도 1~9월 사이 77% 늘었다고 오픈AI는 밝혔다.
이번 수치는 오픈AI 내부 과제와 측정 방식에 따른 결과다. 표본이나 과제 구성이 달라지면 성과도 달라질 수 있고, 다른 연구기관의 업무에 그대로 적용할 수 없다. AI가 연구자를 대신한다기보다 반복적인 코딩·실험 관리의 일부를 돕는 도구로 쓰인다는 점을 구분해야 한다.
참고 자료: 오픈AI 공식 블로그 「The jagged frontier of research acceleration」


