Cursor 에이전트의 도입이 개발자 행동과 조직의 생산성 지표에 미치는 초기 효과를 분석한 연구 요약. 기본값 적용 후 병합 PR 39% 증가, 수락 행동과 계획 습관의 차이를 다룹니다.
우리는 개발자들이 업무에서 Cursor의 에이전트를 어떻게 활용하는지, 그리고 조직 차원에서 Cursor가 생산성에 미치는 영향에 관한 여러 미해결 질문에 관심이 있습니다.
시카고 대학교의 금융 및 응용 AI 조교수인 Suproteem Sarkar가 최근 연구를 진행해 수만 명의 Cursor 사용자를 대상으로 에이전트의 초기 효과를 분석했습니다.
이 연구는 Cursor의 에이전트가 기본값이 된 이후 기업들의 병합된 PR 수가 39% 증가했음을 발견했습니다. 또한, 숙련된 개발자일수록 코드를 작성하기 전에 더 많은 계획을 세우고, 에이전트를 보다 능숙하게 활용하는 것으로 보였습니다.
연구는 두 가지 신호를 살펴보았습니다: 사용자가 에이전트에게 요청을 보내는 빈도와, 에이전트의 코드 수정 제안을 얼마나 자주 수락하는지입니다. 사용자가 에이전트의 수정을 수락할지는 출력물이 의도와 얼마나 잘 맞는지, 그리고 생성된 코드를 적용하는 데 대한 개인의 기준에 달려 있습니다.
주니어 개발자는 Tab의 코드를 수락할 가능성이 더 높고, 시니어 개발자는 에이전트의 코드를 수락할 가능성이 더 높습니다. 경력 연수가 표준편차 1만큼 늘어날 때마다, 평균 대비 에이전트 수락률이 약 6% 증가하는 것으로 나타났습니다.
경력이 적은 개발자가 에이전트를 더 자주 사용하고 수락할 것이라고 예상했지만, 결과는 그 반대인 것으로 보입니다!
가능한 몇 가지 설명:
연구는 Agent가 Cursor에서 기본 모드가 된 이후 처리량과 품질의 대리 지표가 어떻게 변했는지를 측정했습니다. 에이전트 출시 이전부터 이미 Cursor를 사용하던 "적격" 조직과, 분석 기간 동안 Cursor를 사용하지 않았던 "기준선" 조직을 비교했습니다. 그 결과, 기준선 그룹의 시간 추세 대비 병합된 PR 비율이 39% 증가했습니다.
다른 지표를 보면, PR 리버트 비율은 유의미하게 변하지 않았고 버그픽스 비율은 소폭 감소했습니다. 또한 병합된 PR당 평균 수정된 줄 수와 평균 수정된 파일 수 역시 유의미한 변화가 없었습니다.
요청의 내용은 개발자들이 에이전트를 어떻게 사용하고 있으며 어떤 행동을 의도하는지를 보여줍니다. 1,000명의 사용자 표본에서 대화를 시작하는 요청은 크게 세 가지로 분류되었습니다: 코드 구현, 코드와 오류 설명, 그리고 실행 계획 수립. 대화를 시작하는 요청의 대부분(약 61%)은 구현이었으며, 이 경우 에이전트는 코드를 생성하도록 지시받습니다.
연구는 숙련된 개발자일수록 코드를 생성하기 전에 실행 계획을 세울 가능성이 더 높다는 사실을 발견했습니다.
소프트웨어 엔지니어링에서 AI의 경제적 영향을 측정하는 단일하고 결정적인 지표는 아직 없습니다. 모든 신기술과 마찬가지로, AI의 가치를 온전히 실현하려면 시간이 필요합니다.
우리는 이러한 초기 발견에 고무되어 있으며, Cursor가 생산성에 미치는 영향을 계속해서 연구하고자 합니다.
전체 연구는 여기에서 확인할 수 있습니다.
