최근 메인 브랜치로 병합됐다가 되돌려지는 저품질 PR 패턴, AI 생성 변경 가능성, 리뷰어 번아웃, 커밋 메시지·가이드라인·권한 부여와 관련된 우려를 다룬 토론.
URL: https://discourse.llvm.org/t/concerns-about-low-quality-prs-being-merged-into-main/89748
tstellar (2일 전)
저는 특정 누군가를 지목하고 싶지 않습니다. 이건 모두에게 해당되는 문제라고 생각하기 때문입니다. 그런데 최근 들어 저를 걱정하게 만드는 패턴을 하나 발견하고 있습니다:
이런 패턴의 상당 부분이 AI가 생성한 변경 때문에 생기는 것 같다는 의심이 들지만, 확실히 알기는 어렵습니다. 제게는 리뷰어들이 실수가 아주 많은 패치를 리뷰하느라 완전히 지쳐버리고, 그 결과 리뷰에서 놓치는 것들이 생기는 것처럼 보입니다. 우리는 오랜 세월 동안 신규 기여자에게 인내심을 가지고 친절하게 대하도록 스스로를 훈련해 왔다는 걸 압니다. 하지만 이제는 AI로 그럴듯해 보이는 유효한 패치를 매우 쉽게 제출할 수 있게 되었으니, 우리의 접근 방식을 바꿔야 한다고 생각합니다.
이 글이 “AI를 쓰는 사람” == “나쁨” 같은 논쟁으로 비치길 원하지는 않습니다. 우리는 신규 기여자를 원하고, 사람들이 AI로 문제를 해결할 수 있다면 그건 훌륭한 일입니다. 하지만 리뷰어의 시간을 들일 만한 PR인지에 대한 어떤 기준선(bar)은 있어야 합니다.
상황이 더 나빠지기 전에 우리가 선제적으로 나서서 뭔가 해야 한다고 생각합니다. 저는 좋은 아이디어가 별로 없지만, 다른 누군가가 있기를 바랍니다. 그리고 리뷰어들만이 아니라 AI가 생성한 패치를 제출하는 사람들로부터도 피드백을 받는 것이 좋을 것입니다.
다만 제가 제안할 수 있는 한 가지 권고는, 리뷰어들이 커밋 메시지에 마크다운이 들어간 패치는 처음부터 바로 거절하라는 것입니다. 이는 AI 생성 콘텐츠의 특징(trademark)처럼 보이고, 커밋 메시지에는 대체로 반복적이거나 관련 없는 텍스트가 가득해서 실제로 무슨 일이 일어나고 있는지 이해하기 어렵게 만듭니다. 패치를 리뷰할 때 커밋 메시지도 우리가 리뷰해야 하는 항목 중 하나라는 점을 기억해 주세요. 그래서 우리가 “Squash and Merge” 전략을 사용하고 있는 것입니다. 그렇게 하면 커밋 메시지가 PR 본문에 바로 나타나니까요.
읽는 데 10분
jdenny-ornl (2일 전)
마크다운을 리트머스 테스트(litmus test)로 쓰지 말아 주세요. 저는 커밋 메시지나 코드 작성에 AI를 전혀 사용하지 않지만, 커밋 메시지에는 보통 마크다운을 사용합니다. 그게 일반적인 거라고 생각해 왔습니다.
arsenm (2일 전)
문제가 된 패치의 리뷰어로서, 네, 같은 피드백을 여러 라운드에 걸쳐 반복해서 말하느라 지쳤습니다. 하지만 이 상황에서는 실제 변경은 최소한이고, 아주 자명하게 올바릅니다. 리뷰의 대부분은 테스트 변경에 관한 것이었습니다. 이 경우 논쟁의 대부분은 기존에 이미 깨져 있는(breakage) 부분에 대한 테스트 커버리지를 유지하는 문제와 관련되어 있었습니다. 최종 변경이 올바르다고는 생각하지만, 새니타이저에서는 실패하는 것으로 알려져 있지만(known to fail) 새니타이저에서 해당 테스트가 실패한다는 사실을 추적하기 위해 존재하는 테스트들에 대해 어떤 해결책이 맞는지는 잘 모르겠습니다.
MacDue (2일 전)
저도 마크다운은 집중할 대상이 아니라고 동의합니다. 하지만 해당 PR 요약에는 (실제 변경이 얼마나 사소한지에 비해) 너무 많은 중복 정보가 들어 있습니다. 그래서 그 부분에 대한 가이드라인이 더 낫지 않을까 합니다.
tstellar (2일 전)
사실 문제는 이 특정 PR 하나가 아닙니다. 제가 본 이 패턴의 많은 사례 중 하나일 뿐이고, 제가 가장 우려하는 점은 제가 커밋 전/후 리뷰를 그렇게 많이 하고 있지 않다는 것입니다. 저는 주로 다른 일을 위해 git 로그를 뒤지고 있다가 이런 것들을 마주치고 있습니다. 그러다 보면 제게는 조금 이상해 보이는 커밋들을 계속 발견하게 됩니다.
여전히 커밋 권한을 얻는 것이 매우 쉽고, 패치가 커밋되기 전에 누가 리뷰해야 하는지에 대한 규칙도 그리 엄격하지 않습니다. 이런 AI 도구들은 사용자가 프로젝트에 대한 경험이나 지식을 크게 쌓지 않은 상태에서도 커밋 권한을 얻기 위한 요구 사항을 충족하기 훨씬 쉽게 만들어 주고 있습니다. 우리가 경험 많은 리뷰어들을 번아웃시키고, 그 뒤로 경험 없는 신규 기여자가 유입되어 그들이 다시 패치 리뷰를 하기 시작한다면, 이 문제는 눈덩이처럼 불어나 빠르게 훨씬 더 악화될 것입니다.
reinterpretcast (2일 전)
jrtc27 (2일 전)
shafik (2일 전)
jdenny-ornl (2일 전)
pinskia (2일 전)
nikic (2일 전)
banach-space (1일 전)
Thibaultm (1일 전)
shiltian (1일 전)
kuhar (1일 전)
banach-space (1일 전)
rnk (1일 전)
ChuanqiXu (1일 전)
shafik (1일 전)
ChuanqiXu (23시간 전)
아래에 게시물 더 불러오기
