Mitchell Hashimoto가 AI에 대한 집단적 망상, 소프트웨어 개발에서 MTTR 중심 사고의 위험, 그리고 인프라에서 이미 배운 교훈이 다시 반복되는 것에 대한 우려를 이야기한다.
저는 지금 심각한 AI 집단적 망상에 빠져 있는 회사들이 분명 존재한다고 강하게 믿습니다. 그들과는 이 문제에 대해 이성적인 대화를 나누는 것이 불가능합니다. 깊이 존경하는 개인적 친구들이 포함되어 있어서 특정인을 지목할 수는 없지만, 이것이 어떻게 전개될지 걱정됩니다. 저는 클라우드와 클라우드 자동화로 전환하던 시기에 인프라 분야에서 벌어졌던 거대한 MTBF 대 MTTR(평균 고장 간격 대 평균 복구 시간) 재평가를 직접 겪었습니다. 그때의 모든 논쟁이 다시 흉하게 고개를 들고 있습니다. 그런데 이제는 그 대상이... 소프트웨어 개발 산업 전체입니다(어쩌면 정말로 세상 전체일지도 모릅니다). 무섭습니다. 왜냐하면 이런 집단적 망상에 빠진 사람들은 거의 절대적인 "MTTR만 있으면 된다"는 사고방식으로 움직이기 때문입니다. "버그를 배포해도 괜찮아. 에이전트가 인간이 할 수 없는 규모와 속도로 너무 빨리 고칠 테니까!" 우리는 인프라에서 MTTR이 훌륭하다는 것은 배웠지만, 그렇다고 회복탄력적인 시스템 자체를 완전히 내다버릴 수는 없다는 것도 배웠습니다. 가장 큰 문제는, 제가 개인적으로 아는 사람들에게 이 문제를 어떻게 꺼내야 할지조차 모르겠다는 점입니다. 왜냐하면 이 주제를 꺼내는 순간 "아니 아니, 테스트 커버리지는 완전해"라든가 "버그 리포트는 줄고 있어" 같은 말로 즉시 일축되기 때문입니다. 하지만 그런 것들은 전체 그림을 보여주지 않습니다. 우리는 이미 인프라에서 이 교훈을 한 번 배웠습니다. 자동화를 밀어붙이다 보면, 매우 회복탄력적이지만 동시에 재앙을 만들어내는 기계 같은 상태에 이를 수 있습니다. 시스템은 국소적인 지표로는 건강해 보일 수 있지만, 전체적으로는 점점 이해 불가능한 상태가 될 수 있습니다. 버그 리포트는 줄어들어도 잠재된 위험은 폭증할 수 있습니다. 테스트 커버리지는 올라가도 의미론적 이해는 떨어질 수 있습니다. 변화가 너무 빠르게 일어나서, 아무도 기반 아키텍처가 붕괴하고 있다는 사실을 알아차리지 못합니다. 저는 걱정됩니다.
