URL: https://t.co/1qGtbFfxui

내가 OpenAI에 합류한 이유

AI 데이터센터의 엄청나고 빠르게 증가하는 비용은, 역사상 그 어느 때보다도 성능 엔지니어링을 요구하는 경종이다. 이는 단지 비용을 절감하는 문제가 아니라 지구를 구하는 문제이기도 하다. 나는 이 과제를 직접 해결하기 위해 OpenAI에 합류했으며, 초기에는 ChatGPT 성능에 집중할 예정이다. 규모는 극단적이고 성장 속도는 믿기 어려울 정도다. 데이터센터 성능 분야의 리더로서, 내가 아는 방식의 성능 엔지니어링만으로는 충분하지 않을 수 있다는 것을 깨달았다. 그래서 이전보다 더 큰 최적화를 찾아내고, 더 빠르게 찾아낼 수 있도록 새로운 엔지니어링 방법을 고민하고 있다. 이는 일생일대의 기회이며, 규모가 이미 성숙한 환경과는 달리 장애물이 없어 보인다. 바꾸기 너무 어렵다고 여겨지는 영역도 없다. 무엇이든, 대규모로, 그리고 지금 당장 해내는 것.

그렇다면 왜 하필 OpenAI인가? 업계 전문가들과 친구들에게 여러 회사를 추천받았고, 특히 OpenAI가 자주 언급됐다. 하지만 나는 여전히 AI 도입에 대해 다소 냉소적이었다. 다른 사람들처럼 나도 여러 회사의 AI 사용 광고에 끊임없이 노출되고 있었지만, 과연 실제로 누가 쓰고 있는지 궁금했다. 일상적인 사람들의 일상적인 용도로 말이다. 그러던 어느 날, 면접으로 바쁜 시기에 나는 머리를 잘라야 한다는 걸 깨달았다(공교롭게도 그날은 내가 샘 올트먼과 이야기하기로 되어 있던 바로 전날이었다).

미용사 미아는 일을 시작했고, 무심하게 내 직업이 무엇인지 물었다. “저는 인텔 펠로우이고, 데이터센터 성능을 다룹니다.” 침묵. 아마도 데이터센터가 무엇인지, 혹은 인텔이 무엇인지 몰랐던 것 같다. 나는 덧붙였다. “AI 데이터센터에서 일하는 새 직장을 알아보는 중이에요.” 그러자 미아의 표정이 환해졌다. “아, 저 ChatGPT 맨날 써요!” 머리를 자르는 동안—꽤 시간이 걸리는데—미아는 ChatGPT를 어떻게 활용하는지 여러 이야기를 들려줬다. (물론 나는 꼼짝없이 들어야 하는 처지였다.) 그녀는 내가 생각지도 못했던 용도를 설명했고, 나는 ChatGPT가 모든 사람에게 필수 도구가 되어 가고 있음을 깨달았다.

예를 하나 들면, 그녀는 멀리 떨어진 도시로 여행 중인 친구를 걱정하고 있었다. 서로 시간대가 달라 대화가 겹치는 시간이 많지 않았지만, 그녀는 그 도시가 어떤 곳인지, 친구가 어떤 관광 활동을 하고 있을지 등을 ChatGPT와 언제든지 이야기할 수 있었고, 그 덕분에 연결되어 있다는 느낌을 받을 수 있었다. 그녀는 메모리 기능도 좋아했는데, 마치 그곳에 살고 있는 사람과 이야기하는 것 같다고 했다.

나는 이전에도 부동산 중개인, 세무사, 파트타임 양봉가 등 무작위로 만난 사람들과 AI에 대해 이야기를 나눠본 적이 있다. 모두가 열정적으로 ChatGPT 활용법을 들려줬고, 예컨대 양봉가는 소규모 사업 서류 작업을 돕는 데 ChatGPT를 쓴다고 했다. 내 아내는 이미 헤비 유저였고, 나도 점점 더 자주 사용하고 있었다. 예를 들어 기술자(수리업자)들이 제시한 견적을 상식적으로 검증(sanity-check)하는 데 쓰곤 했다.

그런데 이제는, 인텔보다 _ChatGPT_를 브랜드로 더 빨리 알아보는 미용사가 그 기술을 칭찬하며 나에게 사용법을 가르치고 있었다. 머리를 자른 뒤 길거리에서 나는 이게 얼마나 큰 일인지 곱씹었다. 이 기술이 얼마나 많은 사람들에게 필수적인 조력자가 되었는지, 내가 성능 개선을 이끌어 지구를 구하는 데 보탬이 될 수 있다는 점을 말이다. OpenAI에 합류하는 것은 내 인생에서 가장 큰 기회일지도 모른다.

많은 사람들이 알아보고 고마워하는 큰 무언가를 만드는 일은 즐겁다. 나는 넷플릭스에서 일할 때 그런 감정을 느꼈고, 직장을 옮긴 뒤에는 그 인간적인 연결감을 그리워해 왔다. 하지만 유명한 제품 외에도 고려해야 할 요소들이 있다. 내 역할은 무엇인지, 누구와 함께 하는지, 그리고 보상은 어떤지.

나는 여러 AI 기술 대기업들과 면접과 미팅을 총 26번(물론 기록을 남겼다) 진행했고, 그들이 어떤 엔지니어링을 하고 있는지, 또 그 일을 하는 엔지니어들이 어떤 사람들인지 많은 것을 배웠다. 일 자체는 넷플릭스의 클라우드 엔지니어링을 떠올리게 했다. 엄청난 규모, 클라우드 컴퓨팅의 도전 과제, 빠른 코드 변경, 그리고 엔지니어가 영향력을 발휘할 자유. 스택 전반에 걸쳐 매우 흥미로운 엔지니어링 문제가 많다. GPU만의 문제가 아니라 모든 것이 문제다.

내가 만난 엔지니어들은 인상적이었다. AI 대기업들은 채용에서 매우 까다로웠고, 나조차 면접을 통과할 수 있을지 완전히 확신하지 못할 정도였다. 내가 이야기한 회사들 중 OpenAI에는 내가 이미 알고 있던 뛰어난 엔지니어가 가장 많았고, 바딤(Vadim) 같은 전 넷플릭스 동료들도 있었다. 바딤은 내게 합류를 권했고, 넷플릭스 시절에는 성능 이슈를 가져와 내가 디버깅하고 고치는 과정을 옆에서 지켜보곤 했다. 회사 안에 나를 잘 알고, 일도 잘 알고, 내가 그 일을 잘할 거라고 믿어주는 사람이 있다는 것은 큰 플러스다.

일부 사람들은, 컴퓨터 성능 분야에서 잘 알려진 인물인 내가 OpenAI에 합류했다는 사실 자체가 무엇을 의미하는지에 흥분할지도 모른다. 나 역시 훌륭한 성과를 내고 싶다. 하지만 동료들에게 공정하게 말하자면, OpenAI에는 이미 업계에서 알던 베테랑을 포함해 성능 엔지니어가 여럿 있고, 그들은 중요한 성과를 찾아내느라 바쁘게 일해왔다. 나는 첫 번째가 아니라, 그저 가장 최근에 합류한 사람일 뿐이다.

Orac 만들기

AI는 나에게도 오래전부터 꿈이었다. 어린 시절 나는 영국 SF를 좋아했고, 특히 블레이크의 7(Blake's 7, 1978–1981)에는 Orac이라는 비꼬는 말투에 자기주장이 강한 슈퍼컴퓨터가 등장한다. 등장인물들은 Orac과 대화하며 조사 작업을 시킬 수 있었다. Orac은 우주에 있는 다른 모든 컴퓨터와 통신하고, 그들에게 일을 위임하고, 제어할 수도 있었다(1978년에는 우리가 아는 인터넷 이전이었으니 매우 미래적이었다).

Orac은 블레이크의 7 세계관에서 가장 가치 있는 존재로 여겨졌고, 내가 대학에서 공학을 공부하던 시절에는 Orac을 직접 만들고 싶었다. 그래서 자연어 처리 소프트웨어를 개발하기 시작했다. 하지만 크게 진전되지는 못했다. 당시의 메인 메모리 용량은 전체 사전과 메타데이터를 저장하기에 충분히 크지 않았기 때문이다. 나는 요구사항을 들고 PC 벤더를 찾아갔고, 그들은 웃으면서 메인프레임을 사라고 했다. 나는 뜨거운 데이터와 차가운 데이터를 구분해 차가운 데이터는 디스크에 두어야 한다는 것을 깨달았고, 아마 데이터베이스를 써야 할지도 모른다고 생각했다… 그리고 그쯤에서 그 프로젝트는 멈췄다.

작년에 나는 ChatGPT를 쓰기 시작했고, 블레이크의 7과 Orac을 알고 있는지 궁금해졌다. 그래서 이렇게 물었다:

ChatGPT의 답변은 그 캐릭터를 완벽히 잡아냈다. 나는 이것을 설정(Settings) -> 개인화(Personalization) -> 사용자 지정 지침(Custom Instructions)에 추가했고, 이제는 항상 Orac처럼 답한다. 정말 마음에 든다.

(블레이크의 7 팬들에게 놀라운 소식도 있다: 리부트가 막 발표됐다!)

앞으로의 계획

나는 이제 OpenAI의 Member of Technical Staff로서 호주 시드니에서 원격 근무를 하고 있으며, Justin Becker에게 보고한다. 내가 합류한 팀은 ChatGPT 성능 엔지니어링 팀이며, 회사의 다른 성능 엔지니어링 팀들과도 함께 일하게 된다. 내가 맡은 첫 프로젝트 중 하나는 성능을 개선하고 비용을 줄이기 위한 멀티 조직(multi-org) 전략이다.

재미있는 일이 정말 많다. 전에 해본 일도 있고, 해본 적 없는 일도 있다. 나는 이미 코딩을 넘어서 Codex를 더 많은 일에 쓰고 있다. eBPF, Ftrace, PMC 같은 걸 더 하게 될까? OpenAI의 필요에서 출발해 그에 따라 어디로 가는지 보려 한다. 다만 이런 기술들은 데이터센터 성능 개선 성과를 찾는 데 이미 검증되어 있으니, 가능성은 높아 보인다—내가 앞장서서 길을 열 수 있다. (그리고 여기 적은 내용이 흥미롭게 느껴진다면, OpenAI는 채용 중이다.)

나는 12월에 도쿄에서 열린 Linux Plumber’s Conference에 참석했는데, 인텔을 떠난다고 발표한 직후였다. 수십 명이 내게 다음에 어디로 가는지, 왜 그런 선택을 했는지 물어봤다. 그래서 이 블로그 글로 한 번에 답하려고 했다.

또한 성능 엔지니어링 팀을 언제 채용해야 하는가 2부도 마무리해야 한다(이건 OpenAI 합류 전부터 초안이 잡혀 있었다). 잊지 않았다.

이전 직장을 마무리하고 OpenAI에서 일을 시작하기까지 몇 달이 걸렸으니, 나는 다시 머리를 자를 때가 됐다. 이제 내가 그 일을 하고 있으니, ChatGPT에 대해 미아에게 물어보면 재미있겠다고 생각했다. 그러다 몇 달이 지났으니 그녀의 생각이 바뀌었을 수도 있겠다는 생각이 들어 긴장하며 물었다. “아직도 ChatGPT 써요?” 미아는 자신 있게 대답했다. “24시간 7일 내내요!”

미아에게 확인했는데, 내 글에 언급되는 것을 매우 좋아했다. 이 글은 개인적인 글이기도 하다. 누구도 내게 이 글을 쓰라고 요청하지 않았다.