AI 시대 데이터 팀에서 새롭게 부상하는 데이터 인텔리전스 엔지니어의 역할과 책임을 살펴봅니다.
저는 우리의 수석 데이터 엔지니어이자 MotherDuck 공동 창립자인 Nick Ursa에게 AI가 그의 일을 어떻게 바꿨는지 물었습니다. 그의 대답은 이랬습니다. "내 경력에서 백로그가 없는 것은 이번이 처음입니다."
그러면 손에 시간이 많이 남을 것 같지만, 그는 그 어느 때보다 바쁩니다. 백로그는 사라졌지만 답은 여전히 정확해야 하며, 어느 정도의 품질 관리를 할지는 여전히 사람이 결정해야 합니다. 예전에는 자신이 계산하는 숫자가 정확한지 확인하는 것이 그의 일이었다면, 이제는 LLM이나 에이전트가 내놓는 숫자가 정확한지 확인하는 것이 그의 일입니다.
이는 티켓 대기열을 처리하는 것과는 다른 일입니다. 저는 11월 4일 Data Outpost에서 이 새로운 역할의 이름을 제안했습니다. 바로 데이터 인텔리전스 엔지니어입니다. 이것이 이제 AI를 활용하는 데이터 팀에서 떠오르는 역할이라고 생각하며, 그 이유를 공유하고 싶습니다.
데이터 팀의 업무는 하나입니다. 비즈니스가 좋은 의사결정을 내릴 수 있게 하는 것입니다. 더 정확한 상황 파악에 기반해 더 빠르게 의사결정을 내릴수록, 그 결정은 더 나아질 수 있습니다.
어려운 부분은 질문이 답이 되기까지 거치는 경로였습니다. 이는 계주처럼 움직입니다. 마케팅 리더가 월요일에 출근해 지난주 이탈률이 급증한 것을 발견합니다. 왜 이런 일이 일어났을까요? 조사를 위해 데이터 팀에 티켓을 등록합니다. 분석가가 티켓을 맡아 파고들다가, 핵심 데이터 일부가 데이터 소스 중 하나에서 내보내지지 않는다는 사실을 깨닫습니다. 데이터 엔지니어에게 확인해 달라는 티켓을 등록합니다. 그러려면 데이터 파이프라인 중 하나를 변경해야 하므로, 데이터 엔지니어가 변경하고, 테스트하고, 백필을 실행하고, 백필을 테스트한 뒤 티켓을 해결합니다. 그러면 공은 다시 분석가에게 돌아가고, 분석가는 필요했던 대시보드를 만들 수 있습니다. 그것이 배포될 때쯤이면 마케팅 담당자는 처음에 왜 요청했는지 더는 기억하지 못할 수 있습니다. 이탈률은 몇 주 뒤 저절로 회복됐습니다.
이것은 누군가가 효과적으로 또는 긴급하게 일하지 않았다고 지적하는 것이 아닙니다. 그 계주에 참여한 누구도 잘못한 것이 없습니다. 하지만 인수인계가 있을 때마다 기다려야 하고, 맥락은 사라지며, 질문에 대한 답을 효과적으로 활용할 수 있는 능력의 반감기는 서서히 감소합니다.
덧붙이자면, 실제로 도움이 되지 못한 AI 지원 도구의 세대가 있었다는 점을 짚어야 합니다. 코파일럿 시대는 일부 처리 시간을 단축했지만, 문제는 너무 많은 인수인계 때문에 충분히 빠르게 행동할 수 없었다는 점입니다.
2025년 12월 이전에는 분석을 위한 AI에 반대하는 논거를 제시하기가 쉬웠습니다. LLM은 형편없는 SQL을 작성했습니다. 비즈니스 로직은 알 수 없었습니다. 합리적인 결론은 이것이 절대 작동하지 않을 것이라는 것이었습니다. 실제로 저는 데이터 팀이 소프트웨어의 다른 영역에서 일어나는 변화로부터 대체로 면제되어 있다고 말하곤 했습니다.
그러다 갑자기 판도가 바뀌었습니다. 새 모델은 SQL을 더 잘 다루게 되었습니다. 비즈니스 로직은 유용한 맥락이 조금 있으면 에이전트가 파악할 수 있는 것으로 드러났습니다. 그리고 에이전트는 여러 차례 대화하는 방식으로 발전했습니다. 즉, 처음부터 맞힐 필요가 없습니다. 쿼리를 시도하고, 돌아온 결과를 살펴본 다음, 인간 분석가처럼 다시 시도할 수 있습니다. 이를 모두 합치면, 그저… 작동합니다.
셀프서비스 BI는 수십 년 동안 바로 코앞에 있는 것처럼 여겨졌습니다. 무엇이 다를까요? 하나의 실증 사례로 예를 들어 보겠습니다. 제가 Data Outpost에서 발표한 프레젠테이션은 파워포인트 덱이나 Google Slides로 만든 것이 아니라, MotherDuck과 Claude를 사용해 제가 만든 앱이었습니다. 서로 다른 네 개의 데이터 소스에서 실시간 데이터세트를 사용했고, 여러 대화형 및 애니메이션 시각화를 만들었습니다. 제가 한 모든 것은 사실상 누구나 할 수 있습니다. 저는 코드나 SQL을 단 한 줄도 보지 않았습니다.
이것이 단지 대시보드 구축을 자동화하는 방법이 아니라는 점을 강조하는 것이 중요합니다. BI는 보통 매우 정적이며, 많아야 몇 번의 드릴다운이 있을 뿐입니다. 하지만 AI를 이용하면 훨씬 더 풍부한 시각화를 만들 수 있습니다. 더 나아가, 프롬프트로 대시보드를 만들 수 있다면 거기서 그치지 않고 완전한 앱도 만들 수 있습니다.
비즈니스 이해관계자가 스스로 데이터로 질문에 답할 수 있도록 하는 일은 데이터 팀의 백로그를 줄이는 것보다 훨씬 폭넓은 이점이 있습니다. 실제로 더 나은 의사결정을 내릴 수 있게 합니다. 소요 시간과 인수인계 횟수를 줄이면 더 많은 질문을 할 수 있습니다. 모든 맥락을 아직 머릿속에 담고 있을 때 후속 질문을 할 수 있습니다. 즉, 자신 있게 더 빠른 결정을 내릴 수 있습니다.

AI는 정보 노동자가 수행하는 일을 극적으로 바꾸고 있습니다. 소프트웨어 엔지니어는 종종 Claude 세션을 지켜보고 에이전트가 작성한 코드에 형식적으로 승인하는 데 시간을 쓰게 됩니다. 그렇다면 전통적인 데이터 팀의 역할은 어떨까요? 다소 도발적으로 표현하자면, 그들의 일 중 어떤 것이 프롬프트가 될 수 있을까요?
불편한 답일 수 있지만, 꽤 많은 일을 프롬프트로 할 수 있습니다. 그리 멀지 않은 미래에는 SQL 쿼리 작성, 대시보드 생성, dbt 파이프라인 구축이 전문 지식이 있어야만 할 수 있는 일이 아닐 것입니다. 에이전트는 이미 이러한 작업에서 인간보다 뛰어날 가능성이 높으며, 앞으로 더 나아질 뿐입니다. 우리의 데이터 엔지니어 Nick은 최소한의 감독으로 주말 동안 Airflow의 한 버전에서 다른 버전으로 이전했습니다. 예전 같았으면 일주일이 걸렸을 일입니다.
하지만 코드나 SQL을 작성하거나 대시보드를 만드는 일이 직무 전체였던 적은 없습니다. 정확한 데이터에 대한 필요와 이를 이해하는 능력은 사라지지 않습니다. 그리고 "네, 이것은 맞습니다"라고 승인하고 책임질 수 있는 사람이 있어야 합니다. 여기에는 사람이 개입해야 합니다. Nick의 말을 다시 빌리면, "데이터 엔지니어링은 도구나 수행 주체와 관계없이 책임 기능입니다."
에이전트가 코드를 작성하게 되면 데이터 세계에는 무엇이 남을까요? 알고 보니 꽤 많습니다. 사람은 직함에 “데이터”라는 단어가 없는 다른 이해관계자도 데이터로 문제를 해결할 수 있도록 해야 합니다. 이는 적절한 맥락과 주석이 포함된 깔끔한 데이터 모델, 용어와 개념이 전반에 걸쳐 일관되게 적용되도록 하는 명확한 온톨로지, 그리고 모든 것이 계속 작동하도록 보장하는 일을 의미합니다.
이런 것들은 모델이 데이터나 이력에서 직관적으로 알아낼 수 있는 일이 아닙니다. 모델은 SQL을 압니다. 회사가 수익을 어떻게 계산하는지, 비슷해 보이는 여러 테이블 중 어느 것이 진짜인지 알지 못합니다 (revenue_cpx_new_revised_v2_use_this_one 입니다). 모델은 영업 팀이 수익을 말할 때 커미션 대상 수익을 의미하고 재무 팀은 다른 것을 사용한다는 사실을 알지 못합니다.
맥락은 유지하기 어려운 목발입니다. 더 나은 방법은 처음부터 깔끔한 데이터 모델을 구축하는 것입니다. 소프트웨어와 좋은 비유가 있습니다. 저는 사용자가 매뉴얼을 읽어야 하는 상황을 사용자 경험의 실패로 보는 편입니다. 더 깔끔한 설계였다면 사용자가 하려는 일이 무엇인지 자명했을 것입니다. 맥락은 에이전트를 위한 매뉴얼일 뿐입니다. 데이터 모델을 충분히 단순하고 명확하게 만들 수 있다면, 에이전트의 많은 시간과 에너지, 그리고 토큰을 절약할 수 있습니다.
AI 시대에 데이터 담당자가 해야 할 일은 다른 데이터 팀 구성원의 전형적인 책임과 정확히 일치하지 않습니다. 저는 이것이 새 직함을 부여할 만큼 충분히 다르다고 생각하며, 이에 따라 이 역할을 “데이터 인텔리전스 엔지니어”라고 부르겠습니다.
데이터 인텔리전스 엔지니어는 소프트웨어 에이전트를 만들고 운영하여 데이터 엔지니어의 업무(수집)와 분석 엔지니어의 업무(변환 및 모델링)를 자동화합니다. 이들은 조직에 관한 질문에 답하기 위해 다른 에이전트가 사용할 수 있는 공유 맥락에 시스템 지식을 인코딩합니다. 여기에는 어떤 필드를 조인할 수 있는지뿐 아니라 회사의 누군가가 “ARR”이라고 말할 때 무엇을 의미하는지도 포함됩니다.
평가도 이들의 책임에서 큰 부분을 차지합니다. 평가는 답을 알고 있는 질문을 했을 때 그 답이 올바른지 검증하는 시스템 테스트입니다. 좋은 평가 모음은 사용자가 시스템에 묻는 유형의 질문에 에이전트가 정확히 답할 것이라는 확신을 줄 수 있습니다. 평가는 무언가가 고장 났을 때 이를 파악하는 방법이기도 합니다.
데이터 인텔리전스 엔지니어의 목표는 셀프서비스를 가능하게 하는 것입니다. 즉, 조직의 누구나 Claude나 ChatGPT 또는 다른 에이전트를 열어 비즈니스에 관한 질문에 정확히 답하고, 이를 활용해 앱과 시각화를 구축하며, 궁극적으로 데이터의 이점을 바탕으로 고품질 의사결정을 내릴 수 있어야 합니다. 데이터 인텔리전스 엔지니어가 일을 잘하면, 질문하는 모든 사람은 회사에서 가장 똑똑한 분석가와 함께 일하는 경험을 얻게 됩니다.
일상적으로 이는 프레임워크를 구축하고, 데이터 모델을 만들고, 맥락을 관리하고, 문제가 생기지 않도록 방지하며, 어쨌든 문제가 생기면 해결하고, 평가를 실행하고, 비즈니스가 의존하는 인터페이스에 책임을 지는 일을 의미합니다. 우리는 이것이 앞으로 나아갈 방향이며 이름을 붙일 때가 되었다고 믿기에, 이를 직무 설명서로 정리했습니다.
데이터 엔지니어, 분석 엔지니어 또는 분석가라면 이 역할의 일부를 알아볼 것입니다. 이 역할들은 이미 서로 섞이고 있었고, 새로운 무언가로 변모하고 있었습니다. 직함에 무엇이라고 쓰여 있든, 이것은 여러분이 수행하는 역할입니다.
타당한 질문입니다. 더 많은 사람이 구축한다는 것은 감독은 줄어든 채 잘못될 가능성은 늘어난다는 뜻입니다. 잘못된 데이터에 따라 행동해 엄청나게 어리석은 실수를 저지를 가능성이 있습니다. 엄청나게 어리석은 실수가 새로운 일인지 아닌지는 독자의 판단에 맡기겠습니다. 무서운 점은 이제 데이터 팀이 그 실수에 책임을 질 수 있다는 것입니다.
도움이 되는 것은 두 가지입니다. 첫째, 문제에 가까울수록 오류를 더 잘 발견할 수 있습니다. 이탈률 수치와 매일 함께하는 사람은 그 수치가 이상해 보일 때 알아챕니다. 경험상 결과는 오히려 개선됩니다. 비즈니스 오너는 자기 영역을 손끝으로 느끼듯 잘 알고 있기 때문입니다. 무언가가 잘못됐을 때 알고, 종종 원본 데이터에서의 문제도 찾아낼 수 있습니다.
또 다른 도움은 모든 것을 같은 수준의 경계로 감시할 필요가 없다는 점입니다. 우리의 친구 Nick이 남긴 또 하나의 인용할 만한 말은 이렇습니다. "에이전트에게 필요한 감독은 영향 범위에 비례합니다." 즉, 어떤 것이 중요한 보고나 의사결정에 사용된다면 많은 주의를 기울여야 합니다. 점심에 주문할 샌드위치 수를 파악하려는 것이라면, Claude가 하바네로 머스터드가 특히 맛있을 것이라고 상상해서 너무 많이 주문하더라도 폭동이 일어날 가능성은 낮습니다.
이를 세 개의 감독 원으로 생각할 수 있습니다. 가장 바깥은 무법지대입니다. 누구나 구축할 수 있고, 합리적인 기반 위에서 구축하기를 바라지만, 데이터 팀은 개입하지 않습니다. 다음 단계는 큐레이션된 영역입니다. 이는 어떤 형태로든 비즈니스에 중요한 대시보드, 시각화, 앱, 지표의 집합입니다. 이 대시보드에서 무언가가 고장 나면 데이터 팀은 최선을 다해 이를 고쳐야 합니다. 마지막으로 가장 안쪽 원인 핵심 영역이 있습니다. 여기에는 조직의 핵심 지표, 즉 정확해야 하는 것들이 담깁니다. 데이터 팀은 이것들이 언제나 고품질이고 예측 가능하도록 해야 합니다. 이사회 수치는 핵심 영역에 속합니다.

MotherDuck에서 우리는 AI를 활용하는 데이터 팀을 강화하는 메커니즘을 구축합니다. Flights는 데이터를 웨어하우스로 가져와 합리적인 모델로 변환할 수 있는 바이브 코딩 방식의 파이프라인입니다. 맥락은 데이터 모델과 비즈니스를 설명하는 마크다운 파일인 Guides에 담깁니다. Guide는 처음에는 비공개로 시작하지만, 관리자가 이를 조직 전체에 적용하도록 승격할 수 있어 모든 사람과 에이전트가 같은 정의를 바탕으로 작업하게 됩니다. 에이전트가 만들 수 있는 데이터 시각화를 우리는 “Dives”라고 부릅니다. 모든 사람과 에이전트는 전용 DuckDB 인스턴스인 자신만의 Duckling을 받습니다. 이 모든 것은 SQL에서 접근할 수 있으므로, 한 사람이나 에이전트가 도구 간 인수인계 없이 수집, 변환, 맥락, 앱 전반에 걸쳐 문제를 해결할 수 있습니다.
우리는 혼란스러운 순간에 있습니다. 혼란은 가장 큰 기회를 낳고, 도구는 기꺼이 활용하려는 사람에게 진정한 초능력을 건넵니다. 우리는 모두 함께 이를 하는 법을 배우고 있습니다.
데이터 팀은 사라지지 않습니다. 누군가는 여전히 데이터 모델을 책임지고, 맥락을 관리하며, 모든 것이 작동하도록 유지하고, 결과에 답해야 합니다. 백로그 없는 Nick은 그 어느 때보다 할 일이 많습니다. 다만 이 일은 변하고 있으며, 예전으로 돌아가지 않을 것입니다.
그렇다면 여러분의 회사에서는 누가 이 일을 하고 있으며, 그들을 무엇이라고 부르나요?
추신 - 제 발표 슬라이드를 보고 싶다면 Dive Gallery를 확인해 보세요.