AI가 데이터 분석가를 대체할 수 있을까?

 

💡 기술의 발전은 여러 직업을 없애기도, 만들기도, 바꾸기도 한다. 최근 10년 동안 AI의 발전이 대표적인 사례라고 할 수 있는데, 이제는 내 직업인 데이터 분석 직무까지 건드리는 지경에 다다랐다. GPT3가 쿼리를 짜준다고 한다. 어떻게 가능한지, 데이터 분석가라는 직업에는 어떤 영향을 미치는지 알아보도록 하자.

 

• AI가 쿼리도 짜기 시작했다
• 데이터 분석가, 그리고 쿼리
• AI가 짜주는 쿼리는 기회일 수 있을까

 

AI가 쿼리도 짜기 시작했다

얼마 전 링크드인에서 이런 글을 하나 보았다.

Replacing a SQL analyst with 26 recursive GPT prompts | Patterns

요약하자면 GPT3를 활용하여 슬랙봇을 만들고 자연어 질문을 하면 GPT3가 쿼리를 개발해서 결과값을 알려준다는 내용이다. 이를테면, “최근 3개월 영업조직별 매출과 이익률 알려줘” 하면 그에 맞게 쿼리를 짜고 데이터를 추출해서 알려준다는 것이다. 어느 정도 짐작은 했지만 벌써 이 정도까지 자동화가 될 줄은 몰랐다.
기술적인 부분은 차치하고라도, 처음 든 생각은 당연히 “큰일났다” 였다. 인공지능이 미래에 수많은 일자리를 빼앗게 된다는 사실은 귀에 피가 나도록 듣고 있던 말이었고, 그렇기에 살아남기(?) 위해서 문과에서 직종을 바꾸어 데이터 분석가 일을 하고 있기 때문이었다. 그런데 결국 인공지능이 내 직무까지 침범하다니… 앞으로의 커리어에 대해 고민이 되기 시작할 수밖에 없었다. 과연 이것은 나에게 위기일까, 혹은 위기의 다른 말인 기회가 될 수 있을까?
 

데이터 분석가, 그리고 쿼리

테크 기업, 혹은 스타트업에 많이 등장하는 직무 중 데이터 분석가(Data Analyst, DA), 혹은 비즈니스 분석가(Business Analyst, BA)라는 것이 있다. 말 그대로 데이터 분석을 하는 일을 뜻하며, 분석 범주(비즈니스에 대한 데이터 분석인지, 혹은 IT 프로덕트 자체에 대한 분석인지)에 따라 DA 혹은 BA로 나뉘게 된다. 단순히 데이터 분석이라고들 하지만 사실 데이터 분석뿐 아니라 분석을 위한 여러 가지 선행 작업도 하게 된다. 주요 업무를 나열하자면 아래와 같다.
 

• 데이터 분석을 통한 의사결정 지원
• 주요 지표 설계 및 리포팅 (대시보드 구축)
• Ad-hoc* 데이터 분석 및 추출

 
이 업무들 중 분석가들을 골치아프게 만드는 일 중 하나가 바로 Ad-hoc 데이터 추출이다. 쉽게 말해, 아무 때나 유관 부서에서 데이터 확인 요청이 오면 데이터 추출에 필요한 쿼리를 작성한 후 데이터를 확인/추출하여 전달하는 일이다. 데이터를 잘 모르는 사람이 데이터 기반으로 업무를 진행하고자 할 때, 분석가들이 붙어서 업무를 지원해 주는 형태라고 볼 수 있겠다.
그런데 간혹 이 Ad-hoc 데이터 추출이 지나치게 많은 회사들이 있다. 요컨대, 데이터 분석가들이 분석 업무보다는 쿼리 작성과 데이터 추출에 더 투입되는 경우가 있다는 것이다. 그 일이 생산성이 높은, 고부가가치성 업무인지 묻는다면 글쎄… 사실 간단한 데이터 추출은 SQL을 조금만 익히면 현업에 있는 누구도 할 수 있는 일이다. 어려운 일이라면 응당 발벗고 나서서 도와주면 되지만, 데이터 분석을 할 시간도 모자란 판에 하루종일 비슷한 쿼리만 반복해서 짜고 있으면 가끔 자괴감이 밀려올 때도 있다.
* Ad-hoc: 라틴어로 “특별한 목적을 위해” 라는 뜻으로, 일반적으로 스스로 해결하기 어려운 데이터 확인/분석 건에 대하여 데이터 담당자 혹은 담당 조직에게 관련 요청을 하는 것을 의미함
 

AI가 짜주는 쿼리는 기회일 수 있을까

데이터 분석가의 핵심 역량은 데이터의 핵심을 파악해서 비즈니스 현상을 분석하고 그에 맞게 개선을 일으키는 것, 즉 “통찰력”이다. 물론 이를 위해서 SQL도 잘 알아야 하고 쿼리도 잘 짜야 하지만, 그것 자체가 핵심 역량은 아니라는 것이다. 그러한 측면에서 봤을 때, GPT3가 쿼리를 짜주는 것은 데이터 분석가에게는 하나의 도전이자, 기회가 될 수 있다. 오히려 데이터 분석가가 분석 업무에 집중할 수 있는 좋은 기회가 될지도 모른다.
실제로 업무가 온통 Ad-hoc 데이터 추출로 가득차 있다면, 정작 데이터를 심도 있게 살펴보고 통찰을 얻을 수 있는 기회가 많지 않게 된다. 이때 나를 대신해서 AI가 Ad-hoc 업무를 맡아준다면, 데이터 분석가는 더욱 분석에 집중할 수 있는 환경이 갖추어지는 셈이다. “이런저런 간단한 요청은 슬랙봇에 물어보세요”로 프로세스를 간소화하고, 대신 분석가는 데이터 분석, 실험, 리포팅 등의 업무에 집중할 수 있다면 커리어를 생각했을 때 나쁘지 않은 선택이라고 볼 수 있겠다. 회사 입장에서도 비싼 돈 주고 분석가 수십 명을 고용하느니 AI를 활용하여 업무를 효율화할 수도 있고.
다만 이 AI가 실제 업무에 투입된다면, 쿼리는 잘 짜고 SQL을 잘 이해하지만 데이터 분석의 핵심을 꿰뚫지 못하는 분석가는 도태될 수도 있겠다는 생각이 든다. 위의 블로그에서도 “Replacing SQL Analyst”라고 표현한 것을 보아, 단순히 SQL을 잘 다루기만 하는 분석가는 얼마든지 대체될 수 있는 것이다. 나를 포함하여 현업에 있는 분석가들도 유념해야겠지만, 이 부분은 특히 데이터 분석가를 지망하는 취업준비생이나 다른 직무의 동료 분들이 특히 더 유념해야 할 듯 하다. 원래 직업에 대한 환상은 기술 스택에 꽂히기 마련이라, SQL만 잘하면 데이터 분석가가 되고, Python/R만 잘하면 데이터 사이언티스트가 되는 줄 안다.

 
하지만 이번에 새로 나온 ChatGPT가 분석 보고서까지 써준다면…?
그건 그 때 가서 다시 한번 생각해 보자. 지금은 우선 통찰력부터…

 

 

재미있게 보셨으면 공감 버튼 / 댓글 남겨주세요!
컨텐츠 작성에 큰 힘이 됩니다 :)