데이터 3직무 파헤치기 1 (부제: 'DA, DS, DE 그래서 차이가 뭐냐구..')

23년 상반기 준비에 앞서 나는 어떠한 직무를 하고 싶은지 감이 오지 않아 이 글을 작성하고 있다. 내가 관심 있는 직무가 통상하는 일, 특성들을 글로 정리하면 내 생각도 정리되지 않을까 싶어서이다.

 

직전에 했던 경험이 있다 보니 (AI / Bigdata 아카데미) 데이터를 다루는 일에는 아직도 미련이 뚝뚝이다.. 

하지만 동시에 새로운 교육을 들으면서 우연한 기회로 웹 개발을 찍먹 해볼 수 있었다. Django 프레임워크를 잠시 맛볼 수 있었는데, 배우다 보니 백엔드 개발에도 흥미가 생겼다. 

 

'데이터 3 직무'만으로도 내 머릿속은 이미 복잡한데, 백엔드 개발자라는 선택지가 한 개 더 생기니 매일 고민해도 답이 도무지 나오질 않는다. 

 

이러한 내 복잡한 상황을 정리하기 위해서, 또 나와 비슷한 고민을 하는 사람들과 함께 이 고민을 나누기 위해 해당 직무에 대한 나의 생각을 공유하고자 한다.

 

---

 

각설하고, 도대체 그래서 '데이터 3직무'가 무엇인가? 

내가 알아본 바에 의하면 데이터를 다루는 직무에는 크게 3가지가 있다고 이해했다. Data Analyst (데이터 분석가), Data Scientist (데이터 사이언티스트), Data Engineer (데이터 엔지니어)가 있다. 나는 이 세 직무를 데이터 3직무라고 명칭 하기로 했다. (순전히 나 혼자만의 정의다.)

 

직무 정리를 위해선 우선 Data Work Flow에 대한 이해가 필요하다. 데이터 관련 업무는 전체적으로 아래와 같은 흐름으로 진행된다.

 

 

해당 workflow에 따라 세 가지 직무가 보통 하는 업무가 무엇인지, 학력기준, 필수 역량 및 기술스택 등에 대해 아래 표로 정리해 보았다. 이러한 정보는 이미 현업에 계신 분들의 의견과 (by 유튜브 및 블로그) 채용 공고를 참고했다. 

 

데이터 3직무 + (c.f 백엔드 개발)
직무명	Backend	Data Engineer	Data Analyst	Data Scientist
업무 1줄 요약	데이터 수집 가능하게 DB모델링 (수많은 일 중 하나)	DA, DS가 업무할 수 있도록 raw data 전처리 및 데이터마트에 적재	데이터 분석으로 인사이트 발굴하여 의사결정에 기여 (현재 분석)	데이터 모델링 진행, 기능화 (미래 예측)
학력 기준	학사 이상	학사 이상	학사 이상	석사 이상
필수 역량	- 풍부한 CS 지식  - DB 설계 역량	- 기본적인 CS 지식 - 데이터 파이프라인에 대한 이해 - Data Warehouse 설계 역량	- 해당 비즈니스에 대한 도메인 지식 - 데이터 분석을 위한 기초 통계 지식 - 데이터 시각화 역량	- 해당 비즈니스에 대한 도메인 지식 - ML/ DL 관련 수학적 이해 및 심화된 통계 지식
기술 스택	- 프로그래밍언어 (ex) python - 프레임워크 (ex) Django  - 웹서버 (ex) apache - DB (ex) MySQL	- 프로그래밍언어 (ex) python - 프레임워크 (ex) Hadoop - DB (ex) MySQL - 클라우드 서비스 (ex) AWS	- 프로그래밍언어 (ex) python - DB (ex) MySQL - 데이터 시각화 툴 (ex) Tableau	- 프로그래밍언어 (ex) python - 프레임워크 (ex) Pytorch - DB (ex) MySQL
기타	- 개발 역량 중요 - 3직무에 비해 신입 공고 많은 추세이나, 기존 CS 졸업자들과 경쟁 필요	- 경력 선호 - 백엔드와 서로 관련이 있음 (백엔드가 더 앞단에서 DB를 1차적으로 수집할 수 있도록 작업)	- '문제 정의' 역량 중요 - 포트폴리오 구성 중요	- 석/박사 선호 - Kaggle 혹은 논문 게재와 같이 공신력있는 증거물 중요

 

결론적으로는 Backend와 Data Engineer는 Work Flow에서 1) 2) 단계에 해당하는 업무를 수행하며, '개발' 직군에 가까운 직무라고 이해했다. 

 

반면 Data Analyst와 Data Scientist는  Work Flow에서 3) 4) 단계에 해당하는 업무를 수행하며, 비교적 앞의 두 직무 보다 '비즈니스' 직군에 가깝다고 이해했다. 

 

하지만 이 또한, 비즈니스 도메인 특성이나 회사 규모에 따라 직무 정의가 천차만별로 다른 것으로 보였다.

 

특히 데이터 3직무를 정리하면서 가장 구분 짓기 어려웠던 직무는 Data Analyst와 Data Sicentist이다. 회사마다 그 경계가 매우 모호하여 직무명으로 구분하기에는 무리가 있었다.  

 

따라서, 직무 정리 이후에는 산업군 정리와 포지션 명보다 직접 채용공고를 보고 내가 하고 싶은 업무를 할 수 있는 회사가 어디인지 찾아보는 것이 중요하다는 결론을 내릴 수 있었다. 

 

그래도 관심있었던 직무에 대해 기본적인 정리는 마쳤으니, 이제 각 직무마다 책, 유튜브, 커피챗과 같이 다양한 매체를 통해 현업에 계신 분들의 의견을 종합하여 정리하는 글을 올려보려고 한다.

 

To be continued..!