데이터 서비스 개발에 주력하는 데이터 개발자

데이터 개발자는 데이터를 활용하여 서비스 개발을 하는 직무를 말합니다. 데이터 활용 및 서비스 제공을 위한 API 개발, QA 및 오픈 라이브러리 활용 및 개발, 빅데이터 처리를 통한 응용 솔루션 개발 업무를 주로 하지요. 데이터 개발자가 다루는 데이터의 양은 어마어마하며, 이 자료를 수집하고 효율적으로 관리하는 방법을 고민하는 게 데이터 개발자의 역할입니다.

데이터 개발자는 일반적으로 데이터베이스 관리자와 같은 위치에서 경력을 시작해 경력을 쌓아서 데이터 분석가 혹은 데이터 엔지니어와 같은 분야로 옮겨가기도 합니다. 기술력과 경력을 두루 갖춘 데이터 개발자는 IT 관리자 또는 최고정보책임자(CIO)와 같은 관리 직책까지 올라가기도 합니다. 또한 비즈니스 분야에서 실력을 쌓은 사람들은 비즈니스 분석가 또는 비즈니스 인텔리전스 역할을 할 수도 있습니다.

최근 페이스북의 모기업 메타가 1만 명 추가 해고를 통보하면서 기술업계에도 정리해고가 단행되며 한파가 몰아치고 있는데요. 이러한 상황 속 개발자 채용 시장은 여전히 밝다는 전망이 나왔습니다. 로버트 하프 텍사스의 기술 관행 부문 책임자 토마스 빅은 올해 내내 개발자 수요가 증가할 것이라고 예상했습니다. 경제는 둔화될 수 있지만, 기업 기술을 유지하거나 추가로 개발해야 할 필요성은 사라지지 않았기 때문이라는 설명입니다.

한국에서도 개발자 채용은 확대되고 있는 추세입니다. 라이프스타일 앱 '오늘의집'은 최근 개발자 대규모 경력채용에 나섰습니다. 채용 분야는 데이터 개발자를 포함해 ▲백엔드 ▲프론트엔드 ▲안드로이드 ▲iOS ▲데이터 ▲머신러닝 ▲확장현실 ▲엔지니어링 생산성 ▲기술 프로그램 매니저 등 총 9개입니다. 이번 채용은 우수개발 인재 확보를 통해 서비스를 고도화하고 디지털 전환에 속도를 내겠다는 의지로 풀이됩니다.

특정 비즈니스 데이터 분석을 도와드립니다!
데이터 분석가는 다양한 방식으로 데이터 자체를 분석해 그 데이터가 의미하는 바를 가시화하거나 표현·요약하는 업무를 담당합니다.

좀 더 자세히 설명하면 정형·비정형 데이터를 식별·관리·조작·분석하여 기업 경영의 의사결정에 활용할 수 있도록 자료를 만들어냅니다. 통계, 머신러닝, 인공지능 기반 데이터 분석, 분석결과 시각화 업무를 담당하고 있지요. 또 다양한 분석기법을 활용하여 데이터가 보여주는 현상을 해석하고, 그 원인을 분석해 정보를 얻습니다. 핵심 비즈니스를 파악하고 개선하기 위한 실험을 설계하고 데이터를 분석하여 결과를 도출해냅니다.

데이터 분석가는 다양한 비즈니스 분야와 업무에 따라 세분화되어 있고, 분야별 수요도 높아 다양한 곳에서 종사하곤 합니다. 기업체 연구소 및 분석 전문 조직에 종사하거나 최근 창업붐에 올라타 데이터 분석 기반 컨설팅 업체 등을 창업하기도 합니다. 특히 전문 데이터 분석은 그 범위가 특화된 경우가 많아 ‘주요 분야별 전문 분석 기업’ 형태를 띠기도 하지요.

데이터 플랫폼·인프라 구축은 내게 맡겨라!

데이터 엔지니어는 대용량 처리가 가능한 데이터 파이프라인 및 플랫폼 설계 및 구축을 주로 도맡아 합니다. (빅)데이터를 저장, 처리, 관리하지요. 로그, 크롤링 자동화 등 빅데이터 수집 환경을 구축하고 기계 학습용 데이터 생성 및 활용을 위한 참조구현을 구축하기도 합니다.

또 데이터 구분 및 선별, 데이터 결합 및 포맷을 변혁하기도 합니다. 데이터가 발생하는 시점에서부터 분석할 수 있도록 정제해 주는 역할이 필요한데요. 바로 여기가 데이터 엔지니어가 필요한 부분입니다. 즉, ‘데이터를 잘 가져오고 잘 사용할 수 있게 정리한다’는 게 데이터 엔지니어의 핵심 업무라 할 수 있습니다. 백엔드 엔지니어, 풀스텍 엔지니어 데이터 플랫폼 및 시스템 엔지니어 등이 여기에 포함됩니다.

만약 초기에 데이터 인프라(Data infra)가 구축이 되어있지 않다면 구축 업무를 주로 하며, 구축이 완료된 이후부터는 운영성 업무가 주를 이루게 됩니다. 또한 데이터 관련 기술이 발달돼 데이터 인프라에 대한 고도화가 필요할 경우 운영과 구축업무를 진행해 효율화를 진행하기도 합니다. 

사실 데이터 과학자가 생긴지는 얼마 되지 않았습니다. 데이터 과학자라는 표현은 2008년에 링크드인과 페이스북에서 데이터와 분석을 담당했던 D.J.파틸과 제프 함머바허가 처음 만들어냈습니다. 지금은 이미 수천 명을 넘어섰는데요. 데이터 과학자가 이렇게 갑작스럽게 비즈니스 부문에서 주목을 받는 이유는 기업들이 전례 없이 더 다양하고 방대한 양의 ‘정보’와 씨름하고 있기 때문입니다.

앞서 말했듯이 데이터 과학자는 데이터를 수집하고 분석하여 흐름과 패턴을 찾고, 이를 통해 통찰을 이끌어 내며, 앞으로의 일과 결과들을 예측할 수 있을 만한 예측형 알고리즘을 생성함으로써 기업이 올바른 사업적 결정을 내리도록 합니다. 이것은 단순히 데이터만 들여다본다고 되는 게 아닙니다. 여러 방면에서의 지식과 통찰력이 필요하죠. 보통 기업들은 고급 수학, 통계학, 컴퓨터 과학에 뛰어난 사람들을 찾습니다. 여기에 요즘에는 머신러닝에 대한 지식도 요구되고 있습니다. 데이터 과학자 인재를 찾기 어려운 이유입니다.

비전공자가 데이터 직무에 뛰어드는 법

데이터 과학자(데이터 사이언티스트)는 기업 빅데이터를 저장, 처리, 분석하는 업무를 하는 ‘전문가’입니다. 이제는 ‘비전문가’도 이들과 비슷한 일을 할 수 있게 되었습니다. 바로 ‘시티즌 데이터 사이언티스트(Citizen Data Scientist·CDS)’가 그 주인공인데요. 여기서 ‘시티즌’은 말 그대로 ‘시민’이 아니고요. ‘전문 데이터 사이언티스트가 아닌 사람’, ‘데이터 사이언스 훈련을 정식으로 받지 않은 사람’ 등을 의미합니다. 기업에서는 비즈니스 담당자, 인적자원관리(HR)·재무·마케팅 담당자, 소프트웨어 개발자, 엔지니어 등이 CDS로 일할 수 있습니다. 이런 사람들은 데이터 분석 업무를 데이터 사이언티스트에게 맡기지 않고 자신이 소프트웨어를 사용해서 직접 분석합니다.

즉, 시티즌 데이터 사이언티스트는 데이터 분석 전문가는 아니지만 머신러닝과 같은 데이터 사이언스 기술을 지원하는 소프트웨어로 데이터를 분석하고, 새로운 인사이트를 발견하며, 예측 모델을 만들어 비즈니스 결과를 개선하려는 사람입니다.

통계학, 코딩 기술과 같은 전문 영역을 몰라도 관련된 소프트웨어를 사용하여 담당 업무와 연관된 데이터를 분석할 수 있습니다. 요즘은 사용법만 익히면 데이터를 분석할 수 있는 다양한 툴(소프트웨어)이 시중에 나온 덕분입니다.

한 마디로 시티즌 데이터 사이언티스트는 데이터를 분석하고 비즈니스와 연계하는 일을 하는 셈입니다. 데이터 과학자만큼의 분석 수준을 갖추고 있지는 않지만, 데이터와 비즈니스를 통합적으로 이해할 수 있는 직군으로 각광받고 있습니다. 

챗GPT 열기와 함께 뜨는 ‘AI조련사’

챗GPT의 부상과 함께 해외에서 새롭게 뜨고 있는 직업이 있습니다. 미국에서는 이 똑똑한 AI에 어떤 명령어를 넣어야 하는지 고민하고 최적의 결과를 뽑아내는 직업이 생겼는데요. 바로 ‘프롬프트(명령어) 엔지니어’ 입니다.

챗GPT가 일상에서도 자주 쓰이면서 한 가지 문제가 생겼습니다. 여기에 어떤 명령어를 넣고 어떻게 활용하느냐에 따라 결과값과 얻을 수 있는 정보가 천차만별이라는 점인데요. 프롬프트 엔지니어는 최적의 결과를 도출하기 위해 사람들이 AI에 입력하는 명령어를 만들고 개선하는 것입니다. 이러한 이유로 ‘AI조련사’라고 불리기도 합니다.

프롬프트 엔지니어를 공식으로 채용하는 기업도 벌써 등장했습니다. 구글이 한화 5,000억 원을 투자한 AI 스타트업 앤스로픽은 최근 연봉 3억~4억 원 수준의 프롬프트 엔지니어와 데이터 라이브러리 관리자 채용 공고를 내서 업계 이목을 끌었습니다.