빅데이터 테마란 빅데이터를 실제로 구현할 분야, 주제 영역이다. 테마 선정이 어려운 이유는 빅데이터 특성에 기인하게 된다. 빅데이터 테마 도출 방법론은 크게 Quick방법론과 Full 방법론으로 나뉘는데 Full방법론에서 비용과 시간이 부족할 경우 Quick 방법론을 사용하게 된다. 현업의 담당자들이 분석 작업에 직접적으로 참여하지 않는 경우가 많다. 하지만 이런 경우는 빅데이터 테마를 선정하는 것 자체가 어렵게 된다. 실제 빅데이터 프로젝트가 성공적으로 진행되려면 현업 담당자들이 직접 참여하여 분석해야 프로젝트 전문가 팀에게 피드백을 줄 수 있을 것이다.
현업 워크샵
Full방법론에는 빅데이터 현업 워크샵이 포함되어 있다. 현업 워크샵은 현업팀과 5개의 과제를 선정하고 업무 수행 및 데이터 분석을 함께한다. 또한 실무지도를 위한 조교들과 함께 작업하게 된다. 업계 전문가들과 회의, 발표, 코멘트 작업을 진행하고 분석결과 및 성과 도출 과정에 함께 참여한다.
현업 담당자들의 워크샵 참여 기간동안 빅데이터 컨설턴트들이 기업의 데이터를 지속적으로 탐색하고 분석한다. 이 결과를 워크샵 팀과 공유하면서 회사의 데이터 품질, 성격, 문제점을 파악하게 된다. 그 뒤 수행 가능한 테마를 설정하고 테마를 수립하는 것에 영향을 준다.
빅데이터 테마 도출 7단계
빅데이터 테마를 도출하는 것은 아래 7단계에 걸쳐 이루어지게 된다.
1. 산업별 빅데이터 사례분석
프로젝트 시작 전에 미리 준비되어있어야 한다. 빅데이터는 사례가 매우 중요하다. 업종별로 모아진 많은 사례들은 하나의 지향성을 가지고 있다. 특정산업의 유사분석은 다른 기업에서 활용될 수 있을 것이다. 따라서 사례분석 자료가 많은 컨설팅업체와의 협업이 유리하다. 산업의 빅데이터 사례는 구현일시, 국가, 주관기업, 산업, 프로젝트명, 문제점, 시사점등이 있어야 제대로 활용될 수 있을 것이다.
빅데이터는 산업군에 따라 구현방법, 기술, 분석방법이 다르다. 빅데이터 분석을 수행할 때 어느 산업군에 속한 기업인지가 매우 중요하다. 또한 업무 분야나 분석기법, 사례 내용에 따라 사례 분석이 달라질 것이다. 사례 내용에 대한 부분은 내용 자체보다는 어떤 영역에서 어떻게 분석되고 활용되었는지가 중요할 것이다.
※ 빅데이터 분석기법
1. 서술분석 : 과거에 어떤 일이 있는가를 분석하는 것이다. SQL로 가능하다
2. 진단분석 : 어떤 것 때문에 현상이 발생하는가를 분석하는 것으로 통계 방식으로 분석한다.
3. 예측분석 : 앞으로 어떤 일이 일어날 것은가를 분석하는것이다. 깊은 비지니스 로직에 대한 지식을 바탕으로 예측한다.
4. 처방분석 : 이런 결과가 나타나려면 어떻게 해야 하는가를 분석하는 것으로 비지니스에 대한 지식과 경험이 풍부해야 한다.
5. 최적화 : 이런 일이 일어나면 어떻게 업무를 조정하여 대처해야 하는가를 알아내고 전략을 세운다.
2. 기본 업무 분석
외부 컨설팅 업체나 자체 TF가 담당하게 된다. 기본업무분석 단계는 결과에 매우 중요한 영향을 미친다. 긴 결과 도출의 과정을 기반으로 문서화 하는 일에 많은 시간을 소비하게 된다. 기본 업무 분석 단계에서 각 이해관계자는 많은 대화를 나누어야 할 것이다.
컨설턴트는 제안서 이외의 배경이 되는 내용들을 모두 이해해야 한다. 이를 pre-sales라고 하는데, 이 과정을 가지는 것이 매우 중요하다. 수많은 빅데이터 사례분야에서 같은 산업군의 빅데이터 사례를 분석하고 어떤 분야가 빅데이터 테마 가능성이 있는지를 정리하게 된다. 해당 기업의 의사결정 문화, 기존 현업 보고서의 예저, 현업의 데이터 분석 능력도 함께 검토하게 된다.
기본 업무 분석 단계에서 경쟁사에 동향에 대해서도 분석하고 차별성에 대한 내용도 파악되어야 할 것이다.
3. 인터뷰
임원인터뷰, 현업 부서 인터뷰, IT부서 인터뷰를 진행하게 된다. 인터뷰를 통해 이슈를 도출시키고 해결책을 제시하게 된다. 임원 인터뷰를 통해 임원들의 생각을 파악하고 선호하는 빅데이터 분야에 대해 들어본다. 빅데이터 테마에 대한 방향을 설정하고 프로젝트 플랜에 대해 이야기 해야 한다. 이 과정에서 임원들에게 빅데이터에 대한 교육과 워크샵의 필요성을 전달할 필요가 있다.
현업 부서 인터뷰는 철저한 계산과 준비 후 인터뷰를 진행한다. 인터뷰의 목적과 현업 부서의 문제점을 파악한다. 컨설턴트에 대한 솔직한 판단과 해결 방향에 대해 꼭 필요한 부서의 인터뷰를 실시한다. 현업 부서 인터뷰의 가장 큰 목적은 문제가 무엇인지 현업 부서가 스스로 인지하고 이야기하도록 이끄는 것이다. 따라서 편안한 분위기에서 스스로의 문제를 이야기 할 수 있도록 도와야 할 것이다.
IT부서 인터뷰에서는 빅데이터 존재 여부를 파악해야 한다. 앞으로 생기게 될 빅데이터를 함께 예측하고 Hadoop이나 NoSQL DB에 대한 기술들을 습득할 것을 독려한다. 또한 효과적인 교육 프로그램을 운영하는 것에 대해 이야기를 해야 할 것이다.
4. 내/외부 데이터 파악 및 데이터 탐색
현업 부서 인터뷰 내용을 기초로 빅데이터 테마 후보를 추출하게 된다. 빅데이터 테마라는 개념은 매우 큰 단위이기 때문에 수많은 양의 데이터가 필요하다. 데이터 항목이 있는 테이블 집합과 주제 항목을 먼저 파악하고 원하는 데이터 항목들을 찾아나가야 한다.
데이터 항목을 찾게 되면 데이터의 위치, 포맷형태, 다운로드 가능성에 대해 알아보고 장비 구비 여부를 파악해야 한다.
이 때 가장 이슈가 되는 것이 외부데이터일 것이다. 외부데이터를 얻는 과정이나 비용에 대해 확인해야 할 것이다.
내/외부 데이터를 파악한 뒤 초기데이터를 탐색한다.
초기 데이터 탐색은 본격적으로 데이터를 분석하는 것이 아니라 데이터의 개수, 형식, 분포 빈도, 편차 등을 파악하는 단계이다. 데이터의 아웃 라이어 존재 여부를 파악하고 초기 데이터가 업무와 일치하는지에 대한 여부를 파악한다. 통계에서는 탐색적 데이터 분석이라고 불린다. 초기 데이터 탐색으로부터 데이터 분석을 위한 방안이나 분석에 필요한 환경을 준비할 수 있으며 분석 방향에 대해 검토할 수 있을 것이다. 또한 도출된 빅데이터 테마군들에 대한 평가의 아웃라인을 제시할 수 있게 된다.
5. 교육과 워크샵
각 담당자들의 빅데이터에 대한 개념은 직급별, 업무별로 차이가 클 수 있다. 개념의 눈높이가 차이가 있으면 초반에는 문제가 되지 않다가 프로젝트 후반에 큰 이슈가 될 수 있기 때문에 교육과 워크샵을 통해 빅데이터 개념에 대한 눈높이를 맞춰 줄 필요가 있다.
6.빅데이터 테마후보 선정-평가
빅데이터 테마 후보는 5에서 10배수로 선정하게 된다. 테마 후보는 데이터의 크기에 상관 없이 기업에서 현재 할 수 있는 모든 분석을 고려해야 한다. 빅데이터 테마는 아래 4가지 요소들을 가지고 있어야 한다.
- 데이터 준비사항
- 분석기법
- 제공되는 서비스
- 예상되는 향후 Follow up
빅데이터 테마에 대한 평가 방법은 기업마다 달라진다. 평가하는 목적이 너무 복잡하면 평가 방식에 대한 이해가 안 될 것이고 결과에 대해서도 많은 설명이 필요하게 될 것이다. 반대로 평가 모델이 너무 단순하면 고려해야 하는 항목이 너무 포괄적이 되어 버린다. 따라서 평가 요소를 적절하게 고려해서 기업의 특성을 살릴 수 있는 평가 모델을 만들어야 할 것이다.
7. Quick Win과제 및 테마선정과 마스터 플랜
빠른 시간 내에 적은 비용으로 큰 기대효과를 보일 것으로 예상되는 테마를 Quick과제로 선정한다. 적은 비용으로 Quick win과제 성공 시 큰 마케팅 효과를 불러올 수 있을 것이며 빅데이터 프로젝트 전체의 추진에 탄력을 줄 수 있을 것이다.
평가가 제대로 이루어 졌다면 사실 빅데이터 테마를 선정하는 것은 그리 어렵지 않다. 하지만 선정된 테마를 구현하는 것에는 고려할 사항이 많다. 비지니스와 고객의 니즈는 빠르게 변하기 때문에 빅데이터 테마는 현재의 추세와 트랜드에 맞추어야 할 것이다. 또한 선정된 테마가 구현단계에서 얼마든지 바뀔 수 있다는 것을 염두해야 한다.
빅데이터 마스터 플랜을 도출 방안은 평가 및 요구사항을 수집하는 것에서부터 시작한다. Evaluation 및 요구사항을 수집한 뒤, 빅데이터 시스템을 셜계하고 빅데이터 Governance를 설계한다. 또한 테마별 분석 모델을 설계하고 변화 관리방안을 설계한다. 그 뒤 단계별 구출 플랜을 설정하여 제안서를 작성하고 최종적으로 사업자를 선정하여 시스템 구축을 완성하게 된다.
