빅데이터(Big Data)에 대한 이해와 미래

2012년도의 최대 유행어가 되었던 빅데이타, 그러나 우리는 이 용어에 대해서 아직까지는 크게 피부로 느끼지는 못하고 있는 듯 합니다.

사실 용어만 본다면 단순히 풀어 볼 경우 대용량의 자료라고 하는 것으로 그냥 판단을 해 볼 수가 있을 것 같은데요.

이제는 그 중요성을 좀더 확실하게 인식을 했는지 오늘 KBS방송에서도 이 빅데이터에 대한 내용을 다뤘었습니다.

하루하루 쏟아지는 방대한 양의 데이타를 분석하여 미래를 예측한다는 내용이였었는데요.

10년전 봤던 천재감독 스티븐 스필버그의 영화 한편이 떠 오르기도 했었습니다.

그럼 과연 이 것이 가지고 의미는 어떤 것일까요?

■ 빅데이터(Big Data)라고 하는 것은 무엇인가?

지난 10년간 페이스북, 트위터, 유튜브 등 각족 소셜네트워크와 전자생거래 등이 등장하면서 데이터량이 폭증을 하였는데요.

이를 이용하면서 발생된 이미지, 동영상, 통화기록, 텍스트 등 수없이 많은 자료등이 생성이 되어 기존 데이터처리 기술로는 수집, 검색, 저장, 분석등이 어려운 데이터를 총칭하여 빅데이타라고 합니다.

현재 자료의 증가 속도는 기술발전의 속도를 능가한다고 말을 할 정도로 그 속도는 엄청난 것으로 알려져 있습니다

매일 무려 25억 GB의 엄청난 DATA가 현재도 매일 생산이 되고 있다고 하니 말입니다.

지금 이 순간 제가 쓰고이는 이 포스팅 자체도 텍스트와 이미지를 포함한 빅데이타의 일부로 곧 티스토리를 기준으로 해서 페이스북, 트위터등에 배포가 되고 아울러 각종 검색엔진에서 수집을 해 가게 될테니까요.

[자료 : 마이크로스트레티지]

■ 빅데이타 잘 활용 되고 있는 것인가?

(1) 글로벌 현황

CCWTR(Cisco Connected World Technology Report)는 전세계 18개국 1,800여명의 IT 전문가를 대상으로 빅데이터(Big Data) 프로젝트에 대한 준비상태와 과제, 기술적인 한계, 전략적인 가치 등에 대해 조사한 결과를 지난 2013년 3월 27일 발표했었습니다.

 

조사에 응한 기업들 대부분은 데이터를 수집, 저장, 분석하고 있기는 하지만 실무와 IT 측면 모두에서 어려움을 겪고 있는 것으로 조사됐었다고 하는데요.

조사에 응한 응답자의 60%는 빅 데이터가 기업내 의사결정과 경쟁력 향상에 도움이 될 것이라고 답했으나 이들 데이터에서 전략적인 가치를 뽑아내고 있다는 답변은 28%에 불과했다고 합니다.

 

(2) 국내 현황

한국IDG가 지난 7월 17일부터 약 1달간 총 1,586명을 대상으로 국내 빅데이터 동향에 관한 온라인 설문조사를 실시를 한 결과 빅데이타를 이미 도입했다는 응답은 14.2%에 불과했고 1년 이내 도입 9.9%, 1~3년 내 15.6%, 3~5년 내 13.1% 순이었다고 하는데요.

한편 도입할 계획이 없다는 응답은 전체의 절반 가까운 47.1%에 달했다고 합니다.

물론 이것은 설문조사이기 때문에 단순히 도입계획을 묻는 것에 불과한 것이라 실제로 여건이 되지 않을 경우 도입을 하지 않을 가능성이 크기 때문에 향후 빅데이타에 대한 기술도입은 더 늦춰질 수도 있다는 생각을 해 보게 됩니다.

■ 천재감독 스티븐 스필버그영화 마이터리티 리포트를 통해서 본 빅데이터의 이해

무려 11년전인 2002년 개봉이 된 톰크루주가 주영을 맡았던 영화 '마이너리티 리포트'를 기억하시는지요?

이후 10년이 지난 2012년도에 빅데이타라고 하는 단어가 큰 이슈가 되고 있는 것을 보면 스티븐스필버그는 정말 미래예언가가 아닌가 싶을 정도로 천재라는 생각이 듭니다.

영화의 내용을 간략히 이야기 해 보자면, 범죄가 발생하기 전 범죄를 예측해 미래의 범죄자를 찾아내는 최첨단 치안시스템 프리크라임은 범죄가 일어날 시간과 장소, 범행을 저지를 사람까지 미리 예측해내고 이를 바탕으로 프리크라임 특수경찰이 미래의 범죄자들을 체포한다는 내용으로 진행이 되는 되요.

이때 톰크루즈는 이 프리크라임 시스템의 특수경창 팀장으로 등장을 하죠.

그러나 이 범죄예방 시스템의 오히려 주인공 톰크루즈를 미래의 범죄자로 예견을 하게되 경찰이였던 주인공이 쫒기게 된다는 내용을 다룬 것인데요.

사실 이 영화 한편만 다시 잘 보더라도 복잡하고 어려운 용어를 통해서 설명을 하는 것 보다도 훨씬 더 쉽게 빅데이타에 대한 이해는 한번에 해결이 될 것 같다는 생각이 들기도 합니다.

지금 생각해 보면 첨단 컴퓨터 시스템과 미래예언가가 연결된 프리크라임 시스템이 마치 빅데이타를 분석하는 시스템을 연상시키기에 충분하다는 생각이 들었으니까요

오늘 KBS1 TV에서 방영이 된 '빅데이터 미래경쟁력의 핵심'이라는 내용에서도 방송 시작 부분부터 이와 유사한 내용을 다루고 있기도 했었습니다. 

즉 빅데이타분석을 통해 범죄발생지역을 예측하는 프로그램을 보도했는데요.

마치 영화 '마이너리티리포트'가 현실화 되고 있다는 느낌이 들기도 했었습니다.

[사진출처 : KBS]

이러한 데이터분석은 잘 활용만 한다면 질병예방, 범죄예방, 실업예방, 날씨분석을 통한 재난방지, 지진예측, 주가분석, 타켓광고, 미국에서 활용을 했던 탈세예방까지 다양한 분야에서 활용이 될 수도 있지만 자칫 잘못된 분석을 하게 된다면 돌이킬 수 없는 엄청난 사태를 초래를 할 수도 있게 된다는 것이죠.

빅데이타에 대한 좀더 쉬운 이해가 필요하신시 분이 계시다면 마이너리티 리포트를 다시 한번 감상해 보시는 것도 좋을 듯 합니다.

■ 빅데이타를 소유하고 분석할 수 있는자가 세상을 지배한다

실제로 데이타분석을 잘 하는 금융가들이 엄청난 부자가 된 사례를 많이 볼 수가 있습니다.

오늘 KBS1 TV 헤지펀드 윈턴캐피털 데이비드 하딩 회장이 치밀한 데이터 분석을 통해서 엄청난 돈을 번 사례를 확인을 할 수가 있었구요.

또 다른 대표적인 기업중의 하나가 빅데이타를 잘 활용하여 글로벌 기업으로 성장한 나라는 바로 구글이라는 것에는 많은 분들이 동의를 하지 않을까 합니다.

구글, 페이스북, 유튜브, 안드로이등을 통해서 마치 블랙홀 처럼 빨아들이고 있는 빅데이타는 향후 구글을 전세계에서 가장 강력한 기업으로 성장시키기에 충분하다는 생각을 해 보게 됩니다.

실예로 삼성이 안드로이드OS를 기반으로 한 글로벌 스마트폰 판매 1위를 기록하고 있지만 정작 보다 가치있는 사용자 Data는 구글의 손에 쥐어주고 있다는 사실이죠.

따라서 우리 정부와 기업도 이러한 사실을 다시한번 자각하고 이 분야에 물적 인적자원을 투자하기에 아낌이 없어야 한다는 생각을 다시금 해 보게 됩니다.