빅 데이터라는 말이 화제이다. 여기저기서 빅데이터를 외치니 기업에서는 보고서에 '빅 데이터'란 단어를 넣으면 통과된다는 우스갯소리도 있다. 또한, 상대 기업이 빅 데이터를 사용한다고 해서 자기 회사 또한 빅 데이터를 사용한다고 말하고 다니지만 사실 아무도 빅데이터를 사용하지 않는 우스꽝스러운 경우도 있다.

그러나 실제로 빅 데이터를 활용하여 엄청난 수익을 내는 회사가 증가하는 추세이다. 예를 들어, IBM의 경우 빅 데이터 관련 상품과 서비스로 2012년부터 매해 1조 이상의 매출을 올리고 있으며,  HP도 빅 데이터 관련 상품으로 7천억 이상의 매출을 기록하였다. 2013년 한 해 동안 빅 데이터 저장, 사용, 분석을 위한 인프라 구축으로 빅데이터 1세대가 구축되었다. 이제 빅데이터 다음 세대 '빅 데이터 2.0시대'를 위해 중점적으로 봐야 할 세 가지 사항을 짚어보았다.

1. 스피드

기하급수적으로 커지는 데이터를 빠르게 분석할 수 있는 기술은 무엇보다 중요하다. 대부분의 빅 데이터 서비스 업체에서 내부 메모리 프로세스(In-memory Process) 처럼 데이터를 신속히 처리하는 제품을 제공한다. 하둡(Hadoop)은 실시간 데이터 처리가 가능한 하둡2.0/YARN을 발표했다. 아파치 스파크(Apache Spark)는 하둡보다 100배 이상 빠르게 데이터를 처리하는 기술로 주목받고 있다. 실리콘밸리를 선도하는 벤처캐피털 안데르센 호로위츠(Andreessen Horowitz) 또한 150억을 투자하여 데이터브릭스(Databricks)라는 빅 데이터 관련 서비스 회사를 설립하였다.

빅데이터 분석 서비스 제공 업체들은 스피드의 중요성을 직감하고 테라바이트(TB)의 데이터를 초 단위로 분석할 수 있는 제품을 만들었다. 한편 데이터 저장 비용은 지난 몇 년간 꾸준히 감소하였지만, 데이터 발생량이 많아지면서 여전히 비용부담이 되고 있다. 따라서 대부분의 기업은 데이터 전체를 저장하며 큰 비용을 부담하는 것보다 실시간 스트리밍 데이터를 분석하여 필터링 된 데이터만을 저장하는 방식을 선호하는 추세이다.

2. 데이터의 품질

빅 데이터를 논할 때 데이터의 품질은 이슈 사항이 아니었다. 그러나 데이터 발생량의 폭발적인 증가로 데이터 품질이 중요한 이슈로 떠오르고 있다. 데이터가 처리, 분석되어 어떠한 결정에 도달하는 속도는 이미 인간의 두뇌로 따라갈 수 있는 범주를 넘어섰다. 이는, 데이터의 정의 및 처리/분석, 의사결정이 내려지는 모든 과정에서 인간이 개입할 수 있는 부분이 없다는 것을 의미한다. 이러한 환경에서는 잘못된 데이터의 단일 스트림이 바이러스처럼 영향을 끼칠 수 있으며 잘못된 의사결정을 이끌어 커다란 경제적 손실을 입힐 수 있다.

예를 들어, 알고리즘을 사용하여 주식 시장의 동향을 분석하고 1,000분의 1초 단위로 주식 거래를 하는 알고리드믹 트레이딩의 세계에서 잘못된 정보의 입력은 커다란 금융 손실이 된다. 따라서 데이터의 품질은 데이터 서비스 수준 계약(Service Level Agreements)의 핵심이 되었고, 기업은 저급 품질의 데이터를 실시간으로 파악하여 경보를 발생시켜 문제를 해결하고 있다.

3. 응용 프로그램

빅 데이터를 분석하여 사업에 반영하고 싶은 기업의 수요는 증가하였으나, 기술적인 문제로 인해 아직 빅데이터를 활용하는 기업은 미미한 실정이다. 현재 빅 데이터를 성공적으로 사용 중인 곳은 이하모니(Eharmony) 같은 온라인 데이팅 서비스 제공업체와 기상정보 제공업체 등이 있다. 가까운 미래에는 많은 중소기업이 데이터 분석을 위한 특별한 인프라나 데이터 과학자(Data Scientist) 채용 없이 몇 가지 애플리케이션으로 빅 데이터 분석이 가능하여 맞춤형 서비스를 제공할 것으로 예상한다. 고객의 연결된 정보를 여러 채널을 통해 통합적으로 분석하고 고객이 원하는 제품과 서비스를 제공함으로써 기업은 더 많은 이익을 얻을 수 있다. 특히 건강관리, 다이어트, 음식, 오락 등을 위한 맞춤형 서비스 시장이 커지면서 우리의 삶도 윤택하게 될 것으로 예상한다. 

관련 기사: Venturebeat