[데스크칼럼]홍진석 온라인 에디터 부국장 "빅데이터시대 준비하기"

개인용 컴퓨터(PC)와의 첫 만남은 1988년 서울 올림픽이 막을 내린 직후였다. IBM호환 청계천 세운상가 조립제품이었지만 가격은 무려 75만원에 달했다. 당시 근로자 평균임금은 45만원선이었다. 하지만 0.36메가 짜리 5.25인치 플로피 2개만 달려있어 문서작업조차 쉽지 않았다. 결국 하드디스크드라이브 (HDD)를 추가로 구입해야 했다. 저장용량이 20메가에 불과했지만 25만원을 주고 구입해야 했다. 25년이 흐른 2013년, 20메가 HDD로는 초고해상도 사진 한 장조차 담지 못하게 됐다. 이미 기가의 시대를 넘어 테라의 시대에 진입한 지 오래다. 메가는 메모리용량으로 보면 100만 단위, 테라는 1조 단위에 해당한다.

고집적 고용량 메모리 기술의 발전은 디지털 정보를 어마어마한 규모로 늘려가고 있다. 2010년 이후 불과 3년간 전세계에 축적된 디지털 데이터는 그 이전 인류가 유사이래 쌓아놓은 정보보다 더욱 많다고 한다. 2010년 전세계에서 생산된 디지털문서, 동영상,사진 등은 1기가의 1조배에 달하는 1.2제타에 달했다. 2012년에는 2제타를 훌쩍 넘어섰을 것으로 보인다. 2제타는 2시간 분량 고화질 영화 2200억 편에 달하는 규모다. 불과 몇년 뒤면 사람의 일생을 요람에서 무덤까지 모두 촬영하고도 남을 휴대용 저장장치가 등장할 전망이다.

디지털데이터의 급팽창은 빅데이터시대로의 진입을 가능하게 했다. 여기에 디지털 데이터의 집적 유통 활용을 더욱 편리하게 해주는 클라우드 서비스까지 가세하면서 인류의 생활방식을 송두리째 바꿔갈 조짐이다. 클라우드는 유ㆍ무선망을 통한 데이터의 저장 전달 공유로 요약할 수 있다. 예전에는 디지털영상자료를 메모리카드 등에 담아 PC와 인터넷접속라인이 갖춰진 장소로 이동한 뒤에야 전송할 수 있었지만 이제는 실시간 공유가 일반화됐다. 스마트폰으로 촬영한 사진이나 동영상 문서들이 무선망을 거쳐 인터넷 저장공간에 올려진다. 애플 아이클라우드, 구글플러스, 네이버 엔드라이브, 다음 클라우드, 페이스북 스마트폰 사진 동기화 등이 대표적이다.

이러한 빅데이터와 클라우드란 거대한 흐름은 이른바 세계정보기술(IT)업계의 ‘4대천왕’으로 불리는 구글,아마존,애플, 페이스북 등에 의해 주도되고 있다. IBM, 마이크로소프트, HP 등도 빅데이터 관련 기술 개발에 사운을 걸고 있다. 금융계 유통업계에서도 고객들의 니즈에 신속히 대응하기 위해 빅데이터 활용에 적극적으로 나서고 있다. 빅데이터는 용량만 큰 게 아니다. 문자, 동영상, 사진 등 형태도 다양할 뿐만 아니라 생산에서 유통까지 수초~수분 사이에 빠르게 진행된다. 과거엔 이러한 자료를 축적하기 조차 어려웠을 뿐 아니라 컴퓨터 성능도 실시간 분석결과를 내놓기엔 힘에 부쳤다. 하지만 데이터와 연산기능의 눈부신 발전은 막대한 규모의 데이터에서 고급 정보를 추려낼 수 있게 됐다.

미국의 한 통신사는 3000만명의 가입자로부터 하루 평균 170억건에 달하는 통화시간,통화장소 등 고객정보 관련 빅데이터를 확보해왔다. 방치해둔 고객정보를 빅데이터기법으로 심층분석한 결과 타사로 이동한 고객들이 소셜네트워크에서 가까운 사이란 사실을 찾아냈다. 이를 바탕으로 고객만족 프로그램을 마련해 이탈고객수를 대폭 줄일 수 있었다. 미국 정부도 방대한 의료기록을 빅데이터 방식으로 분석했다. 구글과 아마존의 힘도 빌렸다. 이를 바탕으로 의료사각지대의 해소와 예방적 의료복지정책을 내놓을 수 있었다.

하지만 우리 정부와 기업들은 빅데이터시대 대응에 적극적으로 나서지 못한 상태다. 엄격한 개인정보보호제도가 빅데이터의 수집과 활용에 걸림돌이 되고 있는 것도 사실이다. 정보축적과 공유에 소극적인 국내기업문화 역시 빅데이터 시대 진입에 걸림돌이 되고 있다. 웹2.0이란 개념을 최초로 내놨던 팀 오라일리의 지적에 귀를 기울여야한다. “(미래의) 승자는 일정 수준 이상의 사용자를 확보하고 여기서 확보한 데이터를 기반으로 맞춤형 서비스를 제공하는 기업이 될 것이다.”