최근 수년 동안 빅데이터는 정보기술(IT) 업계의 화두가 돼왔습니다. 심지어 최근 한국을 찾은 에릭 슈밋 구글 회장은 "내게 수십억의 돈이 있다면 빅데이터에 투자하겠다"고 호언하기도 했죠. 빅데이터란 도대체 무엇일까요? 빅데이터란 인터넷상에 오가는 모든 메시지, 이미지, 영상 등을 포괄하는 용어를 의미합니다. 이 세상에 존재하는 모든 정보를 뜻한다고도 말할 수 있습니다. 여러분이 즐겨 하는 페이스북, 인스타그램 등 SNS뿐 아니라 GPS를 기반으로 한 지도 정보, 날씨 정보처럼 현존하는 정보를 '중요한 데이터'라는 개념으로 정의하고 데이터 분석 방법에 주목하기 시작하면서 빅데이터 시대가 도래한 거죠.

빅데이터는 어디선가 갑자기 튀어나온 새로운 것이 아닙니다. 다만 디지털 시대 이전에는 많은 정보를 기록하고 처리하는 데 한계가 있었습니다. 하지만 컴퓨터와 스마트폰의 저장능력과 정보처리 기술이 비약적으로 발전하면서 빅데이터 또한 각광받게 된 것입니다. 많은 대기업과 사장들이 빅데이터가 중요하다고 강조하는 모습을 많이 보셨을 겁니다. 왜 그럴까요?

빅데이터가 사람의 숨은 욕구를 읽어낼 수 있기 때문입니다. 이를 통해 기업은 새로운 사업 기회를 만들 수 있죠. 실제로 굴지의 기업들은 빅데이터를 최고의사결정 단계에서 활용하고 있습니다. 빅데이터엔 수학 공식처럼 규칙이 있는 정보, 그날의 날씨에 따라 달라지는 기분과 같은 무차별적인 정보가 뒤섞여 있습니다.

그러기에 데이터가 모인 형태로만은 아무것도 할 수 없습니다. 하지만 구글이나 IBM, 마이크로소프트(MS) 등 글로벌 IT업체들은 이 빅데이터를 분석하는 다양한 방법에 대해 연구하고, 이를 기존 사업을 변화시키는 인사이트를 줄 만한 형태로 가공하는 데 주력하고 있습니다. 무작위로 모인 것과 같은 빅데이터를 슈퍼컴퓨터가 들여다봤을 때, 반복되는 패턴이 발견될 수 있습니다. 옛날이라면 이것을 인간이 손수 파악해내기란 거의 불가능에 가까웠겠죠. 하지만 정보 처리속도가 인간의 수백 배인 컴퓨터엔 쉬운 일일지도 모릅니다. 바로 이 패턴을 통해 미래를 예측할 수 있는 힘을 가지게 되는 것입니다.

최근에는 빅데이터라는 것이 진화해 '기계학습(머신러닝)'이나 '인공지능' 영역까지 확산하고 있습니다. 기계학습은 말 그대로 디지털 기기를 학습시켜 사람처럼 사물을 인식하고, 판단하며 행동하도록 하는 방법입니다. 빅데이터의 가장 핵심적인 기술로 평가받고 있죠. 이것은 컴퓨터가 사람처럼 생각하고 말하게 하는 인공지능(AI) 영역과도 직결돼 있습니다. 컴퓨터가 강아지 사진을 보고 '강아지'라는 것을 인식해 강아지가 나오는 사진을 묶어 보여주는 '구글포토'부터 인간 대신 수술하는 로봇까지 이미 상용화된 기술도 적지 않죠.

이처럼 빅데이터의 활용 분야가 넓어짐에 따라 빅데이터 시장 전망도 긍정적으로 변하고 있습니다. 매년 시장 규모(금액)가 2배 성장한다는 게 업계 추산입니다. 그만큼 빅데이터 사용이 대중화하고 각종 세계 시장에서 긴요하게 쓰이게 될 것을 예측할 수 있겠습니다.

빅데이터 분석에 따라 자동차나 선박 제조 기업은 공정상에서 나타나는 고장이나 실수를 획기적으로 줄이게 됐습니다. 예를 들어 기존 정상 제조 과정이 아닌 작은 착오가 발생했을 때, 예전엔 이를 발견하지 못해 결과적으로 불량품이 됐는데, 착오와 실수를 미연에 방지해 불량률을 낮출 수 있게 된 겁니다.

대기업뿐 아니라 스타트업(신생기업) 역시 빅데이터에 주목하고 있습니다. 채팅 대화의 감정을 분석해주는 '텍스트앳'이라는 서비스 한 번쯤은 써보셨을 텐데요. 빅데이터 자체가 서비스로 이어진 대표적 사례입니다. 텍스트앳이 보유하고 있는 대화 데이터베이스 양은 5억개 이상입니다.

이를 바탕으로 과학적 분석을 통해 상대방의 감정을 애정도, 호감도 등으로 분류해 파악하는 것이죠. 서로가 많이 쓰는 말투 순위도 매겨볼 수 있어 사용자에게 즐거움을 줍니다. 이 서비스는 연세대 학술세미나와 2년 동안 연구개발해 출시됐습니다. 빅데이터 활성화와 함께 염려되는 점은 바로 개인정보와 보안 문제입니다. 일상의 모든 정보가 빅데이터로서 수집되고 분석되기 때문에 무심코 개인정보가 유출될 수도 있는 것이죠. 또 산업정보나 군사정보와 같은 부분이 유출된다면 국가 경제에도 위험할 수 있습니다.  

[이경진 기자]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지