키스세븐지식
[빅데이터 분석 활용 기술의 놀라운 전망]
빅데이터(Big data)란 엄청난 양의 정보를 데이터베이스를 통하여 수집, 분석하고, 이를 이용하여 여러 분야에 활용할 수 있도록 제공하는 것을 말합니다.
빅데이터를 분석하고 활용하면 일정부분 미래에 대한 예측이 가능해지며, 각 개인마다의 개인화된 자동서비스 등이 발달하여 편리한 생활이 될 것으로 전망됩니다. 아무 것도 아닐 수 있는 작은 자료들이라도 무한정의 수집과 분석을 거치면 미래를 볼 수 있으니 빅데이터의 전망은 매우 놀라울 정도입니다.
빅데이터, 어떻게 분석되고 활용되나
엄청난 양의 데이트가 생기고 주고받게 되면서 수많은 정보를 수십하고 분석, 활용하는 기술이 필요하게 되었습니다.
빅데이터를 이용하는 가장 대표적인 것은 검색엔진입니다. 사람들은 어떤 것을 관심 있어 하는지를 연구하여 한 번의 검색으로도 개인에 최적화된 자료를 더 정확하고 빠르게 찾을 수 있게 해 줍니다.
또한 스마트폰이 활성화되면서 화제가 된 음성명령, 인식 기술, 번역도 빅데이터를 이용하는 것입니다. 수많은 음성입력과 번역기록이 쌓이면 좀 더 인간과 비슷한 결과를 만들어 낼 수 있습니다. IT분야에서의 빅데이터는 인공지능의 발판이 되는 기술에 속합니다.
(테라바이트를 넘어 페타바이트와 엑사바이트.... 엑스바이트)
뿐만 아니라, 마케팅에서는 사람의 심리, 취향, 습관, 개인화 등을 연구하여 각 개인이 어떤 것을 선호하는지를 알아내어 자동으로 필요로 하는 것을 골라서 권유해 주기도 합니다. 효과적인 광고를 위해서도 사람들은 무엇을 선호하는지 사회심리학적인 빅데이터의 분석이 필요해지게 되었습니다.
오바마 미국 대통령 선거에서도 나이, 직역별로 유권자가 원하는 홍보 전략으로 빅데이터가 활용된 바 있습니다.
이렇듯 빅데이터는 경제와 학문, 정치, 산업에서 알게 모르게 활발히 활용되고 있는 중입니다.
(우리가 주고 받는 모든 글자, 이미지, 동영상 등이 다 빅데이터이다)
사실 빅데이터의 유형은 과거에도 활용되어 왔습니다. 대표적인 것으로 야구가 있습니다. 야구는 그야말로 통계의 스포츠입니다.
타율, 방어율, 출루율뿐만 아니라 수많은 투수와 타자 간에 어느 코스의 공이 어떤 안타를 만드는지까지도 계산하여 작전을 세울 수 있습니다.
그리고 빅데이터를 활용하면 과거의 역사적 이슈뿐만 아니라 그 시기의 사람들의 심리까지도 연구를 할 수 있습니다. 흔히 보는 인기검색어나 트렌드 서비스도 역시 그러한 맥락입니다. 하나하나의 저장은 별 쓸모없는 기록일 뿐이지만 이것이 엄청나게 쌓이면 미래 예측이 가능해지니 놀라운 상황이 됩니다.
그 밖에도 빅데이터는 의료 자료, 기상 예측, 보안 관리, 경영 기획 등에 광범위하게 사용되고 있습니다.
(날씨예보도 엄청난 빅데이터와 초고속 슈퍼컴퓨터가 있어야 가능하다)
빅데이터의 신뢰성과 대량 자료의 필요성
통계에는 수학적 확률과 통계적 확률이 있습니다. 주사위를 던졌을 때 수학적 확률은 '6가지 경우가 있으니 특정 면이 나올 확률은 1/6이다'라고 생각하고, 통계적 확률은 '실제로 수십 번, 수백 번을 던져 보아서 경험적 기록을 통하여 1/6에 가까워진다'라고 생각합니다.
매우 많은 양의 자료가 쌓이면 수학적 확률과 통계적 확률은 결국 수렴하는 것을 알 수 있습니다.
모비율과 표본비율에 있어서도 통계적 확률이 적용되는데, 통계적 확률은 "충분히 많은 표본을 가져야할 것"을 전제조건으로 합니다.
선거 후보 지지율 여론조사를 할 때 "표본오차는 ±3.1%포인트, 신뢰수준은 95%"같은 것이 마지막에 꼭 붙으니 눈여겨 볼만 합니다.
(빅데이터가 쌓이고 분석기술이 높아지면 미래의 예측도 가능해 진다)
동향과 예측을 위한 통계는 "충분히 많은 표본"이 확보되어야 정확도가 높아지기 때문에 빅데이터 기술은 미래에 점점 영향력이 막강해질 것으로 보입니다.
과거의 사실에 대해서도 수많은 문헌에 대해 수집과 분석을 통한 통계로 관련성을 연구하는 메타분석학에 사용되기도 합니다.
그러나, 이렇게 활용범위가 넓은데도 불구하고 권력자의 손에서 악의적으로 사용되면 국민감시에 사용될 우려가 있으므로 윤리적인 자세와 함께 통제할 수 있는 대책도 같이 연구되어야 할 과제는 아직 남아 있는 실정입니다.
(로그인 필요없음)
