[ADsP] 1-2. 데이터의 가치와 미래 (1) 빅데이터의 이해

1. 빅데이터의 정의

• 일반적 DB 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 (맥킨지, 2011)
• 다양한 대규모 데이터로부터 저렴한 비용으로 가치 추출, 수집, 발굴, 분석 지원하도록 고안된 차세대 기술 및 아키텍쳐 (IDC, 2011)
• 대용량 데이터로 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일 (메이어-쇤베르거와쿠키어, 2013)
• 빅데이터의 3V : Volume(양 - 규모 측면), Variety(다양성 - 유형 측면), Velocity(속도 - 수집 및 처리 측면)
• 3가지 관점에 따른 빅데이터의 정의
  • 좁은 범위 : 데이터 특성 변화 초점 (3V)
  • 중간 범위 : 처리, 분석 기술적 변화 포함 (새로운 데이터 처리, 저장, 분석 기술 및 아키텍쳐, 클라우드 컴퓨팅 활용)
  • 넓은 범위 : 인재, 조직 변화 포함 (data scientist 인재 필요, 데이터 중심 조직)

2. 빅데이터 출현 배경

• 빅데이터 현상 : 새로운 것이 아니라, 기존 데이터, 처리방식, 다루는 사람과 조직 차원에서 일어나는 변화
  - 산업계) 고객 데이터 축적(양질 전환 법칙)
  - 학계) 거대 데이터 활용 과학 확산(ex: 인간 게놈 프로젝트) → 필요 기술 아키텍처 및 통계 도구 발전
• 관련 기술 발전 : 디지털화, 저장 기술 발전 및 가격 하락, 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅 보편화
• 출현에 따른 변화
  • 사용자 로그 정보(인터넷 접속 시간, 정보, 검색기록 등) 대한 프로파일링 이루어짐
  • 사용자와 광고 매칭하는 정확도 향상
  • SNS, GPS, 가속센서, 거리센서 등으로 사용자 상황 정보 파악

3. 빅데이터의 기능

• 산업혁명의 석탄, 철 : 제조업 및 서비스 분야 생산성 끌어올려 사회, 경제, 문화, 생활 전반에 혁명적 변화 가져올 것으로 기대
• 21세기의 원유 : 경제 성장에 필요한 정보 제공하여 산업 전반의 생산성 한단계 향상, 기존에 없던 새로운 범주의 산업 만들어낼 것
• 렌즈 : 현미경이 생물학에 영향 미친 것처럼 산업 발전에 영향을 미칠 것 (구글 Ngram Viewer)
• 플랫폼 : 공동 활용 목적으로 구축된 유무형의 구조물 역할을 할 것

4. 빅데이터가 만들어 내는 본질적인 변화

• 사전처리 → 사후처리 : 가능한 한 많은 데이터 모으고 다양한 방식으로 조합해서 숨은 정보 찾아냄
• 표본조사 → 전수조사 : 클라우드 컴퓨팅 등으로 데이터 수집 및 처리비용이 감소되어 전수조사가 가능해질 것
• 질 → 양 : 데이터 지속 추가 시 양질의 정보가 많아져 전체적으로 좋은 결과 산출
• 인과관계 → 상관관계 : 상관관계 통해 특정 현상 발생 가능성이 포착되고 그에 상응하는 행동을 하도록 추천

 

출처 : ADsP 데이터 분석 준전문가 (윤종식 저)