본문 바로가기

게코인터내셔널(GI)

절판중... 혹시 맨 아래책을 저한테 파실 분은 없는지요..??

 

 

 

 

 빅 데이터(영어: big data)란 기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다.

 

 다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅 데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케 하고 개인화된 현대 사회 구성원 마다 맞춤형 정보를 제공, 관리, 분석 가능케 하며 과거에는 불가능했던 기술을 실현시키기도 한다.

 

 이같이 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다. 하지만 빅데이터의 문제점은 바로 사생활 침해와 보안 측면에 자리하고 있다. 빅데이터는 수많은 개인들의 수많은 정보의 집합이다.

 

 그렇기에 빅데이터를 수집,분석할 때에 개인들의 사적인 정보까지 수집하여 관리하는 빅브라더의 모습이 될 수도 있는 것이다. 그리고 그렇게 모은 데이터가 보안 문제로 유출된다면, 이 역시 거의 모든 사람들의 정보가 유출되는 것이기에 큰 문제가 될 수 있다.

 

 세계 경제 포럼은 2012년 떠오르는 10대 기술 중 그 첫 번째를 빅 데이터 기술로 선정했으며 대한민국 지식경제부 R&D 전략기획단은 IT 10대 핵심기술 가운데 하나로 빅 데이터를 선정하는 등 최근 세계는 빅 데이터를 주목하고 있다.

 

 

 

 정의

 

 빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말한다. 빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다.

 

 메타그룹(현재 가트너)의 애널리스트 더그 레이니(Doug Laney)는 2001년 그의 연구 보고서 와 관련 강의에서 데이터의 급성장에 따른 이슈와 기회를 데이터의 양(volume), 데이터 입출력의 속도(velocity), 데이터 종류의 다양성(variety)이라는 세 개의 차원으로 정의하였다.

 

 이 “3V” 모델은 이후 가장 널리 사용되는 빅 데이터의 정의가 되었다. 2012년 가트너는 기존의 정의를 다음과 같이 개정하였다: “빅 데이터는 큰 용량, 빠른 속도, 그리고(또는) 높은 다양성을 갖는 정보 자산으로서 이를 통해 의사 결정 및 통찰 발견, 프로세스 최적화를 향상시키기 위해서는 새로운 형태의 처리 방식이 필요하다.”

 

 이에 더해, IBM은 진실성(Veracity)이라는 요소를 더해 4V를 정의하였고, 브라이언 홉킨스(Brian Hopkins) 등은 가변성(Variability)을 추가하여 4V를 정의하였다. 가트너의 3V 정의가 여전히 널리 사용되고 있는 가운데, 데이터와 그것의 사용 방법에 있어서 빅 데이터와 경영정보학의 차이가 점차 더 뚜렷하게 구분되고 있다.

  • 경영정보학은 대상을 측정하고 경향을 예측하는 등의 일을 하기 위해 고밀도의 데이터로 구성된 기술적 통계를 활용한다.
  • 빅 데이터는 큰 데이터 집합으로부터 일정한 법칙을 추론하여 결과 및 행동을 예측하기 위해 통계적 추론과 비선형 시스템 식별(nonlinear system identification)[11] 의 일부 개념을 활용한다.

 분석기법

 

 상기 특징을 가진 빅 데이터의 분석, 활용을 위한 빅 데이터 처리 기법은 크게 분석 기술, 표현 기술로 나뉜다.

 

 분석기술

 

 대부분의 빅 데이터 분석 기술과 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당된다. 특히 최근 소셜 미디어등 비정형 데이터의 증가로 인해 분석기법들 중에서 텍스트 마이닝, 오피니언 마이닝, 소셜네트워크 분석, 군집분석 등이 주목 받고 있다.[14]

  • 텍스트 마이닝: 비/반정형 텍스트 데이터에서 자연 언어 처리 기술에 기반하여 유용한 정보를 추출, 가공
  • 오피니언 마이닝: 소셜미디어 등의 정형/비정형 텍스트의 긍정, 부정, 중립의 선호도를 판별
  • 소셜 네트워크 분석: 소셜 네트워크의 연결 구조 및 강도 등을 바탕으로 사용자의 명성 및 영향력을 측정
  • 군집 분석: 비슷한 특성을 가진 개체를 합쳐가면서 최종적으로 유사 특성의 군집을 발굴

 대규모의 정형/비정형 데이터를 처리하는 데 있어 가장 기본적인 분석 인프라로 하둡이 있으며 데이터를 유연하고 더욱 빠르게 처리하기 위해 NoSQL 기술이 활용되기도 한다.

 

 표현기술

 

 빅 데이터 분석 기술을 통해 분석된 데이터의 의미와 가치를 시각적으로 표현하기 위한 기술로 대표적인 것으로는 R (프로그래밍 언어)이 있다.

 

 

 

 비판

 

 빅 데이터 오용

 

 2012년 미국 대통령 선거에서 오바마 캠프 CTO였던 하퍼 리드(Harper Reed)는 빅 데이터란 단어가 엉뚱하게 남용되고 있으며, 그로 인해 빅 데이터란 말을 쓰기에 적합한 양이나 성격도 가지지 않은 데이터를 가진 사람들이 투자를 꺼리는 등 많은 오해가 생기고 있다고 비판했다. 실제로 국내외 IT 업계에선 CRM, 소셜분석, 통계분석, 검색기술 등이 빅 데이터란 단어로 포장되어 혼란을 주고 있다.

 

 빅데이터와 빅브라더 시대

 

 최근 빅데이터 분석 기법이 국가와 기업의 마케팅, 여론조사 등에 이용되면서 빅데이터가 빅브라더 시대를 여는 것이 아닌가에 대한 비판이 끊임 없이 제기되고 있다. 즉 빅데이터의 형태로 개인의 사생활, 정보, 성향 등이 노출되고 이것을 분석하고 통제함으로서, 빅데이터 분석능력이 곧 권력을 독점하는 '빅브라더 시대'로 진입한다는 것을 의미한다.

 

 일례로 미국은 빅데이터 분석을 이용해 사회를 감시해왔으며, 2013년 6월 6일 '국가안보국(NSA) 정보수집 파문'으로 그 진상이 드러난 바 있다. 전 국가안보국 계약직원인 에드워드 스노든은 지난해 6월 워싱턴포스트와 영국가디언 誌를 통해 미 정부가 프리즘(PRISM)을 통해 빅데이터를 분석, 전 세계를 감시해 왔다고 주장, 폭로하였다.

 

 

 

 프랙털 이론과 금융 시장

 

 

 

 저자 : 브누아 B. 만델브로트  출판사 : 열린책들

 

 새로운 수학 분야인 프랙털 기하학으로 금융 시장을 이해하다!

 수학계의 슈퍼스타이자 이단아로서 프랙털 기하학을 창시한 브누아 B. 만델브로트가, 미국 경제지 '월 스트리트 저널'의 유럽 지국 편집장을 역임한 리처드 L. 허드슨과 함께 저술한 『프랙털 이론과 금융 시장』. 자연의 불규칙성 속에 잠재한 규칙적 패턴을 인식하는 등의 새로운 수학 분야인 프랙털 이론의 관점에서 금융 시장을 분석하고 있다.

 

 금융 이론의 표준 도구와 모델을 혁신적으로 재평가하게 될 것이다. 특히 다우 지수부터 유로/달러 환율 등의 사례를 통해 급격하게 변동하는 금융 시장을 정확하고 명쾌하게 이해하도록 인도한다. 특히 금융 시장이 우리 생각보다도 훨씬 위험함을 깨닫게 해주고 있다.

 

 과학계의 독자들에게
 들어가는 말: 과학계의 이단자를 소개합니다

 1부 과거의 방식

 제1장 위험, 파괴 그리고 보상
 제2장 동전을 던지거나 화살을 날리기
 제3장 바슐리에와 그의 유산
 제4장 현대 금융 이론
 제5장 현대 금융 이론을 부정하는 사례
 도표 에세이: 이례적 이미지들

 2부 새로운 길부 새로운 방식

 제6장 격동하는 시장
 제7장 거 에 대한 연구: 프랙털 입문
 도표 에세이: 프랙털 갤러리
 제8장 목화를 둘러싼 미스터리
 제9장 장기 기억, 나일 강에서 시장까지
 제10장 노아, 요셉 그리고 시장의 거품
 제11장 거래 시간의 다중적 성격

 3부 나아갈 길

 제12장 금융계의 열 명의 이단아
 제13장 연구실에서

 참고 문헌
 찾아보기