Hadoop의 이해

본문내용

Hadoop - 개요

Apache Hadoop은 많은 컴퓨터들의 클러스터 조직을 통해 데이터 집중 분산 애플리케이션을 지원하는 자바 소프트웨어 프레임워크

<<그림>>

Map/Reduce는 대규모 분산처리를 key/value 쌍으로 이루어진 데이타 집합들로 처리
*Nutch 프로젝트의 Infra Structure로 개발 됨(Hadoop과 Nutch는 Apache *Lucene 프로젝트 의 일부)
Hadoop의 Map/Reduce 프레임워크는 장비들의 clusturing을 통해 사용자 정의 작업을 각 node 전반에 걸쳐 실행
하나의 Map/Reduece 계산은 Map 단계와 Reduce 단계로 이루어짐, 계산에 필요한 입력은 key/value 쌍들으로 이루어진 데이터 집합
Peta Byte 단위의 데이터를 처리 가능

키워드

hadoop,   hdfs,   hbase,   빅데이터