|
Hadoop - 개요
Apache Hadoop은 많은 컴퓨터들의 클러스터 조직을 통해 데이터 집중 분산 애플리케이션을 지원하는 자바 소프트웨어 프레임워크
<<그림>>
Map/Reduce는 대규모 분산처리를 key/value 쌍으로 이루어진 데이타 집합들로 처리
|
|
|
Hadoop?
2004년 경 구글이 자신들의 검색 서비스를 위해 사용하고 있던
분산 파일 시스템인 GFS와 분산 처리 시스템인 MapReduce에
대한 논문을 발표하면서 구글의 분산 시스템 방식이 널리 알려지게 됨.
분산 시스템이란...
대용량 데이터를
|
|
|
Hadoop
IBM Netezza data warehouse
NoSQL
[저장시스템]
기존 저장 기술인 SAN(Storage Area Network), NAS(Network Attached Storage)와 클라우드 파일을 저장하기 위한 시스템으로는 Amazon S3나 OpenStack Swif이 있으며 GFS(Google File System), HDFS(Hadoop Distributed File System)
|
|
|
Hortonworks is a sponsor of the Apache Software Foundation.
Hortonworks is “a technology leader and ecosystem builder for the entire Hadoop industry.”
About Apache Hcatalog
* HCatalogs table abstraction presents users with a relational view of data in the (HDFS) Hadoop Distributed Fil
|
|
|
# tar –xvzf ambari-2.4.1.0-centos6.tar.gz; tar-xvzf HDP-2.5.0.0-centos6-rpm.tar.gz;
tar –xvzf HDP-UTILS-1.1.0.21-centos6.tar.gz
# mv ( ambari, hdp, hdp-utils forder ) /var/www/html/repo
Web 에 접속하여 forder이동 후 Directory 확인
Web – Ambari = repos.dsng.com/repo/AMABARI-2.4
|
|
|
. 24rd Int'l Conf. on Very Large Data Bases, pp. 299-310, Aug. 1998.
Bottom Up Computation of Iceberg Cube
using MapReduce Framework
Suan, Lee
Department of Computer Science
Graduate School, Kangwon National University
Abstract
Owing to advances in information and Web technologies, storing and analy
|
|
|
Hadoop) 기반의 데이터 마이닝으로 운용하고 있다. 분석 인프라 부서는 게임의 이용 상황 등 인상적인 분석 항목에 대한 분석결과를 열람할 수 있는 시스텐을 개발, 게임의 기획. 개발 담당자도 체크할 수 잇게 하였다. 현재는 게임기획. 개발자
|
|
|
Hadoop 에코시스템 성능관리 솔루션
- 빅데이터 수집, 저장, 처리, 분석, 시각화 빅데이터 모든 서비스 제공
- 매출 추이 : 19년도 15억 원 → 21년도 42억 원 (전 제품 중, 가장 높은 매출 증가율)
<기능>
- Hadoop 플랫폼의 주요 컴포넌트 및 서비
|
|
|
서 가능성만이 논의될 뿐 비즈니스 관련 의사결정 과정에서의 적용은 이루어지지 않고 있는 것이 사실이다. 미국을 비롯한 유럽 등의 나라는 정책적 과제로 빅 데이터를 추진하고, 일부 민간 기업들의 성공적 사례가 등장하고 있다. 빅 데이
|
|
|
Hadoop)
2. 오픈소스 프로젝트 R
3. NoSQL
<5> 빅데이터가 이전 기술과 다른 점
<6> 해외 빅데이터 활용사례
1. ZARA
2. 월마트
3. 아마존닷컴, 구글&페이스북
<7> 국내 빅데이터 활용 사례
1. 대한민국 제19대 총선
2. CU
3. 쿠팡
<8> 빅데이터
|
|
메뉴펼치기
