|
Hadoop - 개요
Apache Hadoop은 많은 컴퓨터들의 클러스터 조직을 통해 데이터 집중 분산 애플리케이션을 지원하는 자바 소프트웨어 프레임워크
<<그림>>
Map/Reduce는 대규모 분산처리를 key/value 쌍으로 이루어진 데이타 집합들로 처리
|
|
|
Hadoop?
2004년 경 구글이 자신들의 검색 서비스를 위해 사용하고 있던
분산 파일 시스템인 GFS와 분산 처리 시스템인 MapReduce에
대한 논문을 발표하면서 구글의 분산 시스템 방식이 널리 알려지게 됨.
분산 시스템이란...
대용량 데이터를
|
|
|
Hadoop
IBM Netezza data warehouse
NoSQL
[저장시스템]
기존 저장 기술인 SAN(Storage Area Network), NAS(Network Attached Storage)와 클라우드 파일을 저장하기 위한 시스템으로는 Amazon S3나 OpenStack Swif이 있으며 GFS(Google File System), HDFS(Hadoop Distributed File System)
|
|
|
Hortonworks is a sponsor of the Apache Software Foundation.
Hortonworks is “a technology leader and ecosystem builder for the entire Hadoop industry.”
About Apache Hcatalog
* HCatalogs table abstraction presents users with a relational view of data in the (HDFS) Hadoop Distributed Fil
|
|
|
# tar –xvzf ambari-2.4.1.0-centos6.tar.gz; tar-xvzf HDP-2.5.0.0-centos6-rpm.tar.gz;
tar –xvzf HDP-UTILS-1.1.0.21-centos6.tar.gz
# mv ( ambari, hdp, hdp-utils forder ) /var/www/html/repo
Web 에 접속하여 forder이동 후 Directory 확인
Web – Ambari = repos.dsng.com/repo/AMABARI-2.4
|
|
 |
처리할 수 있는 Hadoop과 Hadoop Echo System입니다. 이러한 기술은 빅 데이터의 등장과 함께 급속도로 성장하며 발전하였습니다. 빅 데이터를 이용한 산업은 구글, FaceBook 등 전 세계적으로 유명한 기업들이 사용하면서 그 기술력은 계속해서 성장해
|
|
 |
, PyTorch 등 다양한 도구와 라이브러리를 다룰 수 있으며, SQL을 이용한 데이터베이스 관리와 데이터 처리 경험도 가지고 있습니다. 특히, 빅데이터 처리에 대한 이해를 돕기 위해 Hadoop과 Spark와 같은 분산 처리 시스템을 활용한 경험도 쌓았습니
|
|
 |
비효율성 문제를 중심으로 구체적인 연구 주제를 설정합니다. 예를 들어, 통신 병목 현상에 따른 학습 지연, 데이터 불균형이 모델에 미치는 영향 등을 측정 가능한 변수로 정리합니다.
- 시스템 설계 및 알고리즘 개발
오픈소스 플랫폼(Hadoop,
|
|
 |
Hadoop, Kafka 등의 기술을 활용하여 대용량 데이터를 효율적으로 처리하는 방법을 배웠다. 이를 통해 데이터 처리와 AI 모델 학습의 효율성을 높이는 다양한 기법을 습득할 수 있었습니다.
대학원 과정에서도 머신러닝, 강화학습, 최적화 이론,
|
|
 |
경험/이력/생각을 자유롭게 기술해주세요.(대회, 해커톤, 프로젝트, 오픈소스 코드 기여, 논문 등)
4. 인프라 내 5개의 세부분야 (System Engineer, Network Engineer, DBA, Data Architect, Hadoop Engineer) 중 관심 분야 2개 이상을 기술해주세요.
면접예상질문
|
|
메뉴펼치기
