목록IT/Hadoop (3)

Thing's by Actruce

하둡 소개글

아래 내용은 "거침 없이 배우는 하둡 - Hadoop In Action, 지앤선" 에서 발췌했습니다. 형식적 정의 하둡은 대용량 데이터를 처리하는 분산 응용 프로그램을 작성하고 실행시키기 위한 오픈 소스 프레임워크(Framework) 이다. 다른 분산 컴퓨팅과 다른 주된 차이점 1. 접근(Accessible) - 하둡은 윈도우 PC 같은 범용 컴퓨터들로 구성된 큰 규모의 클러스터나 아마존의 Elastic Compute Cloud(EC2)와 같은 클라우드 컴퓨팅 서비스에서 실행된다. 2. 견고성(Robust) - 하둡은 윈도우 PC와 같은 범용 컴퓨터에서 실행되도록 의도되었기 때문에, 하드웨어의 빈번한 고장을 가정하고 설계되었다. 하둡은 그러한 고장 시 대부분 적절하게 대응할 수 있다. 3. 확장가능성(S..
IT/Hadoop 2017. 12. 3. 22:37
하둡 2.7.3 설치

설치환경 - Windows10 에서 Oracle Virtual Box 가상머신으로 Ubuntu 16.04.1 x64 OS 로 설치 - Hadoop Release 2.7.3 - jdk 1.8.0_131 설치 가이드 - 이 포스팅에서 다루는 하둡 설치 가이드는 다음 링크 를 참조했다. 악명높은 WordCount 예제 실행하기 - WordCount 예제 실행은 위의 링크의 maven 및 IDEA IntelliJ 를 설치해서 수행한 것과 Hadoop Apache 공식 사이트의 jar 생성방식을 같이 다룬다. 하둡 아파치 2.7.3 WordCount 예제 Documentation 하둡 설치 1. Oracle Virtual Box 에서 Ubuntu 설치하기 - Virtual Box 를 설치하고 Ubuntu 설치하는..
IT/Hadoop 2017. 12. 3. 22:31
하둡 WordCount 예제 실행하기

- 하둡 설치가 되지 않은 사람은 이전 포스트팅의 하둡 2.7.3 설치 를 참조하기 바란다. - WordCount 예제 실행은 Hadoop Apache 공식 사이트의 jar 생성방식을 사용한다. 하둡 아파치 2.7.3 WordCount 예제 Documentation (jar command 를 사용하여 jar 파일 만들기) 악명높은 WordCount 예제 실행하기 (maven 으로 jar 파일 만들기도 참조) WordCount example 실행하기 (jar command 사용) 1. WordCount.java 작성 - 필자의 경우는 /usr/hduser/src_hadoop/mapreduce/WordCount_Origin/ 아래에 WordCount_Origin.java 파일을 생성하였다. - 하둡 공식 사..
IT/Hadoop 2017. 12. 3. 22:15
Prev 1 Next