MapReduce

https://youtu.be/2RPVFhxps_s

1. 병렬 컴퓨팅

• 처리속도 향상을 위해서 cpu 칩 하나에 코어 여러개를 집어넣어 병렬적으로 연산처리 하도록 하는 컴퓨팅 시스템

 

2. 병렬 분산 처리

• 빅데이터를 처리하기 위해 비교적 저렴한 서버 여러개를 이용해서 간단한 계산을 한 이후 결과를 합쳐 최종 결과를 계산

 

3. MapReduce

https://youtu.be/2RPVFhxps_s

• 대용량 데이터를 효율적으로 처리하기 위한 기술
• 여러 대의 서버가 하나의 시스템으로 작동하는 컴퓨터 클러스터 환경을 가짐
• Map 단계

1. 데이터가 저장된 로컬에서 동작
2. 분산 저장된 데이터를 서버에서 처리
3. 공백으로 분류해 단어 1과 출력

• Reduce 단계

1. 선정된 데이터 분석 및 통합
2. 글자 수 합을 구해 단어, 글자수 출력