haoop mapreduce에 대한 올바른 설명은 다음과 같습니다.

Hadoop MapReduce에 대한 올바른 설명은 Hadoop Map Reduce가 분산 컴퓨팅 모델이라는 것입니다. 주요 아이디어는 분할 및 정복이며 일괄 처리 작업에 적합합니다.

1. Map Reduce 정의

Map Reduce는 분산 컴퓨팅 프로그램을 위한 프로그래밍 프레임워크로, 사용자가 "Hadoop 기반 데이터 분석 애플리케이션"을 개발하기 위한 핵심 프레임워크입니다. Map Reduce의 핵심 기능은 사용자가 작성한 비즈니스 로직 코드와 기본 제공 기본 구성 요소를 Hadoop 클러스터에서 동시에 실행되는 완전한 분산 컴퓨팅 프로그램에 통합하는 것입니다.

간단히 말하면 MapReduce는 프레임워크, 분산 컴퓨팅 프레임워크입니다. 사용자가 비즈니스 로직을 프레임워크에 넣으면 Hadoop에서 분산 컴퓨팅을 구현하는 프레임워크를 사용하여 분산 컴퓨팅 프로그램을 구성하게 됩니다. 무리. .

MapReduce의 핵심 아이디어는 빅 데이터 작업을 여러 개의 작은 데이터 작업으로 분해하고 분산 처리를 위해 Map에 넘겨주고 마지막으로 Reduce를 사용하여 결과를 병합하는 것입니다.

2. Map Reduce 프로세스

1. MRApp 마스터: 전체 MR 프로그램의 프로세스 스케줄링과 Resource Manager와의 상호 작용을 담당합니다.

2. MapTask: Map 단계의 프로세스 스케줄링 및 특정 구현을 담당하며 일반적으로 1부터 여러 개까지 열 수 있으며 슬라이스 수에 따라 결정됩니다.

3. Reduce 작업: Reduce 단계에서 데이터 병합 처리를 담당하며 일반적으로 Map 단계에서 데이터를 병합할 수 있는 경우에는 Reduce를 켤 필요가 없습니다.

리소스 관리자는 Yarn의 관리자이자 RM이라고 하는 리소스 관리자의 관리자입니다.

MapReduce 코드 처리 프로세스:

1. Mapper 단계

Map 단계에서는 대규모 처리 작업을 작은 작업으로 나눈 후 각 노드에 할당하여 실행합니다. 독립적으로, 서로 간섭하지 마십시오.

2. 감소 단계

감소 단계는 맵 단계의 실행 결과를 요약합니다.

3. 드라이버 단계

드라이버는 실행을 위해 전체 MapReduce 프로그램을 Yarn 클러스터에 제출하는 데 사용됩니다. Map Reduce 작업 개체의 관련 작동 매개변수입니다. 모든 Map Reduce는 궁극적으로 노드에 의해 실행되고 Yarn은 할당된 노드에 리소스를 할당하기 때문입니다.