Video: 97% Owned - Economic Truth documentary - How is Money Created 2024
Faza Reduce procesează chei și listele lor individuale de valori, astfel încât ceea ce este în mod normal returnat aplicației client este un set de perechi cheie / valoare. Iată un blow-by-blow până acum: Un set mare de date a fost împărțit în bucăți mai mici, numit splituri de intrare, și instanțele individuale ale sarcinilor mapperului au procesat fiecare dintre ele.
În unele cazuri, această singură fază de procesare este tot ceea ce este necesar pentru generarea ieșirii aplicației dorite. De exemplu, dacă executați o operație de transformare de bază pe date - convertiți întregul text la majuscule, de exemplu, sau extragând cadre cheie din fișiere video - singura fază este tot ce aveți nevoie. (Aceasta este cunoscută ca o lucrare numai pentru harta , apropo.)
Dar, în multe alte cazuri, lucrarea este realizată doar pe jumătate când sarcinile cartografierelor și-au scris rezultatele. Sarcina rămasă restabilește toate rezultatele intermediare la un singur răspuns unificat.
Similar cu sarcina mapper, care procesează fiecare înregistrare una câte una, reductorul procesează fiecare cheie individual. În mod normal, reductorul returnează o singură pereche cheie / valoare pentru fiecare cheie pe care o procesează. Cu toate acestea, aceste perechi cheie / valoare pot fi la fel de expansive sau de mici cât aveți nevoie de ele.
Când sarcinile reductorului sunt terminate, fiecare dintre ele returnează un fișier de rezultate și îl stochează în HDFS (Hadoop Distributed File System). După cum se arată aici, sistemul HDFS replică automat aceste rezultate.
În cazul în care Managerul de resurse (sau JobTracker dacă utilizați Hadoop 1) încearcă să aloce resurse pentru sarcini cartografiere pentru a se asigura că diviziunile de intrare sunt procesate local, nu există o astfel de strategie pentru sarcinile de reducere. Se presupune că seturile de rezultate ale sarcinii cartografiere trebuie să fie transferate prin rețeaua care urmează să fie procesate prin sarcinile reductorului.
Aceasta este o implementare rezonabilă deoarece, cu sute sau chiar mii de sarcini de cartografiere, nu ar exista niciun mod practic pentru ca sarcinile de reducere să aibă aceeași prioritate a localității.
