Cum se utilizează MapReduce pentru Big Data - dummies

MapReduce este un cadru software care este ideal pentru date mari, deoarece permite dezvoltatorilor să scrie programe care pot procesa cantități masive de date nestructurate în paralel într-un grup distribuit de procesoare.

Funcția hartă pentru date mari

Funcția hartă a fost o parte a multor limbi de programare funcționale de ani de zile. Harta a fost reinvigorată ca o tehnologie de bază pentru procesarea listelor de elemente de date.

Operatorii în limbi funcționale nu modifică structura datelor; ele creează noi structuri de date ca ieșire. Datele originale însăși nu sunt modificate. Deci, puteți utiliza funcția de hartă cu impunitate, deoarece nu vă va afecta datele stocate prețioase.

Un alt avantaj al programării funcționale nu este acela de a gestiona în mod expres mișcarea sau fluxul de date. Aceasta absolvă programatorul de la gestionarea explicită a datelor de ieșire și plasare. În cele din urmă, ordinea operațiunilor cu datele nu este prescrisă.

O modalitate de a realiza soluția este identificarea datelor introduse și crearea unei liste:

mylist = ("toate județele din noi care au participat la cele mai recente alegeri generale") > Creați funcția howManyPeople utilizând funcția de hartă

. Selectează doar județele cu mai mult de 50 000 de persoane: map howManyPeople (mylist) = [howManyPeople "county 1"; howManyPeople "județul 2"; howManyPeople "județul 3"; howManyPeople "județul 4"; …]

Acum produceți o nouă listă de producție a tuturor județelor cu populații mai mari de 50 000:

(nu, județul 1; da, județul 2; nu, județul 3; da, județul 4;; jnnnn)

Funcția se execută fără a se aduce modificări la lista originală. În plus, puteți vedea că fiecare element al listei de ieșiri se potrivește cu un element corespunzător al listei de intrări, cu un atașat da sau nu. Dacă județul a îndeplinit cerința a peste 50 000 de persoane, funcția hărții o identifică cu un răspuns da. În caz contrar, nu este indicat.

Adăugați funcția de reducere a datelor mari

Ca și funcția de hartă,

reduce a fost o caracteristică a limbajelor de programare funcționale de mai mulți ani. Funcția de reducere ține de ieșirea unei funcții de hartă și "reduce" lista, indiferent de modul dorit de programator. Primul pas pe care funcția de reducere o cere este să plaseze o valoare în ceva numit

acumulator , care deține o valoare inițială. După stocarea unei valori de pornire în acumulator, funcția de reducere apoi procesează fiecare element al listei și efectuează operația de care aveți nevoie în lista.

La sfârșitul listei, funcția de reducere returnează o valoare pe baza operației pe care ați dorit să o efectuați în lista de rezultate.

Să presupunem că trebuie să identificați județele în care majoritatea voturilor au fost pentru candidatul democrat. Amintiți-vă că funcția hărții howManyPeople a analizat fiecare element al listei de intrări și a creat o listă de rezultate ale județelor cu mai mult de 50 000 de persoane (da) și județele cu mai puțin de 50 000 de persoane (nu).

După ce ați invocat funcția howManyPeople, aveți următoarea listă de ieșire:

(nu, județ 1, da, județ 2, nu, județ 3;, county nnn)

Aceasta este acum intrarea pentru funcția de reducere. Iată cum arată:

countylist = (nu, județul 1; da, județul 2; nu, județul 3; da, județul 4;; jnnnnn) reduce isDemocrat (numărătoarea)

fiecare element al listei și returnează o listă a tuturor județelor cu o populație mai mare de 50 000, unde majoritatea a votat Democrat.

Introducerea hărții mari de date și reducerea împreună

Câteodată producerea unei liste de ieșire este suficientă. De asemenea, este suficient să faceți operațiuni pe fiecare element al unei liste. Cel mai adesea, doriți să căutați cantități mari de date de intrare, să selectați anumite elemente din date și apoi să calculați ceva de valoare din piesele relevante.

Nu doriți să schimbați această listă de intrări, astfel încât să o puteți utiliza în diferite moduri, cu noi ipoteze și noi date.

Dezvoltatorii de software dezvoltă aplicații bazate pe algoritmi. Un algoritm

nu este altceva decât o serie de pași care trebuie să apară în serviciul unui obiectiv general. S-ar putea să pară puțin: Începeți cu un număr mare de date sau înregistrări.

Iterați peste date.
Utilizați funcția hartă pentru a extrage ceva de interes și pentru a crea o listă de rezultate.
Organizați lista de ieșire pentru a optimiza prelucrarea ulterioară.
Utilizați funcția de reducere pentru a calcula un set de rezultate.
Produceți rezultatul final.
Programatorii pot implementa toate tipurile de aplicații utilizând această abordare, dar exemplele la acest punct au fost foarte simple, deci valoarea reală a MapReduce poate să nu fie evidentă. Ce se întâmplă când aveți date de intrare extrem de mari? Puteți utiliza același algoritm pe terabytes de date? Vestea bună este da.

Toate operațiunile par independente. Asta pentru că sunt. Puterea reală a MapReduce este capacitatea de a diviza și de a cuceri. Luați o problemă foarte mare și spargeți-o în bucăți mai mici, mai ușor de gestionat, acționați independent pe fiecare bucată și apoi trageți-le tot la capăt. În plus, funcția hărții este comutativă - cu alte cuvinte, ordinea în care o funcție este executată nu contează.

Deci, MapReduce își poate desfășura activitatea pe diferite mașini dintr-o rețea. Poate de asemenea să tragă din mai multe surse de date, interne sau externe. MapReduce ține evidența activității sale, creând o cheie unică pentru a se asigura că întreaga prelucrare are legătură cu rezolvarea aceleiași probleme.Această cheie este, de asemenea, utilizată pentru a trage toate rezultatele împreună la sfârșitul tuturor sarcinilor distribuite.