Video: Technology Stacks - Computer Science for Business Leaders 2016 2024
MapReduce devine din ce în ce mai util pentru date mari. La începutul anilor 2000, unii ingineri de la Google au analizat viitorul și au stabilit că, deși soluțiile lor curente pentru aplicații cum ar fi accesarea cu crawlere pe web, frecventa interogărilor și altele au fost adecvate pentru majoritatea cerințelor existente, ele erau inadecvate pentru complexitatea pe care au anticipat-o web scalate la tot mai mulți utilizatori.
Acești ingineri au stabilit că, dacă lucrările ar putea fi distribuite pe calculatoare necostisitoare și apoi conectate în rețea sub forma unui "cluster", ar putea rezolva problema. Distribuția în sine nu a fost un răspuns suficient. Această repartizare a muncii trebuie efectuată în paralel din următoarele trei motive:
-
Prelucrarea trebuie să se poată extinde și contracta automat.
-
Procesarea trebuie să poată fi efectuată indiferent de defecțiunile din rețea sau din sistemele individuale.
-
Dezvoltatorii care utilizează această abordare trebuie să poată crea servicii ușor de utilizat de alți dezvoltatori. Prin urmare, această abordare trebuie să fie independentă de locul în care datele și calculele au fost executate.
MapReduce a fost conceput ca un model generic de programare. Unele dintre implementările inițiale au furnizat toate cerințele esențiale pentru execuția paralelă, toleranța la erori, echilibrarea încărcării și manipularea datelor. Inginerii responsabili cu proiectul numit inițiativa MapReduce, deoarece combină două capabilități cu limbile de calcul funcționale existente: harta și reduce .
Inginerii Google au conceput MapReduce pentru a rezolva o problemă practică specifică. Prin urmare, a fost conceput ca un model de programare combinat cu implementarea acelui model - în esență, o implementare de referință.
Implementarea de referință a fost utilizată pentru a demonstra utilitatea și eficacitatea conceptului și pentru a vă asigura că acest model va fi adoptat pe scară largă de către industria computerelor. De-a lungul anilor, alte implementări ale MapReduce au fost create și sunt disponibile atât ca produse open source, cât și ca produse comerciale.
