Ce este Hadoop? - dummies

Hadoop este un instrument de procesare a datelor cu acces deschis, dezvoltat de Apache Software Foundation. În prezent, Hadoop este programul "go-to" pentru manipularea volumelor și a varietăților de date, deoarece a fost proiectat pentru a face computerele pe scară largă mai accesibile și mai flexibile. Odată cu sosirea lui Hadoop, prelucrarea datelor în masă a fost introdusă pentru mult mai mulți oameni și mai multe organizații.

Hadoop vă poate oferi o soluție excelentă pentru gestionarea, procesarea și gruparea fluxurilor de date structurate, semi-structurate și nestructurate. Prin instalarea și implementarea Hadoop, veți obține o modalitate relativ accesibilă de a începe să utilizați și să extrageți date din toate datele organizației dvs., decât să continuați să vă bazați exclusiv pe setul de date tranzacțional pe care l-ați așezat într-un depozit de date vechi undeva.

Hadoop este unul dintre programele cele mai populare disponibile pentru cerințele de calcul pe scară largă. Hadoop oferă un strat de hartă și reducere care este capabil să gestioneze cerințele de procesare a datelor din majoritatea proiectelor de date mari.

Uneori datele devin prea mari și rapide pentru ca Hadoop să se descurce. În aceste cazuri, organizațiile se îndreaptă spre instalări alternative, mai personalizate MapReduce în schimb.

Hadoop folosește grupuri hardware de mărfuri pentru stocarea datelor. Hardware-ul din fiecare cluster este conectat și acest hardware este alcătuit din servere commodity - servere generice cu costuri reduse și cu performanțe scăzute, care oferă capabilități de calcul puternice atunci când sunt executate în paralel într-un cluster partajat. Aceste servere de mărfuri sunt de asemenea numite noduri . Calculul computerizat scade dramatic costurile implicate în manipularea și stocarea datelor importante.

Hadoop este alcătuit din următoarele două componente:

• Un cadru de procesare distribuit: Hadoop utilizează Hadoop MapReduce ca cadru de procesare distribuit. Din nou, un cadru de procesare distribuit este un cadru puternic în care sarcinile de procesare sunt distribuite în grupuri de noduri, astfel încât volume mari de date să poată fi procesate foarte rapid pe întregul sistem. Un sistem de fișiere distribuit:

• Hadoop folosește Sistemul Distribuit de Fișiere Hadoop (HDFS) ca sistem de fișiere distribuit. Volumul de lucru al aplicațiilor care rulează pe Hadoop este împărțit între nodurile clusterului Hadoop și apoi ieșirea este stocată pe HDFS. Clusterul Hadoop poate fi alcătuit din mii de noduri. Pentru a menține costurile scăzute ale proceselor de intrare / ieșire (I / O), lucrările Hadoop MapReduce se efectuează cât mai aproape posibil de date.

Aceasta înseamnă că procesoarele de sarcini de reducere sunt poziționate cât mai aproape posibil de datele de sarcină de pe hărțile de ieșire care trebuie procesate. Acest design facilitează partajarea cerințelor de calcul în procesarea datelor.

Hadoop susține de asemenea organizarea ierarhică. Unele dintre nodurile sale sunt clasificate ca noduri principale, iar altele sunt clasificate ca sclavi. Serviciul principal, cunoscut sub numele de

JobTracker , este conceput pentru a controla mai multe servicii de slave. Serviciile slave (numite și TaskTrackers ) sunt distribuite câte unul la fiecare nod. JobTracker controlează TaskTrackers și le atribuie sarcini Hadoop MapReduce. Într-o versiune mai nouă a lui Hadoop, cunoscut sub numele de Hadoop 2, a fost adăugat un manager de resurse numit Hadoop YARN. În ceea ce privește MapReduce în Hadoop, YARN acționează ca un sistem integrat care efectuează funcții de gestionare a resurselor și planificare.

Hadoop procesează date în lot. În consecință, dacă lucrați cu date în timp real, nu veți putea să-l utilizați pe Hadoop pentru a vă ocupa de problemele dvs. majore privind datele. Acest lucru a spus, este foarte util pentru rezolvarea multor alte tipuri de mari probleme de date.