Gestionarea resurselor mari de date și aplicații cu Hadoop YARN - manechine

Programarea și urmărirea posturilor pentru date mari sunt parte integrantă a Hadoop MapReduce și pot fi folosite pentru a gestiona resursele și aplicațiile. Versiunile inițiale ale lui Hadoop au susținut un sistem de urmărire a locurilor de muncă și a sarcinilor rudimentare, dar, odată cu schimbarea lucrării susținute de Hadoop, planificatorul nu a putut ține pasul.

În special, vechiul programator nu a reușit să gestioneze sarcini non-MapReduce și a fost incapabil să optimizeze utilizarea clusterului. Astfel, o nouă capacitate a fost concepută pentru a remedia aceste deficiențe și pentru a oferi o mai mare flexibilitate, eficiență și performanță.

Un alt negociator de resurse (YARN) este un serviciu Hadoop de bază care oferă două servicii majore:

• Gestionarea resurselor globale (ResourceManager)

• Managementul aplicațiilor (ApplicationMaster)

ResourceManager este un serviciu master și control NodeManager în fiecare dintre nodurile unui cluster Hadoop. Inclus în ResourceManager este Scheduler, a cărui singură sarcină este să aloce resurse de sistem aplicațiilor (sarcinilor) care rulează, dar nu monitorizează și nu urmărește starea aplicației.

Toate informațiile necesare despre sistem sunt stocate într-un container de resurse. Acesta conține CPU detaliat, disc, rețea și alte atribute importante de resurse necesare pentru rularea aplicațiilor pe nod și în cluster.

Fiecare nod are un NodeManager slavit la ResourceManager global din cluster. NodeManager monitorizează utilizarea aplicației de procesor, disc, rețea și memorie și rapoarte înapoi la ResourceManager. Pentru fiecare aplicație care rulează pe nod există un ApplicationMaster corespunzător.

Dacă sunt necesare mai multe resurse pentru a susține aplicația care rulează, ApplicationMaster notifică NodeManager și NodeManager negociază cu ResourceManager (Scheduler) capacitatea suplimentară în numele aplicației. NodeManager este, de asemenea, responsabil pentru urmărirea stadiului de activitate și a progresului în cadrul nodului său.