Video: Cum se face: lampă handmade - www.casacd.ro 2024
YARN, pentru cei care tocmai sosesc la acest partid, reprezintă încă un alt negociator de resurse, un instrument care permite altor cadre de procesare a datelor să ruleze pe Hadoop. Slava lui YARN este că prezintă Hadoop cu o soluție elegantă pentru o serie de provocări de lungă durată.
YARN este menit să ofere o programare mai eficientă și mai flexibilă a volumului de muncă, precum și o facilitate de gestionare a resurselor, ambele putând, în cele din urmă, să permită Hadoop să ruleze mai mult decât doar locurile de muncă MapReduce.
Figura arată în general modul în care YARN se încadrează în Hadoop și explică de asemenea cum a permis Hadoop să devină o platformă cu adevărat de scop general pentru prelucrarea datelor. Următoarea listă conține versurile melodiei:
-
Depozitare distribuită: Nimic nu sa schimbat aici cu trecerea de la MapReduce la YARN - HDFS este încă stratul de stocare pentru Hadoop.
-
Gestionarea resurselor: Conceptul cheie în trecerea la YARN de la Hadoop 1 este decuplarea gestionării resurselor de la prelucrarea datelor. Aceasta permite companiei YARN să furnizeze resurse pentru orice cadru de procesare scris pentru Hadoop, inclusiv MapReduce.
-
Cadrul de procesare: Deoarece YARN este o facilitate de gestionare a resurselor generale, poate aloca resurse de cluster pentru orice cadru de procesare a datelor scris pentru Hadoop. Cadrul de procesare gestionează apoi problemele runtime ale aplicației.
Pentru a menține compatibilitatea pentru întregul cod care a fost dezvoltat pentru Hadoop 1, MapReduce servește drept primul cadru disponibil pentru utilizare pe YARN. La momentul acestei scrieri, proiectul Apache Tez a fost un proiect de incubator în dezvoltare ca un cadru alternativ pentru executarea aplicațiilor de porc și de stup. Tez va apărea probabil ca o configurație standard Hadoop.
-
Interfața de programare a aplicațiilor (API): Cu suport pentru cadre suplimentare de procesare, va veni suport pentru API-uri suplimentare. La momentul acestei scrieri, Hoya (pentru rularea HBase pe YARN), Apache Giraph (pentru procesarea graficelor), Open MPI (pentru transmiterea mesajelor în sisteme paralele), Apache Storm (pentru procesarea fluxului de date) sunt în curs de dezvoltare.
