Noduri de margine în clustere Hadoop - noduri

nodurile de margine sunt interfața dintre clusterul Hadoop și rețeaua exterioară. Din acest motiv, uneori sunt denumite noduri gateway . Cel mai frecvent, nodurile de margine sunt utilizate pentru a rula aplicațiile client și instrumentele de administrare a cluster-elor.

De asemenea, ele sunt adesea folosite ca zone de așteptare pentru transferarea datelor în clusterul Hadoop. Ca atare, Oozie, Porc, Sqoop și instrumente de management cum ar fi Hue și Ambari rulează bine acolo. Figura arată procesele pe care le puteți rula pe nodurile Edge.

Nodurile marginilor sunt adesea trecute cu vederea în discuțiile despre arhitectura hardware Hadoop. Această situație este nefericită deoarece nodurile margine servesc un scop important într-un cluster Hadoop și au cerințe hardware diferite de nodurile principale și nodurile slave.

În general, este o idee bună să minimizați implementarea instrumentelor de administrare pe nodurile principale și pe nodurile slave pentru a vă asigura că serviciile critice Hadoop precum NameNode au o concurență cât mai redusă pentru resurse.

Ar trebui să evitați plasarea unui utilitar de transfer de date, cum ar fi Sqoop, pe orice altceva decât un nod de margine, deoarece volumele mari de transfer de date ar putea risca să comunice capacitatea serviciilor Hadoop de pe același nod. Mesajele de schimb de servicii Hadoop sunt sângele lor, astfel încât latența ridicată înseamnă că întregul nod ar putea fi tăiat din cluster.

Figura prezintă două noduri de margine, dar pentru multe clustere Hadoop ar fi suficient un singur nod de margine. Nodurile suplimentare de margine sunt cele mai frecvent necesare atunci când volumul de date transferate în sau din cluster este prea mare pentru ca un singur server să se ocupe.

Depozit recomandat

Pentru nodurile de margine dintr-un cluster Hadoop, utilizați spațiul de stocare de clasă întreprindere. Pentru nodurile de margine axate pe instrumentele de administrare și pe executarea aplicațiilor client, utilizați patru unități SAS de 900 GB împreună cu un controler HDD RAID configurat pentru RAID 1 + 0.

Nodurile de margine orientate spre ingerarea datelor necesită în mod evident mult mai mult spațiu de stocare, astfel încât să puteți adăuga unități la nodul de margine. În acest caz, utilizați unitățile LFS SAS, deoarece sunt disponibile capacități mult mai mari, comparativ cu unități SAS cu factor de formă mai mici.

Procesoare recomandate

Un nod de margine generală ar fi bine servit de o configurație de procesor similară cu cea utilizată pentru nodurile slave - în special, un server cu două socket-uri cu procesoare Ivy Bridge tactat între 2 și 2.5GHz.

Memorie recomandată

Pentru majoritatea încărcărilor de lucru pe nodurile de margine, este suficientă o memorie RAM de 48 GB.

Rețea recomandată

Pentru a permite comunicarea între rețeaua externă și clusterul Hadoop, nodurile de margine trebuie să fie multi-localizate în subnetul privat al clusterului Hadoop, precum și în rețeaua corporativă.

Un computer multi-homed este unul care are conexiuni dedicate mai multor rețele. Aceasta este o ilustrare practică a motivelor pentru care nodurile de margine sunt perfect potrivite pentru interacțiunea cu lumea din afara clusterului Hadoop. Păstrarea clusterului Hadoop în propria subrețea privată este o practică excelentă, astfel încât aceste noduri de margine servesc ca o fereastră controlată în interiorul clusterului.

Pentru nodurile de margine care servesc scopului de a rula aplicații client sau instrumente de administrare, se recomandă două perechi de conexiuni de rețea 1GbE conectate: o pereche pentru conectarea la clusterul Hadoop și o altă pereche pentru rețeaua externă.

Nodurile de margine orientate spre manipularea ratelor mari de transfer de date de intrare și de ieșire vor avea nevoie de două (sau mai multe) perechi de conectori de rețea conectați la 10GbE: o pereche pentru a se conecta la clusterul Hadoop și o altă pereche pentru rețeaua exterioară sau pentru surse specifice de ingerare a datelor.