3 Configurații de cluster hadoop - manechine

1 3

Implementarea Hadoop cu un singur rack

Implementarea cu un singur rack este un punct de plecare ideal pentru un cluster Hadoop.

Aici, clusterul este destul de autonom, dar pentru că are încă puține noduri slave, adevăratele beneficii ale rezilienței lui Hadoop nu sunt încă evidente.

2 3

Implementarea Hadoop cu trei rack-uri

Un cluster de dimensiuni medii are rafturi multiple, unde cele trei noduri principale sunt distribuite pe rafturi.

Elasticitatea lui Hadoop începe să devină aparentă: chiar dacă un rack întreg ar eșua (de exemplu, ambele switch-uri ToR într-un singur rack), clusterul va funcționa, deși la un nivel mai scăzut al performanței. Un eșec al nodului slave nu ar fi putut fi observat.

3 3

Expansiunea Hadoop pe scară largă

În clustere mai mari cu mai multe rafturi, ca în exemplul prezentat, arhitectura necesară rețelei este destul de sofisticată.

Indiferent cât de multe rafturi de clustere Hadoop se extind, nodurile sclave din orice rack trebuie să poată să vorbească eficient? la orice nod principal.

Pe măsură ce numărul de noduri slave crește până la punctul în care aveți mai mult de trei rafturi, rack-urile suplimentare sunt compuse numai din nodurile slave, în afară de comutatoarele ToR. Dacă utilizați HBase puternic pe cluster, puteți adăuga noduri principale pentru a găzdui servicii suplimentare HMaster și Zookeeper.

Dacă treceți la o scară cu adevărat masivă, unde aveți sute de noduri slave, este posibil să trebuiască să utilizați capabilitățile de federalizare HDFS, astfel încât porțiuni mari din seturile de date să fie gestionate de diferite servicii NameNode.

Pentru fiecare nume suplimentar ActiveNode, veți avea nevoie de un nume de așteptare corespunzător și de două noduri principale pentru a găzdui aceste servere. Cu federatia HDFS, cerul este cu adevarat limita in ceea ce priveste cat de departe poti scala grupurile.

Înapoi Următor