Video: SCP-1984 Dead Hand | keter | Hostile / Sentient / k-class scenario scp 2024
Soluția de extindere a clusterelor Hadoop pe termen nelimitat este să federalize numeleNode. Înainte ca Hadoop 2 să intre în scenă, clusterele Hadoop trebuiau să trăiască cu faptul că NameNode plasa limite asupra gradului în care puteau să scadă. Puține clustere au reușit să scadă peste 3 000 sau 4 000 de noduri.
Nevoia NameNode de a păstra înregistrări pentru fiecare bloc de date stocat în cluster sa dovedit a fi cel mai important factor care limitează o creștere mai mare a clusterelor. Când aveți prea multe blocuri, devine din ce în ce mai dificil ca NameNode să crească la scară, pe măsură ce clusterul Hadoop scade.
Mai precis, trebuie să setați HDFS în sus, astfel încât să aveți mai multe instanțe NameNode executate pe propriile noduri principale dedicate și apoi făcând fiecare NameNode responsabil numai pentru blocurile de fișiere în propriul spațiu de nume.
Figura prezintă modele de replicare a blocurilor de date în HDFS. Puteți vedea un cluster Hadoop cu două NumeNoduri care servesc un singur cluster. Nodurile slave conțin toate blocurile din ambele spații de nume.