Video: The Great Gildersleeve: Gildy's Campaign HQ / Eve's Mother Arrives / Dinner for Eve's Mother 2024
Hadoop Distributed File System (HDFS) este conceput pentru a stoca date pe hardware ieftin și mai puțin fiabil. Ieftinul are un inel atrăgător, dar ridică îngrijorări cu privire la fiabilitatea sistemului în ansamblul său, în special pentru asigurarea disponibilității ridicate a datelor.
Planificarea înainte de dezastru, creierele din spatele HDFS au luat decizia de a configura sistemul astfel încât să stocheze trei copii (câte trei) din fiecare bloc de date.
HDFS presupune că fiecare unitate de disc și fiecare nod sclav este în mod inerent incorect de încredere, deci trebuie să aveți grijă să alegeți unde sunt stocate cele trei copii ale blocurilor de date.
Figura arată modul în care blocurile de date din fișierul anterior sunt dungate în grupul Hadoop - ceea ce înseamnă că acestea sunt distribuite uniform între nodurile slave, astfel încât o copie a blocului va fi disponibilă indiferent de disc, nod sau erori de rafturi.
Fișierul prezentat are cinci blocuri de date, etichetate a, b, c, d și e. Dacă vă uitați mai atent, puteți observa că acest cluster particular este alcătuit din două rack-uri cu câte două noduri, iar cele trei copii ale fiecărui bloc de date au fost împărțite în diferite noduri slave.
Fiecare componentă din clusterul Hadoop este văzută ca un potențial punct de eroare, astfel încât atunci când HDFS stochează replicile blocurilor originale din grupul Hadoop, încearcă să se asigure că replicile bloc sunt stocate în diferite puncte de eroare.
De exemplu, aruncați o privire la Blocul A. În momentul în care trebuia să fie stocat, Slave Node 3 a fost ales și prima copie a Blocului A a fost stocată acolo. Pentru sistemele rack multiple, HDFS determină apoi că celelalte două copii ale blocului A trebuie să fie stocate într-un rack diferit. Deci, cea de-a doua copie a blocului A este stocată pe Nodul Slave 1.
Copia finală poate fi stocată pe același rack ca cea de-a doua copie, dar nu pe același nod sclav, așa că este stocată pe Slave Node 2.
