Video: Ce este de fapt programarea? 2024
Pornirea unei discuții despre arhitectura HBase (Hadoop Database) prin descrierea RegionServers în loc de MasterServer vă poate surprinde. Termenul RegionServer pare să însemne că depinde de MasterServer (și este secundar acestuia) și că ar trebui să discutați mai întâi despre MasterServer. Așa cum merge și cântecul vechi, "nu este neapărat așa. "
RegionServers depind de MasterServer pentru anumite funcții, dar nu în sensul unei relații master-slave pentru stocarea și recuperarea datelor. În colțul din stânga sus al cifrei, observați că clienții nu indică spre MasterServer, ci indică în schimb clusterul Zookeeper și RegionServers.
MasterServer nu se află în calea de stocare și accesare a datelor - aceasta este lucrarea clusterului Zookeeper și a Registrului de regiuni. Uitați-vă la funcțiile principale ale MasterServer, care este, de asemenea, un proces software (sau daemon), cum ar fi RegionServers. MasterServer este acolo pentru a
-
Monitorizarea RegionServers în clusterul HBase: MasterServer menține o listă de regiuni active în clusterul HBase.
-
Când un tabel este creat sau atributele sale sunt modificate (setarea de compresie, setările cache, versiuni și altele), MasterServer se ocupă de operație și stochează metadatele necesare. Alocarea regiunilor:
-
MasterServer atribuie regiunilor RegionServers. Gestionați regresarea failoverului Registrului:
-
Ca și în cazul oricărui cluster distribuit, sperați că nu apar defecțiuni la noduri și intenționați oricum pentru acestea. Când serverele de regiune eșuează, Zookeeper notifică MasterServer astfel încât operațiile de întrerupere și restaurare să poată fi inițiate.
-
Este posibil să rețineți că tabelele sunt alcătuite din regiuni distribuite uniform în toate regiunile disponibile. Aceasta este lucrarea firului de echilibrare (sau core , dacă preferați) pe care MasterServer o activează periodic. Tabele de gestiune (și curățare):
-
Sistemul HBase utilizează două tabele de cataloguri pentru a ajuta un client să găsească o anumită pereche de valori cheie în sistem. MasterServer oferă gestionarea acestor tabele critice în numele sistemului general HBase.
Ștergeți WAL:
-
MasterServer interacționează cu failoverul WAL în timpul răsturnării RegistryServer și curăță periodic jurnalele. Furnizați un cadru coprocesor pentru observarea operațiunilor de master:
-
Iată un alt termen nou pentru glosarul dvs. de creștere HBase. Coprocesoarele rulează în contextul MasterServer sau RegionServers. De exemplu, un coprocesor de observator MasterServer vă permite să modificați sau să extindeți funcționalitatea normală a serverului atunci când au loc operațiuni cum ar fi crearea tabelului sau ștergerea tabelului. Adesea, coprocesoarele sunt folosite pentru a gestiona indexurile de tabelă pentru aplicațiile HBase avansate. Un coprocesor care rulează în contextul MasterServer și sau RegionServer (sau ambele) poate fi folosit pentru a spori securitatea, a crea indexuri secundare și multe altele. Puteți găsi mai multe informații despre coprocesoare pe un blog al comunității HBase.
Ca și în cazul tuturor tehnologiilor Hadoop cu sursă deschisă, operațiunile MasterServer se vor schimba probabil în timp, deoarece comunitatea de ingineri lucrează la inovațiile concepute pentru a îmbunătăți tehnologia HBase. Din această scriere, totuși, aveți o listă destul de minuțioasă, care servește drept referință la nivel înalt pentru MasterServer.
În cele din urmă, un alt punct important de făcut despre HBase MasterServer: Există și ar trebui să fie un MasterServer de rezervă în orice cluster HBase. Trebuie să existe un singur MasterServer activ în orice moment, astfel încât MasterServer-ul de rezervă să fie în scopuri de eroare.
Puteți aminti că MasterServer nu se află în calea de acces a datelor pentru clienții HBase. Cu toate acestea, este posibil să rețineți că MasterServer este responsabil pentru acțiuni cum ar fi failoverul RegionServer și echilibrarea încărcării. Vestea bună este că clienții pot continua să interogheze clusterul HBase dacă masterul se duce în jos, dar pentru operațiunile normale de cluster, comandantul nu ar trebui să rămână în jos pentru orice perioadă de timp.
