Administratori hadoop - manechine

O parte din Hadoop Pentru Dummies Cheat Sheet

Orice administrator Hadoop care merită sărurile sale trebuie să stăpânească un set complet de comenzi pentru administrarea clusterului. Următoarea listă rezumă cele mai importante comenzi, indicând ce are comanda, precum și sintaxa și exemplele. Cunoașteți-i și veți avansa pe drumul spre înțelepciunea lui Hadoop.

• balancer : Rulează utilitarul de echilibrare a clusterului. Valoarea pragului specificată, care reprezintă un procent din capacitatea discului, este utilizată pentru a suprascrie valoarea pragului implicit (10%). Pentru a opri procesul de reechilibrare, apăsați Ctrl + C.

  hadoop balancer -threshold 20 daemonlog

  : Obține sau stabilește nivelul jurnalului

• Sintaxa: pentru fiecare daemon (cunoscut și ca serviciu). Se conectează la // host: port / logLevel? log = nume și tipărește sau stabilește nivelul de jurnal al daemonului care rulează la gazdă: port. Demonii hadoop generează fișiere log care vă ajută să determinați ce se întâmplă în sistem și puteți utiliza comanda daemonlog pentru a schimba temporar nivelul jurnal al unei componente Hadoop atunci când depanați sistemul. Schimbarea devine eficientă atunci când daemonul repornește.

  Sintaxă:

  hadoop daemonlog -getlevel; hadoop daemonlog -setlevel Exemplu:

  hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG datanode

• : Rulează serviciul DataNode HDFS, care coordonează stocarea pe fiecare nod slave. Dacă specificați --rollback, DataNode este redirecționat la versiunea anterioară. Opriți DataNode și distribuiți versiunea anterioară Hadoop înainte de a utiliza această opțiune. hadoop datanode [-rollback]

  Exemplu: hadoop datanode -rollback

  dfsadmin :

• Operațiunile administrative ale sistemelor (HDFS). Utilizați opțiunea -help pentru a vedea o listă cu toate opțiunile acceptate. Opțiunile generice sunt un set comun de opțiuni acceptate de mai multe comenzi. Sintaxa: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | concediu | obține | așteptați] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status detalii | forța] [-metasave nume fișier] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

  mradmin :

• operațiuni. Utilizați opțiunea -help pentru a vedea o listă cu toate opțiunile acceptate.Din nou, opțiunile generice sunt un set comun de opțiuni care sunt acceptate de mai multe comenzi. Dacă specificați -refreshServiceAcl, reîncărcați fișierul politicii de autorizare la nivel de serviciu (JobTracker reîncarcă fișierul politicii de autorizare); -refreshQueues reîncarcă listele de control al accesului la coadă (queue access control lists - ACL) și starea (JobTracker reîncarcă fișierele cache-xml); -refreshNodes actualizează informațiile gazdă la JobTracker; -refreshUserToGroupsMappings actualizează mapările utilizatorilor-grupuri; -refreshSuperUserGroupsConfiguration reîmprospătează cartografiile grupurilor de proxy superuser; și -help [cmd] afișează ajutor pentru comanda dată sau pentru toate comenzile dacă nu este specificat nici unul. Sintaxa:

  hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]:

  hadoop mradmin -help -refreshNodes jobtracker

  : Rulează nodul MapReduce JobTracker, care coordonează sistemul de procesare a datelor pentru Hadoop. Dacă specificați -dumpConfiguration, configurația folosită de JobTracker și configurația coadă în format JSON sunt scrise la ieșirea standard.

• Sintaxa: hadoop jobtracker [-dumpConfiguration]

  Exemplu:

  hadoop jobtracker -dumpConfiguration namenode

  : depozitare pentru întregul cluster Hadoop. Dacă specificați -format, numeleNode este pornit, formatat și apoi oprit; cu -upgrade, numeleNode începe cu opțiunea de upgrade după ce este distribuită o nouă versiune Hadoop; cu -rollback, numeleNode este redat înapoi la versiunea anterioară (nu uitați să opriți clusterul și să distribuiți versiunea anterioară Hadoop înainte de a utiliza această opțiune); cu -finalize, starea anterioară a sistemului de fișiere este eliminată, cel mai recent upgrade devine permanent, răsturnarea nu mai este disponibilă și numeleNode este oprit; în sfîrșit, cu -importCheckpoint, o imagine este încărcată din directorul punctului de control (așa cum este specificată de către fs., punctul de control, proprietatea dir) și salvată în directorul curent.

• Sintaxă: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalizeaza] [-importCheckpoint]
  Exemplu:

  hadoop namenode -finalize Namenode secundar

  : Rulează numele secundar. Dacă specificați -checkpoint, un punct de control al secțiunii NameNode secundare este efectuat dacă mărimea EditLog (un jurnal de tranzacții care înregistrează fiecare schimbare care are loc la metadatele sistemului de fișiere) este mai mare sau egală cu fs. punct de control. mărimea; specificați -force și un punct de control este efectuat indiferent de dimensiunea EditLog; specificați -geteditsize și dimensiunea EditLog este tipărită.

• Sintaxa: hadoop secondarynamenode [-checkpoint [force]] [-geteditsize] Exemplu:

  hadoop secondarynamenode -geteditsize tasktracker

  : Rulează un nod MapReduce TaskTracker.

• Sintaxă: hadoop tasktracker Exemplu:

  hadoop tasktracker