Cum să obțineți Apache Oozie Configurați în Hadoop - manechine

Apache Oozie este inclus în fiecare distribuție majoră Hadoop, inclusiv Apache Bigtop. În clusterul dvs. Hadoop, instalați serverul Oozie pe un nod de margine, unde puteți rula și alte aplicații client împotriva datelor din cluster, după cum se arată.

Nodurile de margine sunt concepute să fie o poartă de acces pentru rețeaua externă către clusterul Hadoop. Acest lucru le face ideale pentru tehnologiile de transfer de date (de exemplu, Flume), dar și aplicații client și alte infrastructuri de aplicații cum ar fi Oozie. Oozie nu are nevoie de un server dedicat și poate coexista ușor cu alte servicii care sunt ideale pentru nodurile de margine, cum ar fi Pig and Hive.

După ce Oozie este implementat, sunteți gata să porniți serverul Oozie. Infrastructura lui Oozie este instalată în directorul $ OOZIE_HOME. De acolo, rulați oozie-start. sh pentru a porni serverul. (Așa cum s-ar putea să te aștepți, oprirea serverului presupune introducerea opțiunii oozie-stop.) Puteți testa starea instanței dvs. Oozie executând comanda

oozie admin -status

După ce ați instalat serverul Oozie și ați început, puteți să catalogați și să difuzați diferitele dvs. fluxuri de lucru, coordonator sau pachete de locuri de muncă. Când lucrați cu joburile, Oozie stochează definițiile catalogului - datele care descriu toate obiectele Oozie (fluxul de lucru, coordonatorul și lucrările de pachet) - precum și stările lor într-o bază de date dedicată.

Aveți patru opțiuni de interacțiune cu serverul Oozie:

Java API:

• Această opțiune este utilă în situațiile în care aveți propriul cod de programare în aplicațiile Java și trebuie să controlați executarea Fluxuri de lucru Oozie, coordonatori sau pachete din cadrul aplicației.

  API-ul REST:

• Din nou, această opțiune funcționează bine în acele cazuri în care doriți să utilizați propriul cod de programare ca bază pentru fluxurile de lucru Oozie, coordonatori sau pachete sau dacă doriți să creați o interfață proprie sau să extindeți o interfață existentă pentru administrarea serverului Oozie. Interfața liniei de comandă (CLI):

• Este interfața tradițională a liniei de comandă Linux pentru Oozie. Consola Web Oozie

• : Bine, poate nu interacționezi prea mult aici, dar Consola Web Oozie vă oferă o vizualizare (numai pentru citire) a stării serverului Oozie, care este util pentru monitorizarea locurilor de muncă Oozie. Hue, o interfață de administrare Hadoop, oferă un alt instrument pentru a lucra cu Oozie.Fluxurile de lucru Oozie, coordonatorii și pachetele sunt definite folosind XML, care poate fi dificil de editat, mai ales în situații complexe. Hue oferă un instrument de design GUI pentru a construi grafic fluxuri de lucru și alte obiecte Oozie.

  

Sub capace, Oozie include un server Web încorporat Tomcat, care gestionează intrarea și ieșirea acestuia.