Acasă Finanțe personale Dezvoltarea fluxurilor de lucru Oozie în Hadoop - dummies

Dezvoltarea fluxurilor de lucru Oozie în Hadoop - dummies

Video: Leap Motion SDK 2024

Video: Leap Motion SDK 2024
Anonim

fluxurile de lucru Oozie sunt, la baza lor, grafice direcționate, unde puteți defini acțiunile (aplicații Hadoop) și fluxul de date, dar fără buclă - t definiți o structură în care să executați o anumită operațiune în mod repetat până când este îndeplinită o anumită condiție (de exemplu, pentru buclă).

Fluxurile de lucru Oozie sunt destul de flexibile prin faptul că puteți defini deciziile bazate pe condiție și căile forked pentru execuția paralelă. Puteți executa, de asemenea, o gamă largă de acțiuni.

În această figură, vedeți un flux de lucru care prezintă capabilitățile de bază ale fluxurilor de lucru Oozie. Mai întâi, este rulat un script Pig și este imediat urmat de un arbore de decizie. În funcție de starea de ieșire, fluxul de control poate merge fie direct la o operație de fișier HDFS (Hadoop Distributed File System) (de exemplu, o operațiune copyToLocal), fie la o acțiune furcă.

Dacă fluxul de control trece la acțiunea furcii, se execută simultan două lucrări: o lucrare MapReduce și o interogare Hive. Debitul de control merge apoi la operația HDFS odată ce ambele lucrări MapReduce și interogare Hive au terminat să fie difuzate. După operația HDFS, fluxul de lucru este complet.

Definițiile fluxului de lucru Oozie sunt scrise în XML, bazate pe schema Hadoop Process Definition Language (hPDL). Această schemă particulară este, la rândul ei, bazată pe schema XML Language Definition Definition (XPDL), care este un standard independent de produs pentru modelarea definițiilor proceselor de afaceri.

Un flux de lucru Oozie este compus dintr-o serie de acțiuni care sunt codificate de noduri XML. Există diferite tipuri de noduri, reprezentând diferite tipuri de acțiuni sau directive de control al fluxului. Fiecare flux de lucru Oozie are propriul fișier XML, unde fiecare nod și interconexiunile sale sunt definite.

Nodurile fluxului de lucru au nevoie de identificatori unici deoarece sunt folosiți pentru a identifica următorul nod care urmează să fie procesat în fluxul de lucru. Aceasta înseamnă că ordinea în care acțiunile sunt executate depinde de locul în care apare nodul unei acțiuni în fluxul de lucru XML. Pentru a vedea cum ar părea acest concept, verificați următoarea listă, care arată un exemplu de structură de bază a unui fișier XML al fluxului de lucru Oozie.

… … "Loc de muncă ucis."

În acest exemplu, pe lângă nodurile de început, sfârșit și ucide, aveți două noduri de acțiune. Fiecare nod de acțiune reprezintă o aplicație sau o comandă care este executată.

Dezvoltarea fluxurilor de lucru Oozie în Hadoop - dummies

Alegerea editorilor

Administrator de rețea: Zone de căutare inversă - dummies

Administrator de rețea: Zone de căutare inversă - dummies

Interogări DNS obișnuite sunt interogări de căutare înainte corespunde unui nume de domeniu complet calificat. O căutare inversă este opusul unei căutări forward: returnează numele de domeniu complet calificat al unei gazde pe baza adresei sale IP. Căutările inverse sunt posibile din cauza unui domeniu special numit ...

Rețea Elemente de bază: Clienți și servere - manechine

Rețea Elemente de bază: Clienți și servere - manechine

Computerul de rețea care conține hard disk-urile, imprimantele și alte resurse care sunt partajate cu alte calculatoare de rețea se numește un server. Acest termen vine în repetate rânduri, deci trebuie să-l amintiți. Scrie-o pe spatele mâinii tale stângi. Orice computer care nu este un server este numit client. Aveți ...

Retea Bazele: Poduri - dummies

Retea Bazele: Poduri - dummies

O punte este un dispozitiv care conecteaza doua retele astfel incat sa actioneze ca si cum ar fi o rețea. Podurile sunt utilizate pentru a împărți o rețea mare în două rețele mai mici din motive de performanță. Vă puteți gândi la un pod ca pe un repetor inteligent. Repetoarele ascultă semnale care coboară pe un cablu de rețea, amplifică ...

Alegerea editorilor

ÎMprumuta și tweak idei de la alte comunități online - dummies

ÎMprumuta și tweak idei de la alte comunități online - dummies

, Mai degrabă decât să ia ideile altcuiva complet pentru dvs. comunitate online, încercați să riffați pe aceeași idee, dar nu atât de mult încât este evident că nu sunteți creierul din spatele brainstorming-ului. Idei sunt acolo pentru a lua, dar nu ar fi mai degrabă văzute ca cineva inovatoare, nu cineva care scours pe web ...

Branding Blogul tău

Branding Blogul tău

Branding blog-ul tău merge mult spre a face dacă este ușor de recunoscut pentru cititorii tăi. Când vedeți un punct roșu în interiorul unui cerc roșu, ce magazin vine în minte? Ce zici de acele arcuri de aur? Un nume de marcă apare în minte atunci când vedeți simbolul swoosh? La fel ca magazinele populare, restaurantele și încălțămintea ...

Construiți un Blog Mama care este Sellable - dummies

Construiți un Blog Mama care este Sellable - dummies

Dacă obiectivul pe termen lung este de a vinde blogul dvs. ar trebui să o construiască cu acest scop în minte. Evitați asocierea prea intensă a blogului cu marca dvs. personală. Un blog care poate fi valoros cu orice scriitor la cârma trebuie să îndeplinească majoritatea, dacă nu toate, următoarele criterii: Blogul este concentrat ...

Alegerea editorilor

Cum să creați o nouă campanie de anunțuri LinkedIn - dummies

Cum să creați o nouă campanie de anunțuri LinkedIn - dummies

LinkedIn oferă servicii de publicitate pentru afacerea dvs. Dacă vă decideți să utilizați LinkedIn ca instrument de marketing, va trebui doar să obțineți o nouă campanie de anunțuri în lucrări. Când sunteți gata să începeți o nouă campanie, urmați acești pași:

Opțiuni de filtrare pentru anunțul dvs. LinkedIn - manechine

Opțiuni de filtrare pentru anunțul dvs. LinkedIn - manechine

Ce opțiuni de filtrare aveți pentru anunțul dvs. LinkedIn? Alte rețele de publicitate vă permit să filtrați publicul vizat de câteva atribute cunoscute ale persoanei care vă va vedea anunțul, sexul și locația membrilor din public. LinkedIn vă permite să faceți un pas mai departe permițându-vă ...

Oferind și primind viziuni pe LinkedIn - manechine

Oferind și primind viziuni pe LinkedIn - manechine

Deși mulți oameni cred că "Nu este ceea ce știi, știi, "care este unul dintre principalele motive pentru care LinkedIn este atât de valoros, mulți oameni (recrutorii, angajații, directorii executivi, investitorii și altele) sunt foarte interesați de ceea ce știi. În mod logic, oamenii care vă cunosc cel mai bine sunt oamenii din rețeaua dvs., care ...