Video: Profil de arhitect - Roberta Ciorzan 2024
"Simplu" adesea inseamna "elegant" cand vine vorba de acele desene arhitecturale pentru asta noul conac din Silicon Valley pe care l-ați planificat pentru momentul în care banii încep să se rostogolesc după implementarea lui Hadoop. Același principiu se aplică arhitecturii software. Porcul este compus din două componente:
-
Limba în sine: Ca dovadă a faptului că programatorii au un simț al umorului, limba de programare pentru Pig este cunoscută sub numele de Pig Latin, un nivel înalt limbă care vă permite să scrieți programe de procesare și analiză a datelor.
-
Compilatorul latin de porc: Compilatorul Pig Latin convertește codul Pig Latin în cod executabil. Codul executabil este fie sub formă de sarcini MapReduce, fie poate genera un proces în care este creată o instanță virtuală Hadoop pentru a rula codul porc pe un singur nod.
Secvența programelor MapReduce permite programelor Pig să facă în paralel procesarea și analiza datelor, utilizând Hadoop MapReduce și HDFS. Rularea funcției Pig în instanța virtuală Hadoop este o strategie utilă pentru testarea scripturilor Pig.
Figura arată modul în care Porcul se referă la ecosistemul Hadoop.
Programele porc pot rula pe MapReduce v1 sau MapReduce v2 fără modificări de cod, indiferent de modul în care rulează clusterul. Cu toate acestea, script-urile Pig pot rula, de asemenea, folosind Tez API. Apache Tez oferă un cadru de execuție mai eficient decât MapReduce. YARN permite cadrelor de aplicații altele decât MapReduce (ca Tez) să ruleze pe Hadoop. Stăvile pot, de asemenea, rula împotriva cadrului Tez.