Moduri locale și distribuite ale scripturilor de porc care rulează în Hadoop - dummies

Înainte de a putea rula primul script Pig în Hadoop, trebuie să aveți un mâner cu privire la modul în care programele Pig pot fi ambalate cu serverul Pig.

Porcul are două moduri de a rula scripturi:

• Mod local: Toate scripturile sunt difuzate pe o singură mașină fără a fi nevoie de Hadoop MapReduce și HDFS. Acest lucru poate fi util pentru dezvoltarea și testarea logicii porcului. Dacă utilizați un set mic de date pentru dezvoltator sau vă testați codul, atunci modul local ar putea fi mai rapid decât trecerea prin infrastructura MapReduce.

  Modul local nu necesită Hadoop. Când rulați în modul Local, programul Pig rulează în contextul unei mașini virtuale Java locale, iar accesul la date se face prin intermediul sistemului de fișiere local al unei singure mașini. Modul local este de fapt o simulare locală a MapReduce în clasa locală JobRunner a lui Hadoop.

• Mod MapReduce (cunoscut și ca modul Hadoop): Porcul este executat pe clusterul Hadoop. În acest caz, Pig Script devine convertit într-o serie de sarcini MapReduce care sunt apoi executate pe clusterul Hadoop.

  

După ce ați setat lucrurile așa cum doriți și operațiile funcționează fără probleme, puteți rula apoi scriptul pe setul complet de date utilizând modul MapReduce.