Programarea < < originea și designul lui Hadoop - manechine

Deci, ce este exact acest lucru cu numele amuzant - Hadoop? În esența sa, Hadoop este un cadru pentru stocarea datelor pe grupuri mari de < este un grup de computere interconectate (cunoscute sub noduri ), care sunt accesibile și ușor accesibile care pot lucra impreuna pe aceeasi problema

Utilizarea de retele de resurse de calcul accesibile pentru a dobandi o intelegere a afacerilor este propunerea valorii cheie a lui Hadoop

., nu căutați nici o semnificație majoră, este pur și simplu numele pe care fiul lui Doug Cutting la dat elefanților lui umpluți (Doug Cutting este, desigur, co-creatorul lui Hadoop.) Numele este unic și ușor de reținut - caracteristicile care au făcut-o o alegere excelentă.

Hadoop constă din două componente principale: un cadru de procesare distribuit numit MapReduce (care este acum suportat de o componentă numită YARN) și un sistem de fișiere distribuit, cunoscut sub numele de sistem de fișiere distribuit Hadoop sau HDFS.

O aplicație care rulează pe Hadoop își împarte lucrarea între nodurile (mașinile) din cluster și HDFS stochează datele care vor fi procesate. Un cluster Hadoop poate cuprinde mii de mașini, în cazul în care HDFS stochează date, iar lucrările MapReduce fac prelucrarea lor în apropierea datelor, ceea ce duce la scăderea costurilor I / O. MapReduce este extrem de flexibilă și permite dezvoltarea unei game largi de aplicații.

După cum probabil ați presupus, un cluster Hadoop este o formă de cluster computere

,

un tip de cluster utilizat în principal în scopuri computaționale. Într-un cluster de computere, multe computere ( noduri computere ) pot partaja încărcări de calcul și pot profita de o lățime de bandă agregată foarte mare peste cluster. Clusterele Hadoop constau de obicei din câteva noduri principale, care controlează sistemele de stocare și procesare din Hadoop și multe noduri slave, care stochează toate datele clusterului datele sunt procesate.