Alternate Factori de Formare pentru Hadoop - dummies

Deși Hadoop funcționează cel mai bine atunci când este instalat pe un computer fizic, unde prelucrarea are acces direct la stocare și rețele dedicate, Hadoop are implementări alternative. Și, deși sunt mai puțin eficiente decât hardware-ul dedicat, în anumite cazuri alternativele sunt valoroase.

Servere virtualizate

O tendință majoră în centrele IT din ultimul deceniu este virtualizarea, unde un server mare poate găzdui mai multe "mașini virtuale" care arată și se comportă ca mașini unice. În locul echipamentului dedicat, întregul set de aplicații și depozite ale unei organizații este implementat pe hardware virtualizat.

Organizațiile în care implementările IT sunt complet virtualizate uneori mandatează ca fiecare nouă aplicație să urmeze acest model. Deși Hadoop poate fi implementat în acest mod, în esență ca un cluster virtual (cu noduri principale virtuale și noduri virtuale slave), performanța suferă, parțial deoarece pentru cele mai multe medii virtualizate, stocarea este bazată pe SAN și nu este atașată local.

Deoarece Hadoop este proiectat să funcționeze cel mai bine atunci când toate miezurile procesorului disponibile pot avea acces rapid la discuri de filare în mod independent, se creează o strangulare ca toată hărțile și se reduc sarcinile de pornire a procesării datelor prin rețelele limitate între procesoare și SAN. Deoarece gradul de izolare între resursele virtualizate ale serverului este limitat (servere virtuale împărtășesc resurse unul cu celălalt), volumele de lucru Hadoop pot fi, de asemenea, afectate de altă activitate.

Când performanța serverului virtual este afectată de volumul de lucru al unui alt server, acesta este de fapt cunoscut în cercurile IT ca o problemă de "vecin zgomotos"!

Mediile virtualizate pot fi destul de utile, totuși, în unele cazuri. De exemplu, dacă organizația dvs. are nevoie să finalizeze o analiză exploratorie unică a unui set mare de date, puteți crea cu ușurință un cluster temporar în mediul dvs. virtualizat. Această metodă este adesea o modalitate mai rapidă de a obține aprobarea internă decât de a suporta dificultățile birocratice de a achiziționa noi echipamente dedicate.

Pe măsură ce experimentați cu Hadoop, îl rulați adesea pe mașinile laptop prin intermediul unei mașini virtuale (VM). Hadoop este extrem de lent în acest tip de mediu, dar dacă folosiți seturi de date mici, este un instrument valoros de învățare și testare.

Implementări în cloud

Variațiile mediilor virtualizate sunt furnizorii de cloud computing, cum ar fi Amazon, Rackspace și IBM SoftLayer. Cei mai mari furnizori de cloud-uri publice au ofertele MapReduce sau Hadoop disponibile pentru utilizare. Din nou, performanța lor este inferioară implementării clusterului pe hardware dedicat, dar se îmbunătățește.

Furnizorii de cloud fac ca mediile optimizate Hadoop să fie disponibile acolo unde nodurile slave au stocare locală și rețele dedicate. De asemenea, hipervizoarele devin mult mai eficiente, cu reducerea aerienelor și a latenței.

Nu luați în considerare o soluție cloud pentru aplicații pe termen lung, deoarece costul de închiriere a resurselor de cloud computing este semnificativ mai mare decât costul deținerii și menținerii unui sistem comparabil. Cu un furnizor de cloud, plătiți pentru comoditate și pentru posibilitatea de a descărca costurile aferente hardware-ului de furnizare. Cu toate acestea, norul este o platformă ideală pentru testarea, educarea și efectuarea unor sarcini de prelucrare unică a datelor.

Pe lângă considerentele privind performanța și costurile, aveți considerații de reglementare cu implementarea cloud-ului public. Dacă aveți date sensibile, care trebuie stocate fie intern, fie în țară, implementarea unui cloud public nu este o opțiune. În astfel de cazuri, în cazul în care aveți nevoie de confortul unei implementări bazate pe cloud, un cloud privat este o opțiune bună, dacă este disponibilă.