Ca o arhivă interogabilă a datelor depozitului rece - dummies

O multitudine de studii arată că majoritatea datelor dintr-un antrepozit de date enterprise sunt rareori solicitate. Furnizorii de baze de date au răspuns la astfel de observații prin implementarea propriilor metode de sortare a datelor pe care le-a plasat în locul lor.

O metodă comandă universul de date în denumirile cald, cald sau rece, unde fierbinte uneori numite date active ), datele calde sunt folosite din când în când și datele sunt rareori utilizate. pentru a stoca datele reci pe discuri mai lente în interiorul dulapurilor de depozit de date sau pentru a crea strategii de caching inteligente pentru a păstra în memorie fișierele de date fierbinți, printre altele.

Problema cu această abordare este că, deși se folosește o metodă de stocare mai lentă, este încă scump să se stocheze date reci, rareori folosite într-un depozit. licențierea hardware și software. În același timp, datele reci și latente sunt adesea arhivate pe bandă.

Acest model tradițional de arhivare a datelor se descompune atunci când doriți să interogați toate datele reci într-un mod rentabil și relativ eficient - fără a trebui să solicitați casete vechi, cu alte cuvinte.

Licențele comerciale de distribuție Hadoop necesită o fracțiune din costul licențelor de software pentru depozitele de date relaționale, care sunt notorii pentru a fi costisitoare. Din punct de vedere operațional, Hadoop este proiectat să scadă cu ușurință doar prin adăugarea de noduri slave suplimentare la un cluster existent. Și când sunt adăugate nodurile slave și seturile de date cresc în volum, cadrele de procesare a datelor Hadoop permit aplicațiilor dvs. să gestioneze fără probleme volumul de lucru crescut.

Hadoop reprezintă o modalitate simplă, flexibilă și ieftină de a împinge procesarea peste mii de servere.

Cu arhitectura sa scalabilă și ieftină, Hadoop pare a fi o alegere perfectă pentru arhivarea datelor din depozit … cu excepția unei chestiuni mici: cea mai mare parte a lumii IT rulează pe SQL, iar SQL pe cont propriu nu se joacă bine cu Hadoop.

Sigur că mișcarea NoSQL mai bună pentru Hadoop este în viață și bine, dar cei mai mulți utilizatori de putere folosesc acum SQL prin intermediul unor seturi comune de instrumente care generează interogări SQL sub hota - produse precum Tableau, Microsoft Excel și IBM Cognos BI.

Este adevărat că ecosistemul Hadoop include Hive, dar Hive suportă doar un subset de SQL și, deși performanța se îmbunătățește (împreună cu suportul SQL), nu este la fel de rapidă ca răspuns la interogări mai mici ca sisteme relaționale. Recent, s-au înregistrat progrese importante în ceea ce privește accesul SQL la Hadoop, care a pregătit calea pentru ca Hadoop să devină noua destinație pentru arhivele de date online.

În funcție de distribuitorul Hadoop, API-urile SQL (sau SQL-like) devin disponibile, astfel încât cele mai frecvente instrumente de raportare și analiză off-the-shelf pot emite fără probleme SQL care se execută pe datele stocate Hadoop. De exemplu, IBM are API-ul său Big SQL, Cloudera are Impala, și Hive însuși, prin intermediul inițiativei Hortonworks Stinger, devine din ce în ce mai compatibil cu SQL.

Deși există diferite puncte de vedere (unele au scopul de a spori Hive, unele pentru a extinde Hive și altele pentru a oferi o alternativă), toate aceste soluții încearcă să abordeze două probleme: MapReduce este o soluție slabă pentru executarea unor interogări mai mici, și accesul SQL este - pentru moment - cheia pentru a permite lucrătorilor IT să-și folosească abilitățile SQL existente pentru a obține valoare din datele stocate în Hadoop.