Analiza mare a datelor și depozitul de date - dummies

Veți găsi valoare pentru a aduce împreună capabilitățile depozitului de date și mediul de date mare. Trebuie să creați un mediu hibrid în care datele mari pot lucra mână în mână cu antrepozitul de date.

Mai întâi, este important să recunoaștem că depozitul de date așa cum este proiectat astăzi nu se va schimba pe termen scurt.

Prin urmare, este mai pragmatic să utilizați depozitul de date pentru ceea ce a fost proiectat să faceți - să oferiți o versiune bine verificată a adevărului despre un subiect pe care afacerea dorește să îl analizeze. Depozitul ar putea include informații despre linia de produse a unei anumite companii, clienții săi, furnizorii săi și detaliile tranzacțiilor în valoare de un an.

Informațiile gestionate în depozitul de date sau într-un departament de date mart au fost construite cu atenție, astfel încât metadatele să fie corecte. Odată cu creșterea noilor informații bazate pe web, este practică și adesea necesară analizarea acestei cantități masive de date în contextul datelor istorice. Aici intră modelul hibrid.

Anumite aspecte legate de căsătoria depozitului de date cu date mari pot fi relativ ușoare. De exemplu, multe dintre sursele de date mari provin din surse care includ metadatele bine concepute. Site-urile complexe de comerț electronic includ elemente de date bine definite. Prin urmare, atunci când efectuează analiza între depozit și sursa mare de date, organizația de gestionare a informațiilor lucrează cu două seturi de date, cu modele de metadate proiectate cu atenție care trebuie raționalizate.

Desigur, în unele situații, sursele de informații nu au metadate explicite. Înainte ca un analist să poată combina datele tranzacționale istorice cu datele mai puțin structurate, trebuie făcută o lucrare. În mod obișnuit, analiza inițială a câtorva cubi de date va dezvălui modele interesante care pot ajuta la prezicerea unor schimbări subtile în afaceri sau la soluții potențiale pentru diagnosticarea unui pacient.

Analiza inițială poate fi finalizată cu ajutorul unor instrumente precum MapReduce cu framework-ul sistemelor de fișiere distribuite Hadoop. În acest moment, puteți începe să înțelegeți dacă poate ajuta la evaluarea problemei abordate.

În procesul de analiză, este la fel de important să eliminăm datele inutile, deoarece este de a identifica date relevante pentru contextul de afaceri. Când această fază este completă, datele rămase trebuie transformate astfel încât definițiile metadatelor să fie precise. În acest fel, atunci când datele mari sunt combinate cu date istorice tradiționale din depozit, rezultatele vor fi corecte și semnificative.

Principalul proces de integrare a datelor

Acest proces necesită o strategie de integrare a datelor bine definită. În timp ce integrarea datelor este un element critic pentru gestionarea datelor mari, este la fel de importantă și atunci când se creează o analiză hibridă cu depozitul de date. De fapt, procesul de extragere a datelor și transformarea acestora într-un mediu hibrid este foarte asemănător cu modul în care acest proces este executat într-un depozit tradițional de date.

În depozitul de date, datele sunt extrase din sistemele sursă tradiționale, cum ar fi sistemele CRM sau ERP. Este esențial ca elementele din aceste sisteme diferite să fie corelate corect.

Retrageți extracția, transformarea și încărcările pentru depozitele de date

În depozitul de date găsiți adesea o combinație de tabele de baze de date relaționale, fișiere plate și surse nerelaționiste. Un depozit de date bine construit va fi arhitezat astfel încât datele să fie convertite într-un format comun, permițând ca interogările să fie procesate cu precizie și consecvență. Fișierele extrase trebuie să fie transformate pentru a se potrivi cu regulile și procesele de afaceri din zona subiectului pe care depozitul de date este proiectat să le analizeze.

Cu alte cuvinte, datele trebuie extrase din sursele mari de date, astfel încât aceste surse să poată lucra împreună în siguranță și să producă rezultate semnificative. În plus, sursele trebuie transformate astfel încât să fie utile în analizarea relației dintre datele istorice și cele mai dinamice și în timp real, provenite din surse mari de date.

Încărcarea informațiilor în modelul mare de date va fi diferită de ceea ce vă așteptați într-un depozit tradițional de date. Cu depozitele de date, după ce datele au fost codificate, nu se schimbă niciodată. Un depozit tipic de date va oferi întreprinderii un instantaneu de date bazat pe necesitatea de a analiza o anumită problemă de afaceri care necesită monitorizare, cum ar fi inventarul sau vânzările.

Structura distribuită a datelor mari va determina organizațiile să introducă mai întâi datele într-o serie de noduri și apoi să efectueze extragerea și transformarea. Atunci când se creează un hibrid al depozitului tradițional de date și a mediului mare de date, natura distribuită a mediului mare de date poate schimba dramatic capacitatea organizațiilor de a analiza volume imense de date în contextul afacerii.