Elementele fundamentale ale platformei mari de date gestionează date în moduri noi, cum ar fi

Elementele fundamentale ale platformei mari de date gestionează date în moduri noi în comparație cu baza de date tradițională relațională. Acest lucru se datorează nevoii de a avea scalabilitatea și performanțele ridicate necesare pentru gestionarea atât a datelor structurate, cât și a celor nestructurate.

Componentele ecosistemului mare de date, de la Hadoop la NoSQL DB, MongoDB, Cassandra și HBase, toate au abordarea proprie pentru extragerea și încărcarea datelor. Ca rezultat, echipele dvs. ar putea avea nevoie să dezvolte noi abilități pentru a gestiona procesul de integrare pe aceste platforme. Cu toate acestea, multe dintre cele mai bune practici de gestionare a datelor ale companiei dvs. vor deveni și mai importante pe măsură ce vă deplasați în lumea datelor importante.

În timp ce datele mari introduc un nou nivel de complexitate a integrării, principiile fundamentale fundamentale se aplică în continuare. Obiectivul dvs. de afaceri trebuie să se concentreze pe furnizarea de date de calitate și de încredere organizației la momentul potrivit și în contextul potrivit.

Pentru a vă asigura această încredere, trebuie să stabiliți reguli comune pentru calitatea datelor, cu accent pe exactitatea și caracterul complet al datelor. În plus, aveți nevoie de o abordare cuprinzătoare pentru dezvoltarea metadatelor companiei, urmărirea liniei de date și a guvernanței pentru a sprijini integrarea datelor dvs.

Pentru a lua decizii de afaceri solide pe baza unei analize de date, aceste informații trebuie să fie sigure și înțelese la toate nivelurile organizației. Deși, probabil, nu va fi costul sau timpul eficient de a fi preocupat prea mult de calitatea datelor în etapa de explorare a unei analize de date mari, eventual, calitatea și încrederea trebuie să joace un rol dacă rezultatele trebuie încorporate în procesul de afaceri.

Informațiile trebuie furnizate întreprinderii într-o manieră sigură, controlată, consecventă și flexibilă în cadrul întreprinderii, indiferent de cerințele specifice fiecărui sistem sau aplicație. Pentru a atinge acest obiectiv, se aplică trei principii de bază:

Trebuie să creați o înțelegere comună a definițiilor de date.

• În stadiile inițiale ale analizei dvs. de mari dimensiuni, este puțin probabil să aveți același nivel de control asupra definițiilor de date ca și în cazul datelor dvs. operaționale.Cu toate acestea, odată ce ați identificat modelele cele mai relevante pentru afacerea dvs., aveți nevoie de capacitatea de a cartografia elementele de date la o definiție comună. Trebuie să dezvoltați un set de servicii de date pentru a califica datele și a le face consecvente și, în cele din urmă, de încredere.

• Când sursele de date nestructurate și mari sunt integrate cu date operaționale structurate, trebuie să fii încrezător că rezultatele vor avea semnificație. Aveți nevoie de o modalitate simplificată de integrare a surselor mari de date și a sistemelor de înregistrare.

• Pentru a lua decizii bune pe baza rezultatelor analizei de date mari, trebuie să furnizați informații la momentul potrivit și cu contextul potrivit. Procesul dvs. mare de integrare a datelor ar trebui să asigure coerența și fiabilitatea. Pentru a integra datele în medii de aplicații mixte, obțineți datele dintr-un mediu de date (sursă) într-un alt mediu de date (țintă). Tehnologiile de extracție, transformare și încărcare (ETL) au fost utilizate pentru a realiza acest lucru în mediile tradiționale de depozitare a datelor. Rolul ETL evoluează pentru a face față unor medii mai moderne de gestionare a datelor, cum ar fi Hadoop.

Într-un mediu de date mare, este posibil să fie nevoie să combinați instrumente care susțin procesele de integrare în lot (folosind ETL) cu integrarea în timp real și federarea în mai multe surse. De exemplu, o companie farmaceutică ar putea avea nevoie să amestece datele stocate în sistemul său Master Data Management (MDM) cu mari surse de date privind rezultatele medicale ale consumului de droguri ale consumatorilor.

Companiile utilizează MDM pentru a facilita colectarea, agregarea, consolidarea și furnizarea de date coerente și fiabile în mod controlat în întreaga întreprindere. În plus, noi instrumente precum Sqoop și Scribe sunt folosite pentru a sprijini integrarea mediilor de date mari. De asemenea, veți găsi un accent sporit pe utilizarea tehnologiilor de extragere, încărcare și transformare (ELT). Aceste tehnologii sunt descrise în continuare.