Stratul 4 al Big Data Stack: Depozite de date analitice

Depozitul de date, stratul 4 al stivei mari de date și companionul său de date, au fost mult timp tehnicile principale pe care organizațiile le utilizează pentru a optimiza datele pentru a ajuta factorii de decizie. În mod tipic, depozitele de date și marturile conțin date normalizate colectate dintr-o varietate de surse și asamblate pentru a facilita analiza afacerii.

Depozitele de date și marcile simplifică crearea de rapoarte și vizualizarea elementelor de date disparate. Ele sunt create în general din baze de date relaționale, baze de date multidimensionale, fișiere plate și baze de date obiect - în esență, orice arhitectură de stocare. Într-un mediu tradițional, în care performanța poate să nu fie cea mai mare prioritate, alegerea tehnologiei subiacente este determinată de cerințele pentru analiza, raportarea și vizualizarea datelor companiei.

Dat fiind că organizarea datelor și disponibilitatea lor de a fi analizate sunt esențiale, cele mai multe implementări ale depozitului de date sunt păstrate curent prin procesarea loturilor. Problema este că depozitele de date încărcate în lot și martorurile de date pot fi insuficiente pentru multe aplicații de date mari. Stresul impus de fluxurile de date de mare viteză va necesita probabil o abordare mai realistă a depozitelor mari de date.

Acest lucru nu înseamnă că nu veți crea și nu veți hrăni un depozit de date analitic sau un centru de date cu procese discontinue. Mai degrabă, este posibil să ajungeți la mai multe depozite de date sau la date, iar performanța și scara vor reflecta cerințele de timp ale analiștilor și factorilor de decizie.

Deoarece numeroase depozite de date și martori de date sunt compuse din date colectate din diferite surse din cadrul unei companii, costurile asociate cu curățarea și normalizarea datelor trebuie, de asemenea, abordate. Cu date mari, veți găsi câteva diferențe-cheie:

• Fluxurile tradiționale de date (din tranzacții, aplicații și așa mai departe) pot produce o mulțime de date disparate.

• De asemenea, există zeci de noi surse de date, fiecare dintre ele având nevoie de un anumit grad de manipulare înainte de a putea fi în timp util și util pentru afacere.

• Sursele de conținut vor trebui, de asemenea, să fie curățate și acestea pot necesita tehnici diferite de cele pe care le puteți folosi cu date structurate.

Din punct de vedere istoric, conținutul depozitelor de date și al martorilor de date a fost organizat și livrat liderilor de afaceri responsabili cu strategia și planificarea. Cu date mari, un nou set de echipe utilizează date pentru luarea deciziilor.

Multe implementări de date mari oferă capabilități în timp real, astfel încât întreprinderile ar trebui să poată furniza conținut pentru a permite persoanelor cu roluri operaționale să abordeze aspecte precum asistența pentru clienți, oportunitățile de vânzări și întreruperile de servicii în timp real.În acest fel, datele mari vă ajută să mutați acțiunile de la biroul de back office la biroul de la fața locului.

Instrumentele și tehnicile de analiză existente vor fi foarte utile în ceea ce privește înțelegerea datelor importante. Cu toate acestea, există o captură. Algoritmii care fac parte din aceste instrumente trebuie să poată lucra cu cantități mari de date potențial în timp real și disparate. Infrastructura va trebui să fie în măsură să sprijine acest lucru.

Și furnizorii care furnizează instrumente de analiză vor trebui, de asemenea, să se asigure că algoritmii lor funcționează în cadrul implementărilor distribuite. Din cauza acestor complexități, așteptați o nouă clasă de instrumente care să vă ajute să înțelegeți datele importante.

Există trei clase de instrumente în acest strat al arhitecturii de referință. Acestea pot fi utilizate independent sau colectiv de factorii de decizie pentru a ajuta la direcționarea afacerii. Cele trei clase de instrumente sunt următoarele:

• Rapoarte și tablouri de bord: Aceste instrumente furnizează un & user-friendly & rdquo; reprezentarea informațiilor din diferite surse. Deși un suport în lumea tradițională a datelor, această zonă este în continuă evoluție pentru date importante. Unele dintre instrumentele utilizate sunt cele tradiționale care pot accesa acum noile tipuri de baze de date colectiv numite NoSQL (Not Only SQL).

• Vizualizare: Aceste instrumente reprezintă următorul pas în evoluția rapoartelor. Producția tinde să aibă o natură extrem de interactivă și dinamică. O altă deosebire importantă între rapoarte și ieșiri vizualizate este animația. Utilizatorii de afaceri pot urmări schimbările din date folosind o varietate de tehnici de vizualizare diferite, incluzând hărți de minte, hărți termice, infografice și diagrame de conexiuni. Raportarea și vizualizarea apar la sfârșitul activității de afaceri.

• Analytics și analize avansate: Aceste instrumente ajung în depozitul de date și procesează datele pentru consumul uman. Analizele avansate ar trebui să explice tendințe sau evenimente care sunt transformative, unice sau revoluționare față de practica de afaceri existentă. Analizele predictive și analiza sentimentelor sunt exemple bune ale acestei științe.