Video: Philip Evans: How data will transform business 2024
Organizarea serviciilor de date și a instrumentelor , stratul 3 al stivei mari de date, captarea, validarea și asamblarea diferitelor elemente de date mari în contextual relevante colecții. Deoarece datele mari sunt masive, tehnicile au evoluat pentru a procesa datele în mod eficient și fără probleme. MapReduce este o tehnică foarte folosită. Este suficient să spunem aici că multe dintre aceste servicii de date de organizare sunt motoare MapReduce, concepute special pentru a optimiza organizarea fluxurilor mari de date.
Organizarea serviciilor de date este, în realitate, un ecosistem de instrumente și tehnologii care pot fi utilizate pentru colectarea și asamblarea datelor în vederea pregătirii pentru prelucrare ulterioară. Ca atare, instrumentele trebuie să asigure integrarea, traducerea, normalizarea și scara. Tehnologiile din acest strat includ următoarele:
-
Un sistem de fișiere distribuit: Necesar pentru a permite descompunerea fluxurilor de date și pentru a furniza o dimensiune și o capacitate de stocare
-
Servicii de serializare: Necesare pentru stocarea persistentă a datelor și apelurile de procedură la distanță multilingvă
-
Servicii de coordonare: Necesar pentru construirea de aplicații distribuite (blocare și așa mai departe) > Instrumente de extracție, transformare și încărcare (ETL):
-
Necesare pentru încărcarea și conversia datelor structurate și nestructurate în Hadoop Servicii de flux de lucru:
-
Necesare pentru programarea lucrărilor și furnizarea unei structuri pentru sincronizarea elementelor de proces straturi
