Rolul traseului ETL tradițional în datele mari - dummies

Instrumentele ETL combină trei funcții importante (extragere, transformare, încărcare) necesare pentru a obține date dintr- și a pus-o într-un alt mediu de date. În mod tradițional, ETL a fost utilizat cu prelucrare în lot în mediile depozitului de date. Depozitele de date oferă utilizatorilor de afaceri o modalitate de consolidare a informațiilor pentru analiza și raportarea datelor relevante pentru concentrarea afacerii lor. Instrumentele ETL sunt utilizate pentru a transforma datele în formatul cerut de depozitele de date.

Transformarea se face într-o locație intermediară înainte ca datele să fie încărcate în depozitul de date. Mulți furnizori de software, inclusiv IBM, Informatica, Pervasive, Talend și Pentaho, furnizează instrumente software ETL.

ETL furnizează infrastructura de bază pentru integrare prin realizarea a trei funcții importante:

• Extract: Citirea datelor din baza de date sursă.

• Transformare: Convertiți formatul datelor extrase astfel încât să corespundă cerințelor bazei de date țintă. Transformarea se face folosind reguli sau îmbinând datele cu alte date.

• Încărcare: Scrieți date în baza de date țintă.

Cu toate acestea, ETL evoluează pentru a sprijini integrarea în mult mai mult decât depozitele tradiționale de date. ETL poate sprijini integrarea între sistemele tranzacționale, magazinele de date operaționale, platformele BI, hub-urile MDM, platforma cloud și platformele Hadoop. Furnizorii de software ETL își extind soluțiile pentru a oferi o extindere, transformare și încărcare a datelor între Hadoop și platformele tradiționale de gestionare a datelor.

Instrumentele ETL sunt necesare pentru încărcarea și conversia datelor structurate și nestructurate în Hadoop. Instrumentele avansate pentru ETL pot citi și scrie mai multe fișiere în paralel și de la Hadoop pentru a simplifica modul în care datele sunt îmbinate într-un proces comun de transformare. Unele soluții încorporează biblioteci de transformări ETL preconfuse atât pentru datele de tranzacție cât și pentru interacțiunile care rulează pe Hadoop sau o infrastructură tradițională a rețelei.

Transformarea datelor este procesul de modificare a formatului de date astfel încât să poată fi utilizat de diferite aplicații.Aceasta poate însemna o schimbare de la formatul în care sunt stocate datele în formatul necesar aplicației care va utiliza datele. Acest proces include, de asemenea, instrucțiuni de cartografiere , astfel încât aplicațiilor li se spune cum să obțină datele de care au nevoie pentru procesare. Procesul de transformare a datelor este mult mai complex, din cauza creșterii uriașe a cantității de date nestructurate. O aplicație de afaceri, cum ar fi gestionarea relațiilor cu clienții, are cerințe specifice pentru modul în care trebuie stocate datele. Este posibil ca datele să fie

structurate în rândurile și coloanele organizate ale unei baze de date relaționale. Datele sunt semi-structurate sau nestructurate dacă nu respectă cerințele de format rigid. Informațiile conținute într-un mesaj de poștă electronică sunt considerate, de exemplu, nestructurate. Unele dintre cele mai importante informații ale unei companii sunt în forme nestructurate și semi-structurate, cum ar fi documente, mesaje e-mail, formate complexe de mesaje, interacțiuni de asistență pentru clienți, tranzacții și informații provenite din aplicații ambalate precum ERP și CRM.

Instrumentele de transformare a datelor nu sunt proiectate să funcționeze bine cu datele nestructurate. Ca urmare, companiile care au nevoie să integreze informații nestructurate în luarea deciziilor de afaceri au fost confruntate cu o cantitate semnificativă de codificare manuală pentru a realiza integrarea datelor necesare.

Având în vedere creșterea și importanța datelor nestructurate la luarea deciziilor, soluțiile ETL de la principalii furnizori încep să ofere abordări standardizate pentru transformarea datelor nestructurate, astfel încât să poată fi mai ușor integrate cu datele structurate operațional.