Video: MOOC Module 5: Social Enterprise and Social Impact 2024
Obținerea perspectivei corecte asupra calității datelor poate fi foarte dificilă în lumea datelor mari. Cu majoritatea surselor mari de date, trebuie să presupuiți că lucrați cu date care nu sunt curate. De fapt, abundența covârșitoare a datelor aparent aleatoare și deconectate în fluxurile de date sociale este unul dintre lucrurile care o fac atât de util întreprinderilor.
Începeți să căutați câțiva de date de date fără să știți ce ați putea găsi după ce începeți să căutați modele în date. Trebuie să acceptați faptul că în date există o mulțime de zgomote. Doar prin căutarea și potrivirea modelului veți putea găsi câteva scântei de adevăr în mijlocul unor date foarte murdare.
Desigur, unele surse mari de date, cum ar fi datele din etichetele RFID sau senzorii, au reguli mai bine stabilite decât datele media sociale. Datele senzorilor trebuie să fie rezonabile, deși vă puteți aștepta să găsiți unele erori. Este întotdeauna responsabilitatea dvs. atunci când analizați cantități masive de date pentru a planifica nivelul de calitate al acestor date. Trebuie să urmați o abordare în două etape a calității datelor:
Faza 1 : Căutați modele în date mari, fără a vă îngrijora de calitatea datelor.
Faza 2: După ce localizați modelele și stabiliți rezultate importante pentru companie, aplicați aceleași standarde de calitate a datelor pe care le aplicați surselor de date tradiționale. Doriți să evitați colectarea și gestionarea datelor importante care nu sunt importante pentru afacere și potențial pot corupe alte elemente de date din Hadoop sau alte platforme de date mari.
Pe măsură ce începeți să încorporați rezultatele procesului de analiză a datelor, recunoașteți faptul că datele de înaltă calitate sunt esențiale pentru ca o companie să ia decizii de afaceri sănătoase. Acest lucru este valabil atât pentru date importante, cât și pentru date tradiționale.
Calitatea datelor se referă la caracteristicile referitoare la date, inclusiv consistența, acuratețea, fiabilitatea, caracterul complet, actualitatea, rezonabilitatea și validitatea. Software-ul pentru calitatea datelor asigură faptul că elementele de date sunt reprezentate în același mod în diferite stocări de date sau sisteme pentru a crește coerența datelor.
De exemplu, un depozit de date poate utiliza două linii pentru adresa unui client și un alt depozit de date poate utiliza o singură linie. Această diferență în modul în care sunt reprezentate datele poate duce la informații inexacte despre clienți, cum ar fi un client identificat drept doi clienți diferiți.
O corporație ar putea folosi zeci de variații ale numelui companiei atunci când cumpără produse.Software-ul pentru calitatea datelor poate fi folosit pentru a identifica toate variațiile numelui companiei în diferitele dvs. magazine de date și pentru a vă asigura că știți tot ce achiziționează acest client de la compania dvs.
Acest proces este numit oferind o singură vizualizare a clientului sau a produsului. Software-ul pentru calitatea datelor se potrivește cu datele din diferite sisteme și curăță sau elimină datele redundante. Procesul de calitate a datelor oferă companiei informații care sunt mai ușor de utilizat, interpretate și înțelese.
Instrumentele de profilare a datelor sunt utilizate în procesul de calitate a datelor pentru a vă ajuta să înțelegeți conținutul, structura și starea datelor dvs. Ei colectează informații despre caracteristicile datelor dintr-o bază de date sau dintr-un alt magazin de date pentru a începe procesul de transformare a datelor într-o formă mai sigură. Instrumentele analizează datele pentru a identifica erorile și neconcordanțele.
Ele pot face ajustări pentru aceste probleme și pot corecta erorile. Instrumentele verifică valori, modele și intervale acceptabile și ajută la identificarea datelor suprapuse. Procesul de prelucrare a datelor, de exemplu, verifică dacă datele se așteaptă să fie alfa sau numerice. Instrumentele verifică, de asemenea, dependențele sau pentru a vedea cum datele se referă la date din alte baze de date.
Instrumentele de profilare a datelor pentru date mari au o funcție similară cu instrumentele de profilare a datelor pentru datele tradiționale. Instrumentele de profil pentru Hadoop vă vor furniza informații importante despre datele din grupurile Hadoop. Aceste instrumente pot fi utilizate pentru căutarea potrivirilor și eliminarea duplicărilor. Ca rezultat, vă puteți asigura că datele dvs. mari sunt coerente. Instrumentele Hadoop precum HiveQL și Pig Latin pot fi folosite pentru procesul de transformare.
