Cum se asigură validitatea, veridicitatea și volatilitatea datelor mari

Volumul mare, varietatea mare și viteza mare sunt caracteristicile esențiale ale Date mare. Dar alte caracteristici ale datelor mari sunt la fel de importante, mai ales când aplicați date importante proceselor operaționale. Acest al doilea set de caracteristici "V" care sunt esențiale pentru operarea datelor mari include

• Valabilitate: Sunt datele corecte și exacte pentru utilizarea dorită?

• Veracitate: Sunt rezultatele semnificative pentru spațiul de probleme dat?

• Volatilitate: Cât timp trebuie să stocați aceste date?

Valabilitate mare a datelor

Vrei rezultate precise. Dar, în stadiile inițiale de analiză a câtorva intervale de date, este posibil să nu vă îngrijorați de cât de valabil este fiecare element de date. Acest flux inițial de date mari ar putea fi destul de murdar. În etapele inițiale, este mai important să vedem dacă există relații între elementele din această sursă de date masivă decât să se asigure că toate elementele sunt valide.

Totuși, după ce o organizație stabilește că anumite părți din analiza inițială a datelor sunt importante, această submulțime de date importante trebuie validată deoarece va fi aplicată acum unei condiții operaționale. Atunci când datele se mută de la explorator la acțiuni, datele trebuie validate. Valabilitatea surselor mari de date și analiza ulterioară trebuie să fie corecte dacă doriți să utilizați rezultatele pentru luarea deciziilor.

Datele de intrare valide urmate de prelucrarea corectă a datelor ar trebui să obțină rezultate precise. Cu date mari, trebuie să fiți vigilenți în ceea ce privește valabilitatea. De exemplu, în domeniul asistenței medicale, este posibil să aveți date dintr-un studiu clinic care ar putea fi legate de simptomele bolii unui pacient. Dar un medic care tratează această persoană nu poate pur și simplu să ia rezultatele studiului clinic ca fără a le valida.

Imaginați-vă că satelitul meteorologic indică faptul că o furtună începe într-o parte a lumii. Cum este acea furtună care afectează indivizii? Cu aproximativ jumătate de miliard de utilizatori, este posibil să se analizeze fluxurile Twitter pentru a determina impactul unei furtuni asupra populațiilor locale. Prin urmare, utilizarea Twitter în combinație cu date de la un satelit meteorologic ar putea ajuta cercetătorii să înțeleagă veridicitatea unei previziuni meteorologice.

Viteza mare a datelor

Dacă aveți date valide și puteți dovedi veridicitatea rezultatelor, cât timp trebuie să "trăiască" datele pentru a vă satisface nevoile? Într-o setare standard de date, puteți păstra datele de zeci de ani, deoarece în timp ați construit o înțelegere a datelor importante pentru ceea ce faceți cu acestea.Ați stabilit reguli pentru valută și disponibilitate de date care să corespundă proceselor dvs. de lucru.

De exemplu, unele organizații ar putea să păstreze cel mai recent an de date despre clienți și tranzacții în sistemele lor de afaceri. Aceasta va asigura recuperarea rapidă a acestor informații atunci când este necesar. Dacă trebuie să se uite la un an anterior, echipa IT ar putea avea nevoie să restaureze datele din spațiul de stocare offline pentru a onora cererea. Cu date mari, această problemă este amplificată.

Dacă stocarea este limitată, uitați-vă la sursele de date mari pentru a determina ce trebuie să obțineți și cât timp trebuie să-l păstrați. În cazul unor surse de date mari, este posibil să fiți nevoiți să colectați date pentru o analiză rapidă.

Puteți apoi să stocați informațiile la nivel local pentru o prelucrare ulterioară. Dacă nu aveți suficient spațiu de stocare pentru toate aceste date, puteți procesa datele "în zbor" și păstrați doar informații relevante la nivel local. Cât timp țineți datele importante disponibile depinde de câțiva factori:

• Cât de mult se păstrează datele la sursă?

• Trebuie să procesați datele în mod repetat?

• Trebuie să procesați datele, să adunați date suplimentare și să efectuați mai multe procesări?

• Aveți reguli sau reglementări care necesită stocarea datelor?

• Clienții dvs. depind de datele dvs. pentru munca lor?

• Datele au valoare sau nu mai sunt relevante?

Datorită volumului, varietății și vitezei datelor mari, trebuie să înțelegeți volatilitatea. Pentru unele surse, datele vor fi întotdeauna acolo; pentru alții, acest lucru nu este cazul. Înțelegerea datelor care sunt acolo și pentru cât timp vă pot ajuta să definiți cerințele de păstrare și politicile privind datele importante.

În calitate de consumator, datele importante vor contribui la definirea unui profil mai bun pentru cum și când achiziționați bunuri și servicii. Ca pacient, datele importante vor ajuta la definirea unei abordări mai personalizate a tratamentelor și a menținerii sănătății. Ca profesionist, datele importante vă vor ajuta să identificați modalități mai bune de proiectare și livrare a produselor și serviciilor dvs.

Acest lucru se va întâmpla numai atunci când datele importante sunt integrate în procesele de operare ale companiilor și organizațiilor.