Puneți împreună datele dvs. mari - dummies

Cum veți ști cum să puneți toate datele împreună? Cu un proiect de date de mare anvergură, ceea ce doriți să faceți cu datele structurate și nestructurate indică de ce ați putea alege o singură tehnologie deasupra celeilalte. De asemenea, determină necesitatea de a înțelege structurile de date inbound pentru a pune aceste date în locul potrivit.

Gestionați diferite tipuri de date pentru date mari

Va trebui să luați în considerare unele dintre caracteristicile datelor importante și tipurile de sisteme de gestionare a datelor pe care doriți să le utilizați pentru a le adresa fiecăruia.

Integrarea tipurilor de date într-un mediu mare de date

Un alt aspect important al datelor mari este că de multe ori nu trebuie să dețineți toate datele pe care le veți utiliza. Multe exemple fac acest lucru. Este posibil să folosiți date din rețelele sociale, date provenite din statistici ale unor terțe părți sau chiar date provenite de la sateliți. Gândește-te doar la social media și vei înțelege.

De multe ori, devine necesară integrarea diferitelor surse. Aceste date pot proveni din toate sistemele interne, din surse interne sau externe, sau din surse externe în întregime. O mare parte din aceste date ar fi putut fi pătrată înainte.

Este posibil ca datele să nu vină la tine în timp real. Poate că aveți foarte multe și este diferit în natură. Acest lucru se poate califica în continuare drept o problemă importantă pentru date. Desigur, ați putea fi confruntat și cu un scenariu în care veți vedea volume imense de date, la viteze mari și este disparat în natură.

Ideea este că nu veți obține valoarea afacerii dacă vă ocupați de o varietate de surse de date ca un set de silozuri de informații deconectate.

Componentele de care aveți nevoie trebuie să includă conectori și metadate.

Conectori

Vrei să ai niște conectori care să te permită să tragi date din diferite surse de date mari. Poate doriți un conector Twitter sau unul de pe Facebook. Poate că trebuie să vă integrați din depozitul de date o mare sursă de date care este în afara sediului dvs., astfel încât să puteți analiza împreună aceste două surse de date.

Metadate

O componentă critică pentru integrarea tuturor acestor date este metadatele. Metadatele sunt definițiile, mapările și alte caracteristici utilizate pentru a descrie cum să găsești, să accesezi și să folosești componentele de date (și software) ale companiei. Un exemplu de metadate este datele despre un număr de cont. Aceasta poate include numărul, descrierea, tipul de date, numele, adresa, numărul de telefon și nivelul de confidențialitate.

Metadatele pot fi folosite pentru a vă ajuta să vă organizați magazinele de date și să vă ocupați de surse de date noi și în schimbare. Deși ideea de metadate nu este nouă, ea se schimbă și evoluează în contextul datelor mari.În lumea metadatelor tradiționale, este important să aveți un catalog care să ofere o singură vizualizare a tuturor surselor de date.

Dar acest catalog va trebui să fie diferit când nu controlați toate aceste surse de date. Este posibil să aveți nevoie de un instrument analitic care să vă ajute să înțelegeți metadatele de bază.