Fluxuri de date mari - dummies

Pentru a înțelege fluxurile de date mari, trebuie să înțelegeți ce este un proces și cum se raportează la fluxul de lucru în medii cu intensitate mare de date. Procesele au tendința de a fi proiectate ca structuri de nivel înalt, end-to-end, utile pentru luarea deciziilor și normalizarea modului în care se realizează lucrurile într-o companie sau organizație.

În schimb, fluxurile de lucru sunt orientate spre sarcini și necesită adesea date mai specifice decât procesele. Procesele sunt compuse dintr-unul sau mai multe fluxuri de lucru relevante pentru obiectivul general al procesului.

În multe privințe, fluxurile de lucru mari de date sunt similare cu fluxurile de lucru standard. De fapt, în orice flux de lucru, datele sunt necesare în diferitele faze pentru a îndeplini sarcinile. Luați în considerare fluxul de lucru într-o situație de sănătate.

Un flux de lucru elementar este procesul de "extragere a sângelui. Desenarea sângelui este o sarcină necesară pentru a finaliza procesul general de diagnosticare. Dacă se întâmplă ceva și dacă sângele nu a fost atras sau datele din testul de sânge au fost pierdute, acesta va avea un impact direct asupra veridicității sau veridicității activității globale.

Ce se întâmplă atunci când introduceți un flux de lucru care depinde de o sursă mare de date? Deși s-ar putea să utilizați fluxurile de lucru existente, nu puteți presupune că un proces sau un flux de lucru va funcționa corect doar prin înlocuirea unei surse de date mari cu o sursă standard. Este posibil ca aceasta să nu funcționeze deoarece metodele standard de procesare a datelor nu au abordări sau performanță de procesare pentru a gestiona complexitatea datelor mari.

Exemplul de asistență medicală se concentrează asupra necesității de a efectua o analiză după ce sângele este extras de la pacient. În fluxul de date standard, sângele este tipărit și apoi anumite teste chimice sunt efectuate pe baza cerințelor medicului de îngrijire medicală.

Este puțin probabil ca acest flux de lucru să înțeleagă testarea necesară pentru identificarea biomarkerilor specifici sau a mutațiilor genetice. Dacă ați furnizat mari surse de date pentru biomarkeri și mutații, fluxul de lucru ar eșua. Nu sunt conștiente date importante și va trebui să fie modificate sau rescrise pentru a susține date importante.

Cea mai bună practică pentru înțelegerea fluxurilor de lucru și efectul datelor importante este de a face următoarele:

• Identificați sursele de date importante pe care trebuie să le utilizați.

• Mapați tipurile mari de date la tipurile de date de flux de lucru.

• Asigurați-vă că aveți viteza de procesare și accesul la spațiu de stocare pentru a vă susține fluxul de lucru.

• Selectați depozitul de date cel mai potrivit pentru tipurile de date.

• Modificați fluxul de lucru existent pentru a găzdui date importante sau pentru a crea un flux de lucru cu date mari.

După ce aveți fluxurile mari de date, va fi necesar să le reglați astfel încât să nu vă copleșească sau să vă contamineze analiza.De exemplu, multe surse de date mari nu includ definiții de date bine definite și metadate despre elementele acestor surse. Uneori, aceste surse de date nu au fost curățate. Trebuie să vă asigurați că aveți nivelul corect de cunoștințe despre sursele pe care le veți folosi.