Fluxuri de date

cantități, stocarea totul poate fi dificilă sau chiar imposibilă. De fapt, stocarea tuturor nu poate fi chiar utilă. Iată câteva cifre din câteva dintre ceea ce vă puteți aștepta să se întâmple într-un singur minut pe Internet:

• 150 milioane de e-mailuri trimise
• 350 000 de tweet-uri noi trimise pe Twitter
• 2. 4 milioane de interogări solicitate pe Google
• 700 000 de persoane conectate la contul lor pe Facebook

Având în vedere astfel de volume, acumularea datelor pe toată ziua pentru analiza incrementală s-ar putea să nu pară eficientă. Pur și simplu o păstrați undeva și analizați-o în următoarele sau într-o zi ulterioară (care este strategia de arhivare pe scară largă care este tipică pentru bazele de date și depozitele de date). Cu toate acestea, interogările de date utile tind să ceară cele mai recente date din flux, iar datele devin mai puțin utile atunci când acestea îmbătrânesc (în anumite sectoare, cum ar fi cele financiare, o zi poate fi o mulțime de timp).

Dat fiind faptul că noile fluxuri de date pot transforma prelucrarea anterioară pe date vechi învechite și amânarea nu este o soluție, oamenii au elaborat mai multe strategii pentru a rezolva instantaneu cu cantități masive și variabile de date. Oamenii folosesc trei metode pentru a face față unor cantități mari de date:

Stocate:

Unele date sunt stocate deoarece pot ajuta să răspundă la întrebări neclare ulterior. Această metodă se bazează pe tehnici de stocare imediată și analiză mai târziu foarte repede, indiferent cât de masivă este.

• Sumarizat: Unele date sunt rezumate deoarece păstrează-le tot așa cum nu are sens; numai datele importante sunt păstrate.
• Consumat: Datele rămase sunt consumate deoarece utilizarea lor este predeterminată. Algoritmii pot citi instant, digera și transforma datele în informații. După aceea, sistemul uită datele pentru totdeauna.
• Când vorbiți despre date masive care sosesc într-un sistem informatic, îl veți auzi adesea în comparație cu apa: date de streaming, fluxuri de date, furtun de incendiu de date. Descoperiti modul in care fluxurile de date sunt ca apa consumata de apa de la robinet: Deschiderea robinetului permite stocarea apei in cupe sau sticle de baut sau puteti folosi pentru gatit, curatarea mancarurilor, curatarea mainilor sau spalarea mainilor. În orice caz, majoritatea sau toată apa a dispărut, însă se dovedește foarte utilă și într-adevăr vitală.