Video: 7 CELE MAI CALDE LOCURI DIN LUME 2024
Descoperirea datelor devine o activitate din ce în ce mai importantă pentru organizațiile care se bazează pe datele lor ca fiind un diferențiator. Astăzi, care descrie majoritatea afacerilor, abilitatea de a vedea tendințele și de a extrage semnificația din seturile de date disponibile se aplică în aproape orice domeniu.
Ceea ce impune acest lucru sunt două componente critice: analiștii cu creativitatea să se gândească la noi metode de analiză a seturilor de date pentru a pune întrebări noi (deseori acești analiști sunt numiți cercetători de date ); și să ofere acestor analiști accesul la cât mai multe date posibil.
Luați în considerare abordarea tradițională a analizei în actualul IT peisaj: Comunitatea utilizatorilor de afaceri determină de obicei întrebările de afaceri pe care trebuie să le adreseze - ei depun o cerere și echipa IT construiește un sistem care răspunde la întrebări specifice. Din punct de vedere tehnic, deoarece această activitate a fost făcută în mod tradițional într-o bază de date relațională, responsabilitatea IT a fost aceea de a construi scheme, de a elimina duplicarea datelor și așa mai departe.
Ei investesc mult timp în a face aceste date interogabile și de a răspunde rapid la întrebările pre-planificate pe care unitatea de afaceri dorește să le răspundă. Acesta este motivul pentru care bazele de date relaționale sunt de obicei considerate schema-pe-write, deoarece trebuie să faceți o mulțime de lucru pentru a scrie în baza de date.
(În multe cazuri, suma de lucru merită investiția, însă într-o lume cu date mari, valoarea și calitatea multor tipuri de date noi cu care lucrați sunt necunoscute.)
Această abordare bazată pe baze de date relaționale este bine adaptată la multe procese comune ale afacerii, cum ar fi monitorizarea vânzărilor prin geografie, produs sau canal; extragerea cunoștințelor din sondajele clienților, analiza costurilor și profitabilității și mai mult - în esență, întrebările sunt solicitate din când în când.
Datele sunt, de regulă, foarte structurate și, cel mai probabil, sunt foarte sigure în acest mediu în acest mediu; această activitate este analiză ghidată .
Ca o analogie, e ca și cum copilul tău de 8 ani face o pauză pentru vacanță la școală. În cea mai mare parte, ea poate face tot ce vrea în cadrul școlii - atâta timp cât rămâne în perimetrul împrejmuit; cu toate acestea, ea nu poate sari gardul pentru a descoperi ceea ce este în exterior. În mod specific, copilul dvs. poate explora o zonă cunoscută, protejată (în schemă) și poate analiza orice poate fi găsit în acea zonă.
Acum, imaginați-vă că mediul dvs. de analiză are o zonă de descoperire. În acest scenariu, IT furnizează date (este posibil să nu fie pe deplin de încredere și este probabil "murdar") pe o platformă flexibilă de descoperire pentru utilizatorii de afaceri pentru a cere practic orice întrebare doresc.
Prin analogie, copilului tău i se permite să urce gardul șantierului (această zonă este fără schemă), să se aventureze în pădure și să se întoarcă cu tot ce descoperă. (Desigur, în lumea IT, nu trebuie să vă faceți griji că utilizatorii de afaceri se vor pierde sau vor obține iedera otrăvită.)
Dacă vă gândiți la asta, descoperirea datelor oglindește în unele privințe evoluția extracției de aur. În timpul anilor de aglomerare de aur vechi, loviturile de aur ar provoca investiții în resurse deoarece cineva a descoperit aur - era vizibil cu ochiul liber, avea o valoare clară și, prin urmare, garanta investiția.
Acum cincizeci de ani, nimeni nu și-a putut permite mine de minereu de calitate inferioară pentru aur, deoarece nu exista o tehnologie rentabilă sau capabilă (echipamentele de mutare și de manipulare a cantităților mari de minereu nu erau disponibile) și minereuri bogate era încă disponibil (comparativ cu ziua de azi, aurul a fost relativ mai ușor de găsit). Destul de simplu, nu a fost eficient (sau chiar posibil) să lucrați prin zgomot (minereu de calitate inferioară) pentru a găsi semnalele (aurul).
Cu Hadoop, magazinele IT au acum echipamentul capital pentru a procesa milioane de tone de minereu (date cu o valoare scăzută pe octet) pentru a găsi aurul aproape invizibil cu ochiul liber (date cu valoare ridicată pe octet). Și exact despre asta este descoperirea.
Este vorba de a avea un depozit flexibil, cu costuri reduse, unde se realizează investiții de la zero la zero pentru a îmbogăți datele până la descoperirea lor. După o descoperire, s-ar putea să aibă sens să cerem mai multe resurse (pentru a descoperi descoperirea de aur) și să o formalizăm într-un proces de analiză care poate fi implementat într-un depozit de date sau într-un centru de date specializat.
Atunci când se face o analiză în zona de descoperire, probabil că este un moment bun să se angajeze departamentul IT și să se formalizeze un proces sau să li se ofere acelor oameni asistență pentru o descoperire mai aprofundată. De fapt, acest nou tipar ar putea chiar să se mute în zona de analiză ghidată.
Ideea este că IT a furnizat zonei de descoperire pentru utilizatorii de afaceri să ceară și să inventeze întrebări pe care nu le-au gândit înainte. Deoarece această zonă se află în Hadoop, este agilă și permite utilizatorilor să se aventureze într-un mod sălbatic sălbatic.
Observați că figura are o zonă cu nisip. În unele arhitecturi de referință, această zonă este combinată cu zona de descoperire. Păstrați aceste zone separate deoarece această zonă este utilizată de dezvoltatorii de aplicații și de magazinele IT pentru a-și face propriile cercetări, aplicații de testare și poate formaliza concluzii și descoperiri în zona Discovery atunci când este necesară asistența IT după o posibilă descoperire.
Arhitectura de referință este flexibilă și poate fi ușor modificată. Nimic nu este aruncat în piatră: puteți să luați ceea ce aveți nevoie, să lăsați ceea ce nu faceți și să adăugați nuanțele voastre.
De exemplu, unele organizații pot alege să co-localizeze toate zonele într-un singur cluster Hadoop; unii pot alege să folosească un singur cluster conceput pentru mai multe scopuri; iar alții le pot separa fizic.
