Distribuite de bază de date computerizate pentru date mari

Dacă compania dumneavoastră are în vedere un proiect de date de mare amploare, este important să înțelegeți unele dintre elementele de bază ale computerelor distribuite primul. Nu există un singur model distribuit de calcul deoarece resursele de calcul pot fi distribuite în mai multe moduri.

De exemplu, puteți distribui un set de programe pe același server fizic și puteți utiliza serviciile de mesagerie pentru a le permite să comunice și să transmită informații. De asemenea, este posibil să avem multe sisteme sau servere diferite, fiecare cu memorie proprie, care poate lucra împreună pentru a rezolva o problemă.

De ce este nevoie de calcul distribuit pentru date mari

Nu toate problemele necesită computere distribuite. Dacă nu există o constrângere mare de timp, procesarea complexă se poate realiza prin intermediul unui serviciu specializat de la distanță. Atunci când companiile ar fi trebuit să facă o analiză complexă a datelor, IT ar fi transferat datele către un serviciu sau o entitate externă în care au fost puse la dispoziție o mulțime de resurse de rezervă pentru procesare.

Nu companiile au vrut să aștepte să obțină rezultatele de care au nevoie; nu a fost posibilă din punct de vedere economic să cumpere suficiente resurse de calcul pentru a face față acestor cerințe emergente. În multe situații, organizațiile ar captura numai selecții de date decât să încerce să capteze toate datele din cauza costurilor. Analiștii doreau toate datele, dar trebuiau să se stabilească pentru instantanee, sperând să surprindă datele potrivite la momentul potrivit.

Principalele descoperiri hardware și software revoluționează industria de gestionare a datelor. În primul rând, inovația și cererea au sporit puterea și au scăzut prețul hardware-ului. A apărut un nou software care a înțeles cum să profite de acest hardware prin automatizarea proceselor precum echilibrarea încărcăturii și optimizarea într-un grup imens de noduri.

Software-ul a inclus reguli încorporate care au înțeles că anumite sarcini de lucru necesită un anumit nivel de performanță. Software-ul a tratat toate nodurile ca și cum ar fi fost doar un mare grup de resurse de calcul, stocare și rețea și a mutat procesele către un alt nod fără întrerupere dacă un nod nu a reușit, folosind tehnologia virtualizării.

Economia în schimbare a datelor computerizate și date mari

Rapid înainte și multe s-au schimbat. În ultimii ani, costul de achiziționare a resurselor de calcul și de stocare a scăzut dramatic. Aranjate de virtualizare, serverele de mărfuri care ar putea fi grupate și lamele care ar putea fi conectate într-un rack au schimbat economia computerelor. Această schimbare a coincis cu inovarea în soluțiile de automatizare a software-urilor care au îmbunătățit dramatic gestionabilitatea acestor sisteme.

Capacitatea de a pârghia calculul distribuit și tehnicile de procesare paralelă a transformat în mod dramatic peisajul și a reduce în mod drastic latența. Există cazuri speciale, cum ar fi High Frequency Trading (HFT), în care latența redusă poate fi realizată numai prin localizarea fizică a serverelor într-o singură locație.

Problema cu latența datelor mari

Una dintre problemele perene cu gestionarea datelor - în special cantități mari de date - a fost impactul latenței. Latența este întârzierea în cadrul unui sistem bazat pe întârzieri în executarea unei sarcini. Latența este o problemă în fiecare aspect al calculului, inclusiv în comunicații, gestionarea datelor, performanța sistemului și multe altele.

Dacă ați folosit vreodată un telefon fără fir, ați experimentat latența prima dată. Este întârzierea transmisiilor dintre dvs. și apelantul dvs. Uneori, latența are un impact redus asupra satisfacției clienților, cum ar fi dacă companiile trebuie să analizeze rezultatele din spatele scenei pentru a planifica lansarea unui nou produs. Acest lucru probabil nu necesită răspuns instantaneu sau acces.

Cu toate acestea, cu cât răspunsul se apropie mai mult de un client în momentul deciziei, cu atât mai mult contează latența.

Tehnicile distribuite de computere și de procesare paralelă pot aduce o diferență semnificativă în latența cu care se confruntă clienții, furnizorii și partenerii. Multe aplicații mari de date depind de latența redusă din cauza cerințelor mari de date privind viteza și volumul și varietatea datelor.

Este posibil să nu fie posibilă construirea unei aplicații de date mari într-un mediu de latență ridicată, dacă este necesară o performanță ridicată. Necesitatea de a verifica datele în timp real în timp real poate fi afectată de latență. Când aveți de-a face cu date în timp real, un nivel ridicat de latență înseamnă diferența dintre succes și eșec.

Cererea mare de date satisface soluțiile

Creșterea Internetului ca o platformă pentru totul de la comerț la medicină a transformat cererea pentru o nouă generație de gestionare a datelor. La sfârșitul anilor 1990, companii de motoare și de internet cum ar fi Google, Yahoo!, și Amazon. com au fost capabili să-și extindă modelele de afaceri, punând la dispoziție hardware ieftin pentru calcul și stocare.

În continuare, aceste companii au nevoie de o nouă generație de tehnologii software care să le permită să genereze venituri din sumele uriașe pe care le captau de la clienți. Aceste companii nu au putut aștepta rezultatele prelucrării analitice. Ei aveau nevoie de capacitatea de a procesa și de a analiza aceste date în timp real.