Cum să setați fundația arhitecturală pentru date mari - dummies

Este important să puneți o fundație arhitecturală puternică dacă doriți să aveți succes cu date mari. Pe lângă susținerea cerințelor funcționale, este important să se sprijine performanța necesară. Nevoile dvs. depind de natura analizei pe care o susțineți. Veți avea nevoie de cantitatea potrivită de putere și viteză de calcul.

Arhitectura dvs. trebuie, de asemenea, să aibă o cantitate adecvată de redundanță, astfel încât să vă protejați de latența neașteptată și de timpul de nefuncționare.

Începeți prin a vă întreba următoarele întrebări:

• Cât de mult va avea nevoie organizația dvs. pentru a gestiona astăzi și în viitor?

• Cât de des va fi nevoie organizația dvs. să gestioneze date în timp real sau aproape în timp real?

• Câtă risc poate permite organizației dvs.? Industria dvs. este supusă unor cerințe stricte de securitate, conformare și guvernanță?

• Cât de importantă este viteza de a vă gestiona datele?

• Cât de precise sau precise trebuie să fie datele?

  

Interfețe și fluxuri pentru date mari

Pentru a înțelege cât de mari date funcționează în lumea reală, este important să începeți prin a înțelege necesitatea interfețelor și feedurilor. De fapt, ceea ce face ca datele mari să fie mari este faptul că se bazează pe strângerea de date de la o mulțime de surse.

Prin urmare, interfețele de programare (API) deschise vor fi nucleul oricărei arhitecturi de date mari. În plus, rețineți că există interfețe la fiecare nivel și între fiecare nivel al stiva. Fără servicii de integrare, datele mari nu se pot întâmpla.

Infrastructura fizică redundantă a datelor

Infrastructura fizică de sprijin este fundamentală pentru funcționarea și scalabilitatea unei arhitecturi mari de date. De fapt, fără existența unor infrastructuri fizice robuste, datele importante ar fi probabil să nu fi apărut ca o tendință atât de importantă. Pentru a susține un volum de date neașteptat sau imprevizibil, o infrastructură fizică pentru date mari trebuie să fie diferită de cea pentru datele tradiționale.

Infrastructura fizică se bazează pe un model distribuit de calcul. Aceasta înseamnă că datele pot fi stocate fizic în multe locații diferite și pot fi conectate împreună prin rețele, utilizarea unui sistem de fișiere distribuit și diverse instrumente și aplicații de analiză a datelor.

Redundanța este importantă pentru că aveți de-a face cu atât de multe date din multe surse diferite. Redundanța vine în mai multe forme. Dacă compania dvs. a creat un cloud privat, veți dori să aveți redundanță construită în mediul privat, astfel încât acesta să poată fi scalat pentru a sprijini schimbarea volumelor de lucru.

Dacă compania dvs. dorește să controleze creșterea internă a tehnologiei IT, poate utiliza servicii externe de tip cloud pentru a-și mări resursele interne. În unele cazuri, această redundanță poate apărea sub forma unei oferte de software ca serviciu (SaaS), care permite companiilor să facă analiza sofisticată a datelor ca serviciu. Abordarea SaaS oferă costuri mai mici, pornire mai rapidă și evoluție fără probleme a tehnologiei de bază.

Infrastructura de securitate a datelor de mare valoare

Cea mai importantă analiză a datelor importante devine pentru companii, cu atât mai importantă va fi asigurarea acestor date. De exemplu, dacă sunteți o companie de asistență medicală, probabil că veți dori să utilizați aplicații mari de date pentru a determina schimbările demografice sau schimbările în nevoile pacientului. Aceste date despre constituenții dvs. trebuie să fie protejați atât pentru a respecta cerințele de conformitate, cât și pentru a proteja confidențialitatea pacienților.

Trebuie să țineți cont de cine are permisiunea să vadă datele și în ce condiții le este permis să facă acest lucru. Va trebui să puteți verifica identitatea utilizatorilor și să vă protejați identitatea pacienților.

Sursele de date mari de operare

Este important să înțelegeți că trebuie să includeți toate sursele de date care vă vor oferi o imagine completă a afacerii dvs. și să vedeți modul în care datele influențează modul în care vă desfășurați afacerea. Pe măsură ce lumea se schimbă, este important să înțelegem că datele operaționale trebuie să cuprindă acum un set mai larg de surse de date, inclusiv surse nestructurate, cum ar fi datele mass-media sociale în toate formele sale.

Descoperă noi abordări emergente privind gestionarea datelor în lumea mare de date, inclusiv arhitecturi de baze de date, grafice, coloane și arhitecturi geospațiale. În mod colectiv, acestea sunt denumite NoSQL, sau nu numai baze de date SQL. În esență, trebuie să cartografiați arhitecturile de date pe tipurile de tranzacții.

Acest lucru vă va ajuta să vă asigurați că datele dreapta sunt disponibile atunci când aveți nevoie de ele. De asemenea, aveți nevoie de arhitecturi de date care să susțină un conținut complex, nestructurat. Trebuie să includeți atât baze de date relaționale, cât și baze de date non-relaționale în abordarea dvs. pentru valorificarea datelor importante. De asemenea, este necesar să includeți surse de date nestructurate, cum ar fi sistemele de gestionare a conținutului, astfel încât să vă puteți apropia de viziunea de afaceri de 360 ​​de grade.

Toate aceste surse operaționale de date au mai multe caracteristici comune:

• Acestea reprezintă sisteme de înregistrare care urmăresc datele critice necesare funcționării în timp real a afacerii.

• Ele sunt actualizate în permanență pe baza tranzacțiilor care se petrec în cadrul unităților de afaceri și de pe web.

• Pentru ca aceste surse să furnizeze o reprezentare exactă a afacerii, acestea trebuie să îmbină datele structurate și nestructurate.

• Aceste sisteme trebuie, de asemenea, să poată fi utilizate pentru a sprijini mii de utilizatori pe o bază consistentă. Acestea ar putea include sisteme de tranzacționare e-commerce, sisteme de management al relațiilor cu clienții sau aplicații de call center.