Video: Introduction to Amazon Web Services by Leo Zhadanovsky 2024
Cerințele privind securitatea și confidențialitatea, stratul 1 al stivei mari de date, sunt similare la cerințele pentru mediile de date convenționale. Cerințele de securitate trebuie să fie strâns aliniate la nevoile specifice ale afacerii. Unele provocări unice apar atunci când datele mari devin parte a strategiei:
-
Accesul la date: Accesul utilizatorilor la datele mari sau brute are aproximativ același nivel de cerințe tehnice ca implementările de date care nu sunt mari. Datele ar trebui să fie disponibile numai celor care au o nevoie legitimă de afaceri pentru a examina sau a interacționa cu acestea. Majoritatea platformelor de stocare a datelor de bază au sisteme de securitate riguroase și sunt completate cu o capacitate de identitate federalizată, oferind acces adecvat în multe straturi ale arhitecturii.
-
Accesul la aplicații: Accesul la aplicație este, de asemenea, relativ simplu din punct de vedere tehnic. Majoritatea interfețelor de programare a aplicațiilor (API) oferă protecție împotriva utilizării sau accesului neautorizat. Acest nivel de protecție este probabil adecvat pentru majoritatea implementărilor de date importante.
-
Criptare de date: Criptarea datelor este cel mai dificil aspect al securității într-un mediu de date mare. În mediile tradiționale, criptarea și decriptarea datelor subliniază într-adevăr resursele sistemelor. Această problemă este exacerbată de date mari. Abordarea cea mai simplă este furnizarea de capacități computaționale mai rapide și mai rapide. O abordare mai temperată este identificarea elementelor de date care necesită acest nivel de securitate și criptarea numai a elementelor necesare.
-
Detectarea amenințărilor: Includerea dispozitivelor mobile și a rețelelor sociale crește exponențial atât cantitatea de date, cât și posibilitățile de amenințare la adresa securității. Prin urmare, este important ca organizațiile să adopte o abordare multiperimetrică a securității.
Prin urmare, infrastructura fizică permite infrastructurii de securitate și a infrastructurii de securitate să protejeze toate elementele din mediul dvs. mare de date. Următorul nivel din stivă îl constituie interfețele care oferă acces bidirecțional la toate componentele stivei - de la aplicații corporative la feed-uri de date de pe Internet.
O parte importantă a designului acestor interfețe este crearea unei structuri coerente care să fie partajată atât în interiorul, cât și în afara companiei, precum și cu partenerii de tehnologie și partenerii de afaceri.
De zeci de ani, programatorii au folosit API pentru a oferi acces la și de la implementările de software. Furnizorii de unelte și tehnologii vor merge în mare măsură pentru a se asigura că este o sarcină relativ simplă de a crea noi aplicații utilizând produsele lor.Deși este foarte util, uneori este necesar ca profesioniștii IT să creeze API-uri personalizate sau de proprietate exclusive companiei.
Este posibil să fie nevoie să faceți acest lucru pentru avantajul competitiv, o necesitate unică pentru organizația dvs. sau pentru alte cerințe de afaceri și nu este o sarcină simplă. API-urile trebuie să fie bine documentate și menținute pentru a păstra valoarea afacerii. Din acest motiv, unele companii aleg să folosească seturile de instrumente API pentru a obține un salt de start în această activitate importantă.
Seturile de instrumente API au câteva avantaje față de API-urile dezvoltate pe plan intern. Primul este că seturile de instrumente API sunt produse care sunt create, gestionate și întreținute de o terță parte independentă. În al doilea rând, ele sunt concepute pentru a rezolva o cerință tehnică specifică.
Provocările de date mari necesită o abordare puțin diferită față de dezvoltarea sau adoptarea API. Deoarece o mare parte din date este nestructurată și este generată în afara controlului afacerii dvs., o nouă tehnologie, numită NLP (Natural Language Processing), devine metoda preferată pentru interfața dintre datele mari și programele de aplicații.
NLP vă permite să formulați interogări cu sintaxă de limbaj natural în loc de o limbă de interogare formală, cum ar fi SQL. Pentru majoritatea utilizatorilor de date mari, va fi mult mai ușor să ceri "Lista tuturor consumatorilor de sex masculin căsătoriți între 30 și 40 de ani care locuiesc în sud-estul Statelor Unite și sunt fani ai NASCAR" decât să scrie o interogare SQL de 30 de linii pentru răspunsul.
Deoarece majoritatea colectării și mișcării datelor au caracteristici foarte asemănătoare, puteți proiecta un set de servicii pentru a aduna, curăța, transforma, normaliza și stoca elemente de date mari în sistemul de stocare la alegere.
Pentru a crea o flexibilitate cât mai mare, fabrica ar putea fi condusă cu descrieri de interfață scrise în Extensible Markup Language (XML). Acest nivel de abstractizare permite crearea unor interfețe specifice ușor și rapid fără a fi nevoie să se construiască servicii specifice pentru fiecare sursă de date.
În practică, puteți crea o descriere a interfețelor de aplicații SAP sau Oracle folosind ceva asemănător cu XML. Fiecare interfață ar folosi același software de bază pentru a migra date între mediul mare de date și mediul aplicației de producție, independent de specificul SAP sau Oracle. Dacă aveți nevoie să strângeți date de pe site-urile sociale pe Internet, practica ar fi identică.
Descrieți interfețele cu site-urile din XML și apoi angajați serviciile pentru a muta datele înainte și înapoi. În mod tipic, aceste interfețe sunt documentate pentru a fi utilizate de tehnicieni interni și externi.