Grafic Procesarea în Hadoop - manechine

Una dintre cele mai interesante tehnologii NoSQL, care se ridică, implică stocarea și prelucrarea datelor grafice. S-ar putea să credeți că această afirmație este o veste veche, deoarece oamenii de știință din domeniul calculatoarelor au dezvoltat tehnici de analiză grafică de zeci de ani. Ceea ce spuneți ar putea fi adevărat, dar ceea ce este nou este că prin utilizarea lui Hadoop, puteți face analize grafice la scară largă.

Ce este datele din grafic?

Un grafic în termeni de date este pur și simplu o reprezentare a entităților individuale și a relațiilor lor. Entitățile unui grafic sunt cunoscute sub numele de noduri (sau noduri ), iar relațiile dintre entități dintr-un grafic sunt cunoscute ca marginile >). Reprezentarea seturilor de date într-un grafic, spre deosebire de rândurile și coloanele tradiționale, face mult mai ușor procesarea datelor în moduri care fac ca relațiile dintre obiecte să fie limitate. Calculele grafice tipice sunt reprezentate de distanța cea mai scurtă dintre mai multe noduri din graficul dvs. sau pur și simplu de câte noduri au conexiuni de un anumit tip la un anumit nod.

Aplicații pentru analiza grafică

Cea mai cunoscută aplicație pentru bazele de date grafice este algoritmul PageRank al Google, care calculează relațiile de legătură între toate paginile web cunoscute. Google reprezintă webul ca un grafic gigantic, unde paginile web sunt noduri, iar legăturile de la o pagină la alta sunt reprezentate ca marginile. (Google a împărțit averea prin publicarea unei lucrări care descrie proiectul său de analiză grafică - etichetat cu Pregel - înapoi în 2010.) Procesarea graficelor pe care Google a fost interesată să o calculeze implicit pentru numărul de conexiuni inbound pentru fiecare pagină web.

Un motor de procesare a graficelor poate răspunde cu ușurință la multe întrebări practice pentru site-urile media sociale. Două exemple sunt modul în care LinkedIn prezintă gradele de separare dintre dvs. și un alt utilizator este cel mai scurt calcul al traseului (care este cea mai apropiată conexiune între două noduri?) și cum arată utilizatorii OkCupid cu interese comune este un set de calcule de filtrare colaborative (care sunt cele mai comune conexiuni la un anumit set de noduri?).

Analiza grafică în Hadoop

Începând cu primăvara anului 2014, analiza grafică a lui Hadoop rămâne în faza incipientă. Odată cu apariția lui YARN în Hadoop 2, analizele grafice și alte tehnici de prelucrare specializate vor deveni din ce în ce mai populare pe Hadoop. Multe dintre site-urile sociale menționate în acest articol utilizează propriile baze de date grafice și motoare de procesare, dar Facebook este un utilizator proeminent al lui Giraph. Deoarece sigla de aprobare Facebook (implicită), Giraph a devenit o alegere populară pentru analiza grafică a lui Hadoop, dar are unele limitări. Este doar un motor de procesare, deoarece încarcă datele ca un grafic în memoria clusterului și este optimizat pentru interogări orientate pe loturi.

O altă soluție de procesare grafică vine de la Aurelius, o companie care a lansat un set de instrumente de analiză grafică open-source pentru Hadoop. Miezul ofertelor sale este Titan, o bază de date grafică care utilizează HBase ca strat de persistență optimizat pentru interogări interactive și Faunus, un motor de procesare a graficelor care stochează un instantaneu al unui grafic din Titan în HDFS și execută lucrări MapReduce împotriva lui. Pentru aplicațiile interactiv (Titan) și lot (Faunus), Aurelius are API-ul graf-traversal denumit Gremlin.

În cele din urmă, proiectul Apache Spark are opțiunea GraphX, care permite generarea de date grafice și apoi procesare, toate în cadrul Spark.