Video: Technology Stacks - Computer Science for Business Leaders 2016 2024
o cantitate semnificativă de resurse de procesare a datelor, cu toate acestea, ceea ce a limitat amploarea implementărilor. Clasificarea imaginilor este un subiect fierbinte în lumea Hadoop, deoarece nici o tehnologie de masă nu a fost capabilă - până când Hadoop a venit - să deschidă ușile pentru o prelucrare atât de scumpă și eficientă.
Clasificarea imaginilor începe cu ideea că construiți un set de antrenament și că calculatoarele învață să identifice și să clasifice ceea ce se uită la ele. În același mod în care obținerea mai multor date contribuie la construirea unor modele de detectare a fraudei și a modelelor de risc mai bune, aceasta ajută sistemele să clasifice mai bine imaginile.
În acest caz de utilizare, datele sunt denumite set de antrenament, precum și modelele sunt clasificatoare. Clasificatorii recunosc caracteristicile sau modelele din cadrul sunetului, imaginii sau videoclipului și le clasifică în mod corespunzător. Clasificatorii sunt construiți și rafinați iterativ din ansamblurile de antrenament, astfel încât scorurile lor de precizie (o măsură a exactității) și scorurile de rechemare (o măsură de acoperire) sunt ridicate.
Hadoop este foarte potrivit pentru clasificarea imaginilor deoarece oferă un mediu de procesare masiv paralel, pentru a crea nu numai modele de clasificator (iterând peste seturi de antrenament), dar oferă și o scalabilitate aproape nelimitată pentru a procesa și rula acești clasificatori pe seturi masive de volume nestructurate de date.
Luați în considerare sursele multimedia cum ar fi YouTube, Facebook, Instagram și Flickr - toate sunt surse de date binare nestructurate. Figura arată modul în care puteți utiliza Hadoop pentru a scala procesarea unor volume mari de imagini și video stocate pentru clasificarea semantică multimedia.
Puteți vedea modul în care toate conceptele referitoare la cadrul de procesare Hadoop sunt aplicate acestor date. Observați cum sunt încărcate imaginile în HDFS. Modelele clasificatorului, construite în timp, sunt aplicate în prezent componentelor suplimentare ale caracteristicilor imaginii în faza Map a acestei soluții. După cum puteți vedea în colțul din dreapta jos, rezultatul acestei prelucrări constă în clasificări de imagini care variază de la desene animate până la sport și locații, printre altele.
Hadoop poate fi folosit și pentru analiză audio sau vocală. Un client din industria de securitate cu care lucrăm creează un sistem de clasificare audio pentru a clasifica sunetele care sunt auzite prin cabluri cu fibră optică îmbogățite acustic în jurul perimetrului reactoarelor nucleare.
De exemplu, acest sistem știe să clasifice aproape instantaneu șoapta vântului în comparație cu șoapta unei voci umane sau să distingă sunetul pașilor umani care rulează în parcurile perimetrice de cele ale faunei sălbatice.
Această descriere poate avea un fel de Star Trek simțiți-o, dar acum puteți vedea exemple live. De fapt, IBM face publice unul dintre cele mai mari sisteme de clasificare a imaginilor din lume, prin intermediul sistemului IBM Multimedia Analysis and Retrieval System (IMARS).
Iată rezultatul unei căutări IMARS pentru termenul schi alpin. În partea de sus a figurii, puteți vedea rezultatele clasificatorilor mapați la setul de imagini care a fost procesat de Hadoop, împreună cu un nor de tag asociat.
Notați clasificatorul parental mai grosier definit, spre deosebire de cel mai granulat. De fapt, observați mai multe niveluri de clasificare: rolls în care se rostogolesc - toate generate automat de modelul clasificatorului, construite și marcate folosind Hadoop.
Niciuna dintre aceste imagini nu are metadate adăugate. Nimeni nu a deschis iPhoto și a etichetat o imagine ca un sport de iarnă pentru a se prezenta în această clasificare. Este clasificatorul de sporturi de iarnă care a fost construit pentru a recunoaște atributele de imagine și caracteristicile sportului care se joacă într-un cadru de iarnă.
Clasificarea imaginilor are multe aplicații și este capabilă să efectueze această clasificare pe o scară masivă, folosind Hadoop, deschizând mai multe posibilități de analiză, pe măsură ce alte aplicații pot utiliza informațiile de clasificare generate pentru imagini.
Uitați-vă la acest exemplu din industria sănătății. O mare agenție de sănătate din Asia sa concentrat pe furnizarea de asistență medicală prin intermediul clinicilor mobile către o populație rurală distribuită într-o masă vastă a terenurilor. O problemă semnificativă cu care sa confruntat agenția a fost provocarea logistică a analizei datelor medicale imagistice generate de clinicile sale mobile.
Un radiolog este o resursă rară în această parte a lumii, așa că este logic să transmitem imaginile medicale într-un punct central și să le examinăm o armată de medici. Cu toate acestea, medicii care examinează imaginile au fost supraîncărcați rapid.
Agenția lucrează acum la un sistem de clasificare pentru a ajuta la identificarea posibilelor condiții pentru a oferi în mod eficient sugestii pentru medicii care să le verifice. Testele timpurii au arătat această strategie pentru a ajuta la reducerea numărului de diagnostice pierdute sau inexacte, economisind timp, bani și - mai presus de toate - vieți.
