Cum să căutați datele Analytics predictive - dummies

datele de analiză predictivă trebuie să știți cum să găsiți informațiile pe care doriți să le găsiți. Există două concepte principale de căutare a datelor dvs. în pregătirea utilizării în analiza predictivă:

Pregătirea pentru depășirea căutării de bază a cuvintelor cheie
Efectuarea căutării semantic a datelor

Cum se utilizează căutarea pe bază de cuvinte în predicție Analytics

Imaginați-vă dacă ați fost însărcinat cu căutarea unor cantități mari de date. O modalitate de abordare a problemei este de a emite o interogare de căutare care constă (evident) de cuvinte. Instrumentul de căutare caută cuvinte potrivite în baza de date, în depozitul de date sau merge în căutarea prin orice text în care se află datele dvs.

Să presupunem că emiteți următoarea interogare de căutare: Președintele Statelor Unite vizitează Africa . Rezultatele căutării vor consta în text care conține exact una sau o combinație a cuvintelor Președinte, Statele Unite, vizite, Africa . S-ar putea să obțineți informațiile exacte pe care le căutați, dar nu întotdeauna.

Ce zici de documentele care nu conțin nici unul din cuvintele menționate anterior, ci o combinație a următoarelor: Călătoria lui Obama în Kenya .

Niciuna dintre cuvintele pe care le-ați căutat inițial nu este acolo - dar rezultatele căutării sunt semantic (util). Cum vă puteți pregăti datele pentru a fi recuperabile semantic? Cum puteți trece dincolo de căutarea tradițională a cuvintelor cheie? Răspunsurile dvs. pot fi găsite dacă continuați să citiți.

Cum se utilizează căutările semantice în analiza predictivă

O ilustrare a modului în care funcționează căutarea semantică este un proiect pe care Anasse Bari la condus la Grupul Băncii Mondiale, o organizație internațională a cărei misiune principală este lupta împotriva sărăciei în întreaga lume.

Proiectul a urmărit să investigheze existența căutării și analizei de întreprinderi pe scară largă pe piață și să construiască un prototip pentru un cadru de ultimă oră care să organizeze datele Băncii Mondiale - cea mai mare parte a cărții fiind o colecție nestructurată de documente, publicații, rapoarte de proiecte, pliante și studii de caz.

Această cunoaștere masivă valoroasă este o resursă utilizată în scopul îndeplinirii principalei misiuni a Băncii de reducere a sărăciei mondiale. Dar faptul că este nestructurat face dificilă accesul, capturarea, partajarea, înțelegerea, căutarea, data-mina și vizualizarea.

Banca Mondială este o organizație imensă, cu multe diviziuni din întreaga lume. Una dintre diviziile principale se străduia să aibă un cadru și era gata să aloce resurse pentru a ajuta echipa Bari a fost Rețeaua de Dezvoltare Umană din cadrul Băncii Mondiale.

Vicepreședintele Rețelei Dezvoltării Umane a subliniat o problemă care a izvorât din ambiguitate: diviziunea sa a folosit mai mulți termeni și concepte care aveau același înțeles general, dar nuanțe diferite.

De exemplu, termeni precum climatologia, schimbările climatice, epuizarea stratului de ozon de gaze, și emisiile de seră au fost toate legate semantic, dar nu identice în sens. El dorea o capacitate de căutare suficient de inteligentă pentru a extrage documente care conțineau concepte înrudite atunci când cineva căuta oricare dintre acești termeni. Cadrul prototip al acestei capacități pe care echipa Bari a selectat-o a fost Arhitectura de management informatic nestructurată (UIMA), o soluție bazată pe software. Proiectat inițial de IBM Research, UIMA este disponibil în software-ul IBM, cum ar fi IBM Content Analytics, unul din instrumentele care au alimentat IBM Watson, computerul celebru care a câștigat jocul Jeopardy.

Echipa Bari și-a unit forțele cu o echipă foarte talentată din IBM Content Management și Enterprise Search, iar ulterior cu o echipă IBM Watson, pentru a colabora la acest proiect.

Soluția de gestionare a informațiilor nestructurate (UIM) este un sistem software care analizează volume mari de informații nestructurate (text, audio, video, imagini etc.) pentru a descoperi, organiza și furniza cunoștințe relevante clientul sau utilizatorul final al aplicației. Ontologia

a unui domeniu este o serie de concepte și termeni înrudiți, în special pentru un domeniu. O soluție bazată pe UIMA utilizează ontologii pentru a furniza etichetarea semantică, ceea ce permite căutarea îmbogățită independentă de formatul de date (text, vorbire, prezentare PowerPoint, e-mail, video etc.). UIMA adaugă un alt strat la datele capturate și apoi adaugă metadate pentru a identifica date care pot fi structurate și căutate semantic. Căutarea semantică se bazează pe semnificația contextuală a termenilor de căutare, așa cum apar în spațiul de date căutat de UIMA. Căutarea semantică este mai exactă decât căutarea obișnuită pe bază de cuvinte, deoarece o interogare a utilizatorului returnează rezultatele căutării nu numai a documentelor care conțin termenii de căutare, ci și a documentelor care sunt relevante din punct de vedere semantic pentru interogare.

Dacă căutați biodiversitatea în Africa, o căutare tipică (bazată pe cuvinte cheie) va întoarce documente care conțin cuvintele exacte biodiversitate și Africa