Importanța clasificării și clasificării în știința datelor - dummies

Scopul algoritmilor de clasificare și clasificare este de a face sens și extrage valoarea din seturi mari de date structurate și nestructurate. Dacă lucrați cu volume imense de date nestructurate, este logic să încercați să împărțiți datele într-un fel de grupări logice înainte de a încerca să le analizați.

Clustering și clasificarea vă permite să luați o privire masivă a datelor dvs. în masă și apoi să formați niște structuri logice bazate pe ceea ce veți găsi acolo înainte de a merge mai adânc în analiza cu piulițe și șuruburi.

grupurile sunt seturi de puncte de date care au aceleași atribute și algoritmi de grupare sunt metodele care grupează aceste puncte de date în diferite clustere bazate pe asemănările lor. Veți vedea algoritmi de grupare folosiți pentru clasificarea bolilor în știința medicală, dar veți vedea, de asemenea, că aceștia sunt folosiți pentru clasificarea clienților în cercetarea de marketing și pentru evaluarea riscului de sănătate a mediului în ingineria mediului.

Există diferite metode de grupare, în funcție de modul în care doriți să fie divizat setul de date. Cele două tipuri principale de algoritmi de grupare sunt

Ierarhic:

• Algoritmii creează seturi separate de clustere imbricate, fiecare în propriul nivel ierarhic. Partitional:

• Algoritmii creează doar un singur set de clustere. Puteți utiliza algoritmi de grupare ierarhică numai dacă cunoașteți deja distanța de separare dintre punctele de date din setul de date. Cel mai apropiat algoritm de vecinătate descris în acest capitol aparține clasei ierarhice de algoritmi de grupare.

S-ar putea să fi auzit despre clasificare și să credeți că clasificarea este același lucru cu gruparea. Mulți oameni fac, dar acest lucru nu este cazul. În clasificare, înainte de a începe, deja cunoașteți numărul de clase în care datele dvs. ar trebui grupate și deja știți ce clasă doriți ca fiecare punct de date să fie atribuit. În clasificare, datele din setul de date de învățat sunt etichetate.

Când folosiți algoritmi de grupare, pe de altă parte, nu aveți un concept predefinit pentru câte clustere sunt adecvate pentru datele dvs. și vă bazați pe algoritmii de grupare pentru a sorta și grupa datele într-un mod cel mai adecvat. Cu tehnici de grupare, învățați din date neetichetate.

Pentru a ilustra mai bine natura clasificării, aruncăm o privire asupra Twitter și a sistemului său de etichetare a hash-urilor.Spune că tocmai ai luat băutura ta preferată în întreaga lume: o latte de caramel gheață de la Starbucks. Ești atât de fericit să ai băutura ta că te hotărăști să tweet despre ea cu o fotografie și fraza "Acesta este cel mai bun latte EVER! #StarbucksRocks. "Bineînțeles, includeți" #StarbucksRocks "în tweet-ul dvs., astfel încât tweetul să intre în fluxul #StarbucksRocks și este clasificat împreună cu toate celelalte tweets care au fost etichetate ca #StarbucksRocks. Folosirea etichetei hashtag în tweet-ul dvs. a spus Twitter-ului cum puteți clasifica datele într-un grup ușor de recunoscut și accesibil sau

cluster .