Date Mining pentru date mari - miniaturi

Explorarea datelor implică explorarea și analizarea unor cantități mari de date pentru a găsi modele pentru date mari. Tehnicile au ieșit din domeniile statisticilor și inteligenței artificiale (AI), cu un pic de gestionare a bazelor de date aruncate în mix.

În general, scopul minelor de date este fie clasificarea, fie predicția. În clasificare, ideea este de a sorta datele în grupuri. De exemplu, un comerciant ar putea fi interesat de caracteristicile celor care au răspuns față de cei care nu au răspuns la o promoție.

Acestea sunt două clase. În predicție, ideea este de a prezice valoarea unei variabile continue. De exemplu, un marketer ar putea fi interesat să prezică celor care vor răspunde unei promoții.

Algoritmii tipice utilizați în exploatarea datelor includ următoarele:

• Arbori de clasificare: O tehnică populară de extragere a datelor care este folosită pentru a clasifica o variabilă categorică dependentă pe baza măsurătorilor uneia sau mai multor variabile predictori. Rezultatul este un arbore cu noduri și legături între nodurile care pot fi citite pentru a forma regulile if-then.

• Regresie logistică: O tehnică statistică care este o variantă a regresiei standard, însă extinde conceptul la clasificare. Ea produce o formulă care prezice probabilitatea apariției ca o funcție a variabilelor independente.

• Rețele neuronale: Un algoritm software care este modelat după arhitectura paralelă a creierului animal. Rețeaua constă din noduri de intrare, straturi ascunse și noduri de ieșire. Fiecare unitate are o greutate. Datele sunt date nodului de intrare, iar printr-un sistem de încercări și erori algoritmul ajustează greutățile până când îndeplinește anumite criterii de oprire. Unii oameni au comparat acest lucru cu o abordare negru-cutie.

• Tehnici de grupare ca vecinii K-cei mai apropiați: O tehnică care identifică grupuri de înregistrări similare. Tehnica K-cea mai apropiată vecină calculează distanțele dintre înregistrare și punctele din datele istorice (de antrenament). Apoi atribuie această înregistrare clasei celui mai apropiat vecin într-un set de date.

Iată un exemplu de arbore de clasificare. Luați în considerare situația în care o companie de telefonie dorește să determine care clienți rezidențiali sunt susceptibili să-și deconecteze serviciul.

Compania de telefonie are informații care constau în următoarele atribute: cât timp persoana a avut serviciul, cât de mult petrece pe serviciu, dacă serviciul a fost problematic, dacă are cel mai bun plan de apelare de care are nevoie, unde cât de vechi este, dacă are alte servicii grupate împreună, informații competitive despre alte planuri de transport și dacă are încă serviciul.

Desigur, puteți găsi mai multe atribute decât acest lucru. Ultimul atribut este variabila de rezultat; acesta este ceea ce software-ul va folosi pentru a clasifica clienții într-unul din cele două grupuri - probabil numiți clienți și riscuri de zbor.

Setul de date este împărțit în datele de antrenament și un set de date de testare. Datele de antrenament constau din observații (numite atribute) și o variabilă de rezultat (binar în cazul unui model de clasificare) - în acest caz, rămășițele sau riscurile de zbor.

Algoritmul este rulat peste datele de antrenament și vine cu un copac care poate fi citit ca o serie de reguli. De exemplu, dacă clienții au fost cu compania mai mult de zece ani și au peste 55 de ani, este probabil să rămână clienți fideli.

Aceste reguli sunt apoi executate pe setul de date de testare pentru a determina cât de bun este acest model pe "date noi". "Măsurile de precizie sunt furnizate pentru model. De exemplu, o tehnică populară este matricea de confuzie. Această matrice este un tabel care oferă informații despre câte cazuri au fost corect clasificate sau incorect.

Dacă modelul arată bine, acesta poate fi implementat pe alte date, deoarece este disponibil (adică se utilizează pentru a prezice cazuri noi de risc de zbor). Pe baza modelului, compania ar putea decide, de exemplu, să trimită oferte speciale acelor clienți despre care consideră că reprezintă riscuri de zbor.