Cum să pregătești date pentru un model de analiză predictivă - dummies

Când ați definit obiectivele modelului pentru analiza predictivă, următorul pas este identificarea și pregătirea datelor pe care le veți utiliza pentru a vă construi modelul. Secvența generală de pași arată astfel:

1. Identificați sursele de date.

   Datele pot fi în diferite formate sau pot locui în diferite locații.

2. Identificați modul în care veți accesa aceste date.

   Uneori, va trebui să achiziționați date terță parte sau date deținute de o divizie diferită în organizația dvs. etc.

3. Luați în considerare variabilele care trebuie incluse în analiza dvs.

   O abordare standard este de a începe cu o gamă largă de variabile și de a elimina cele care nu oferă valori predictive pentru model.

4. Determinați dacă utilizați variabile derivate.

   În multe cazuri, o variabilă derivată (cum ar fi raportul preț-pe-câștig utilizat pentru a analiza prețurile acțiunilor) ar avea un impact direct mai mare asupra modelului decât ar fi variabila brută.

5. Explorați calitatea datelor, încercând să înțelegeți atât starea, cât și limitele.

   Precizia predicțiilor modelului este direct legată de variabilele selectate și de calitatea datelor. Ați dori să răspundeți la câteva întrebări specifice datei:

   • Sunt datele complete?

   • Are vreo surpriză?

   • Datele trebuie curățate?

   • Trebuie să completați valorile lipsă, să le păstrați așa cum sunt sau să le eliminați cu totul?

Înțelegerea datelor și a proprietăților acestora vă poate ajuta să alegeți algoritmul care va fi cel mai util în construirea modelului. De exemplu:

• Algoritmii de regresie pot fi utilizați pentru a analiza date din serii de timp.

• Algoritmii de clasificare pot fi utilizați pentru a analiza date discrete.

• Algoritmii de asociere pot fi utilizați pentru date cu atribute corelate.

Setul de date folosit pentru a instrui și a testa modelul trebuie să conțină informații comerciale relevante pentru a răspunde la problema pe care încercați să o rezolvați. Dacă obiectivul dvs. este, de exemplu, de a determina care client este probabil să reia, atunci setul de date pe care îl alegeți trebuie să conțină informații despre clienții care au trecut în trecut în plus față de clienții care nu au.

Unele modele create pentru a mări datele și pentru a înțelege relațiile lor de bază - de exemplu, cele construite cu algoritmi de grupare - nu trebuie să aibă un rezultat final în minte.

Două probleme apar atunci când se ocupă de date pe măsură ce vă construiți modelul: asamblarea și echiparea excesivă.

Înclinarea sub

Încălțătura este atunci când modelul dvs. nu poate detecta nicio relație în datele dvs.Acesta este de obicei un indiciu că variabilele esențiale - cele cu putere de predicție - nu au fost incluse în analiza dvs. De exemplu, o analiză a stocurilor care include doar datele de pe o piață de tauri (în care prețurile globale ale acțiunilor cresc) nu reflectă crize sau bule care pot aduce corecții majore la performanța generală a stocurilor.

Fără să includă date care acoperă atât bursele , cât și cele pe piețe (când prețurile globale ale acțiunilor sunt în scădere), modelul este cel care oferă cea mai bună selecție posibilă a portofoliului.

Suprafata

Suprafata este atunci cand modelul dvs. include date care nu au putere predictiva, dar este specifica doar setului de date pe care il analizati. Variațiile aleatorii în setul de date - pot să ajungă în model, astfel încât executarea modelului într-un set diferit de date generează o scădere importantă a performanței și preciziei predictive a modelului. Bara laterală însoțitoare oferă un exemplu.

Dacă modelul dvs. funcționează foarte bine într-un anumit set de date și are performanțe reduse atunci când îl testați pe un alt set de date, bănuiți-vă că ați depășit echipamentul.