Cum se utilizează Smoothing Data în Analytics Predictive - Dummy

Netezirea datelor în analiza predictivă încearcă în esență să găsească "semnalul" în "zgomot" aruncarea punctelor de date care sunt considerate "zgomotoase". Ideea este de a accentua modelele din date și de a evidenția tendințele la care se îndreaptă datele.

Implicația care stă la baza netezirii datelor este aceea că datele constau în două părți: o parte (care constă din punctele de bază ) care semnifică tendințe generale sau tendințe reale și o altă parte care constă în majoritatea abaterilor zgomot ) - unele puncte fluctuante care rezultă din o anumită volatilitate a datelor. Netezirea datelor încearcă să elimine partea a doua.

Cum să scadă zgomotul

Netezirea datelor funcționează pe mai multe ipoteze:

Această fluctuație a datelor este mai probabil să fie zgomot.
Că partea zgomotoasă a datelor este de scurtă durată.
Că fluctuația datelor, indiferent de cât de variată ar putea fi, nu va afecta tendințele care stau la baza reprezentate de punctele de bază.

Zgomotul în date tinde să fie întâmplător; fluctuațiile sale nu ar trebui să afecteze tendințele generale obținute din examinarea celorlalte date. Astfel, reducerea sau eliminarea punctelor de zgomot poate clarifica tendințele și modelele reale ale datelor - în realitate, îmbunătățind raportul semnal-zgomot al datelor. „

Dacă ați identificat corect zgomotul și apoi l-ați redus, netezirea datelor vă poate ajuta să anticipați următorul punct de date observat pur și simplu urmând tendințele majore pe care le-ați detectat în cadrul datelor.

Netezirea datelor se referă la majoritatea punctelor de date, pozițiile lor într-un grafic și la ceea ce modelele rezultate prezic despre tendința generală a prețului (de exemplu) al unui preț, indiferent dacă direcția sa generală este în sus, în jos sau în lateral.

O prognoză bazată pe o tendință generală dedusă din datele netezite presupune că orice direcție pe care au urmat datele până acum va continua în viitor într-un mod compatibil cu tendința. Pe piața de valori, de exemplu, performanța trecută nu este o indicație clară a performanțelor viitoare, dar cu siguranță poate fi un ghid general pentru mișcarea viitoare a prețului acțiunilor.

Metode, avantaje și dezavantaje ale netezirii datelor

Netezirea datelor nu trebuie confundată cu

montarea unui model, care face parte din analiza datelor formată din două etape: model care reprezintă datele.

Asigurați-vă că modelul se potrivește eficient cu datele.
Netezirea datelor se concentrează asupra stabilirii unei direcții fundamentale pentru punctele de bază prin (1) ignorarea oricărui punct de date zgomotos și (2) desenarea unei curbe mai fine prin punctele de date care sări peste cele care scot și accentuează tendințele primare - datele, indiferent cât de lent este apariția lor. În consecință, într-o serie numerică de timp, netezirea datelor servește ca o formă de filtrare.

Netezirea datelor poate utiliza oricare din următoarele metode:

Păcatul aleatoriu

se bazează pe ideea că următorul rezultat sau viitorul punct de date este o abatere aleatorie de la ultimul punct cunoscut sau prezent. Media de deplasare
este o medie medie a perioadelor consecutive, egal distanțate. Un exemplu ar fi calcularea unei medii mobile de 200 de zile a prețului acțiunilor. Netezirea exponențială
atribuie exponențial mai multă greutate sau importanță punctelor recente de date decât punctelor de date mai vechi. Simplu:
- Această metodă trebuie utilizată atunci când datele din seria de timp nu au tendință și nici sezonalitate. Linear:
- Această metodă trebuie utilizată atunci când datele din seria de timp au o linie de trend. Sezonier:
- Această metodă ar trebui utilizată atunci când datele din seria de timp nu au nici o tendință, ci sezonalitate. Toate aceste metode de uniformizare au în comun că realizează un fel de proces de mediere pe mai multe puncte de date. O astfel de medie a punctelor de date adiacente este modalitatea esențială de a zero în tendințele sau modelele de bază.

Avantajele de netezire a datelor sunt

Este ușor de implementat.

Ajută la identificarea tendințelor.
Ajută la expunerea modelelor în date.
elimină punctele de date pe care le-ați decis că nu prezintă interes.
Ajută la prezicerea direcției generale a următoarelor puncte de date observate.
Se generează grafice frumoase netede.
Dar totul are un dezavantaj. Dezavantajele netezimii datelor sunt

Se pot elimina punctele de date valide care rezultă din evenimente extreme.

Poate duce la predicții inexacte dacă datele de testare sunt doar sezoniere și nu sunt pe deplin reprezentative pentru realitatea care a generat punctele de date.
Poate să schimbe sau să înclină datele, în special vârfurile, ducând la o imagine distorsionată a ceea ce se întâmplă.
Poate fi vulnerabil la perturbări semnificative de la valori excepționale din cadrul datelor.
Este posibil să se producă o deviere importantă de la datele originale.
Dacă netezirea datelor nu face altceva decât să dăm datele doar un facelift, putem trage o eroare fundamentală în următoarele moduri:

Poate introduce erori prin distorsiuni care tratează datele netezite ca și cum ar fi identice cu originalul date.

Poate denatura interpretarea prin ignorarea și ascunderea riscurilor încorporate în date.
Aceasta poate duce la pierderea detaliilor în datele dvs. - ceea ce reprezintă o modalitate prin care o curbă netezită se poate abate foarte mult de cea a datelor originale.
Cât de gravă este netezirea datelor care vă pot afecta datele depinde de natura datelor la îndemână și de ce tehnică de netezire a fost implementată pe aceste date.De exemplu, dacă datele inițiale au mai multe vârfuri, atunci netezirea datelor va duce la o schimbare majoră a acestor vârfuri în graficele netezite - cel mai probabil o denaturare.

Iată câteva puncte de avertizare pe care trebuie să le țineți minte pe măsură ce abordați netezirea datelor:

Este o idee bună să comparați graficele netezite cu graficele neatinsă care comportă datele originale.

Punctele de date eliminate în timpul netezirii datelor nu pot fi zgomote; acestea ar putea fi date valabile, reale care rezultă din evenimente rare, dar reale.
Netezirea datelor poate fi utila moderată, dar suprasolicitarea poate duce la o denaturare a datelor.
Aplicând expertiza profesională și expertiza cunoștințelor de afaceri, puteți utiliza în mod eficient o netezire a datelor. Eliminarea zgomotului din datele dvs. - fără a afecta negativ acuratețea și utilitatea datelor originale - este cel puțin o artă ca și știința.