Scraping, colectarea și manipularea instrumentelor de date științifice - dummies

Dacă aveți nevoie de date pentru a susține o analiză de afaceri sau o piesă de jurnalism viitoare, scraparea de pe web vă poate ajuta să identificați sursele de date interesante și unice. În răsturnarea web , creați programe automate și apoi le lăsați să curățească webul pentru datele de care aveți nevoie. Iată instrumentele gratuite care pot fi folosite pentru a răsturna date sau imagini, inclusiv importul. io, ImageQuilts și DataWrangler.

Recuperarea datelor cu import. io

Ați încercat vreodată să copiați și să lipiți o masă de pe web într-un document Microsoft Office și apoi să nu reușiți să aliniați corect coloanele? Frustătoare, nu? Acesta este exact punctul de durere al importului. io a fost conceput pentru a aborda.

import. io - pronunțată "import-eye-oh" - este o aplicație desktop gratuită pe care o puteți folosi pentru a copia, lipi, curăța și format orice parte a unei pagini web cu doar câteva clicuri de mouse. Puteți folosi chiar importul. io pentru a accesa cu crawlere și extrage automat datele din listele cu mai multe pagini.

Folosind importul. io puteți scuta datele dintr-o serie simplă sau complicată de pagini web:

• Simplu: Accesați paginile web prin intermediul unor hyperlink-uri simple care apar pe Pagina 1, Pagina 2, Pagina 3.

• Complicată: > Completați un formular sau alegeți dintr-o listă derulantă, apoi trimiteți cererea dvs. de răzuire la instrument. import. Caracteristica cea mai impresionanta a lui io este capacitatea sa de a observa click-urile mouse-ului pentru a afla ce doriti si apoi a va oferi modalitati prin care va poate finaliza automat sarcinile pentru dumneavoastra. Deși importă. io învață și sugerează sarcini, nu ia măsuri pentru acele sarcini decât după ce ați marcat sugestia ca fiind corectă. În consecință, aceste interacțiuni augmentate de om reduc riscul ca mașina să tragă o concluzie incorectă datorită supra-ghicitului.

Colectarea imaginilor cu ImageQuilts

ImageQuilts este o extensie Chrome dezvoltată în parte de legendarul Edward Tufte, unul dintre primii pionieri mari în vizualizarea datelor - a popularizat utilizarea datelor de tip " raportul de cerneală pentru a evalua eficacitatea diagramelor.

Sarcina pe care ImageQuilts o realizează este înșelător de simplă, dar foarte complexă de implementat. ImageQuilts face colaje de zeci de imagini și le pune toate împreună într-o "quilt" care este alcătuită din mai multe rânduri de înălțime egală. Această sarcină poate fi complexă, deoarece imaginile sursă sunt aproape niciodată la aceeași înălțime. ImageQuilts răstoarnă și redimensionează imaginile înainte de a le îmbina împreună într-o singură imagine de ieșire.

Pilonul imaginii afișat a fost derivat dintr-o căutare Google Căutare de imagini pentru

date știință "etichetate pentru reutilizare". ImageQuilts vă permite chiar să alegeți ordinea imaginilor sau să le alegați. Puteți utiliza instrumentul pentru a glisa și a arunca orice imagine în orice loc, a elimina o imagine, a mări toate imaginile în același timp sau a mări fiecare imagine individual.

Puteți chiar utiliza instrumentul pentru a ascunde între culorile imaginii - de la culori la tonuri de gri sau de culoare inversată (ceea ce este util pentru crearea de foi de contact negative, dacă sunteți unul dintre acei oameni rare care procesează încă filme analogice).

Data Wrangler

DataWrangler este un instrument online care este susținut de Laboratorul Interactiv de Date al Universității din Washington (la vremea când a fost dezvoltat DataWrangler, acest grup a fost numit Grupul de Vizualizare Stanford). Același grup a dezvoltat Lyra, un mediu interactiv de vizualizare a datelor, pe care îl puteți utiliza pentru a crea vizualizări complexe fără experiență de programare.

Dacă obiectivul dvs. este să

sculptați setul de date - sau să curățați lucrurile prin mișcarea lucrurilor ca un sculptor ar fi (împărțiți această parte în două, decupați acel fragment și mutați-l acolo, împingeți-l jos astfel încât totul sub el devine deplasat spre dreapta și așa mai departe) - DataWrangler este instrumentul pentru tine. Puteți face manipulări cu DataWrangler similar cu ceea ce puteți face în Excel utilizând Visual Basic. De exemplu, puteți utiliza DataWrangler sau Excel cu Visual Basic pentru a copia, lipi și a formata informații din listele de pe Internet.

DataWrangler sugerează acțiuni bazate pe setul de date și poate repeta acțiuni complexe pe întreg seturile de date - acțiuni cum ar fi eliminarea rândurilor excluse, împărțirea datelor dintr-o coloană în două sau transformarea unui antet în datele coloanei. De asemenea, DataWrangler vă poate arăta unde lipsesc datele din setul de date.

Datele lipsă pot indica o eroare de formatare care trebuie curățată.