Acasă Finanțe personale Mină Datele mari cu stupi

Mină Datele mari cu stupi

Video: Guess Who feat. Irina Rimes - Cupidon (Videoclip Oficial) 2024

Video: Guess Who feat. Irina Rimes - Cupidon (Videoclip Oficial) 2024
Anonim

Hive este un strat de stocare a datelor bazat pe elemente de bază ale Hadoop (HDFS și MapReduce) și este foarte util în date mari. Acesta oferă utilizatorilor care cunosc SQL cu o simplă implementare SQL-lite, numită HiveQL, fără a sacrifica accesul prin cartografiere și reduceri. Cu Hive, puteți obține cele mai bune din ambele lumi: acces SQL la date structurate și analiză sofisticată a datelor mari cu MapReduce.

Spre deosebire de cele mai multe depozite de date, Hive nu este conceput pentru a răspunde rapid la întrebări. De fapt, interogările pot dura câteva minute sau chiar ore, în funcție de complexitate. Ca rezultat, Hive este cel mai bine folosit pentru extragerea de date și analize mai profunde, care nu necesită comportamente în timp real. Deoarece se bazează pe fundația Hadoop, este foarte extensibil, scalabil și rezistent, ceea ce nu este depozitul mediu de date.

Stategul folosește trei mecanisme pentru organizarea datelor:

  • Tabele: Tabelele de tip Hive sunt aceleași cu tabelele RDBMS constând din rânduri și coloane. Deoarece stupul este stratificat pe HDAD-ul Hadoop, tabelele sunt mapate directoarelor din sistemul de fisiere. În plus, Hive acceptă tabele stocate în alte sisteme de fișiere native.

  • Partiții: O masă Hive poate suporta una sau mai multe partiții. Aceste partiții sunt mapate la subdirectoarele din sistemul de fișiere care stau la baza și reprezintă distribuția de date în întregul tabel. De exemplu, dacă un tabel este denumit autos, cu o valoare cheie 12345 și o valoare a fabricantului Ford, calea către partiție ar fi / autos / kv = 12345 / Ford.

  • Cupe: La rândul lor, datele pot fi împărțite în găleți. Piesele sunt stocate ca fișiere în directorul de partiții din sistemul de fișiere de bază. Găleții se bazează pe rubrica hash a unei coloane din tabel. În exemplul precedent, este posibil să aveți o găleată numită Focus, care conține toate atributele unui Ford Focus auto.

Metadatele de tip Hive sunt stocate extern în "metastore. "Metastrul este o bază de date relațională care conține descrierile detaliate ale schemei Hive, inclusiv tipurile de coloane, proprietarii, datele cheie și valori, statisticile tabelei și așa mai departe. Metastoul este capabil să sincronizeze datele din catalog cu alte servicii de metadate în ecosistemul Hadoop.

Hive acceptă o limbă asemănătoare SQL numită HiveQL. HiveQL acceptă multe dintre primitivele SQL, cum ar fi selectarea, integrarea, agregarea, unirea tuturor și așa mai departe. De asemenea, acceptă interogări și inserturi multitabile prin împărtășirea datelor de intrare într-o singură instrucțiune HiveQL. HiveQL poate fi extins pentru a sprijini agregarea definită de utilizator, transformarea coloanei și scripturile MapReduce încorporate.

Mină Datele mari cu stupi

Alegerea editorilor

Administrator de rețea: Zone de căutare inversă - dummies

Administrator de rețea: Zone de căutare inversă - dummies

Interogări DNS obișnuite sunt interogări de căutare înainte corespunde unui nume de domeniu complet calificat. O căutare inversă este opusul unei căutări forward: returnează numele de domeniu complet calificat al unei gazde pe baza adresei sale IP. Căutările inverse sunt posibile din cauza unui domeniu special numit ...

Rețea Elemente de bază: Clienți și servere - manechine

Rețea Elemente de bază: Clienți și servere - manechine

Computerul de rețea care conține hard disk-urile, imprimantele și alte resurse care sunt partajate cu alte calculatoare de rețea se numește un server. Acest termen vine în repetate rânduri, deci trebuie să-l amintiți. Scrie-o pe spatele mâinii tale stângi. Orice computer care nu este un server este numit client. Aveți ...

Retea Bazele: Poduri - dummies

Retea Bazele: Poduri - dummies

O punte este un dispozitiv care conecteaza doua retele astfel incat sa actioneze ca si cum ar fi o rețea. Podurile sunt utilizate pentru a împărți o rețea mare în două rețele mai mici din motive de performanță. Vă puteți gândi la un pod ca pe un repetor inteligent. Repetoarele ascultă semnale care coboară pe un cablu de rețea, amplifică ...

Alegerea editorilor

ÎMprumuta și tweak idei de la alte comunități online - dummies

ÎMprumuta și tweak idei de la alte comunități online - dummies

, Mai degrabă decât să ia ideile altcuiva complet pentru dvs. comunitate online, încercați să riffați pe aceeași idee, dar nu atât de mult încât este evident că nu sunteți creierul din spatele brainstorming-ului. Idei sunt acolo pentru a lua, dar nu ar fi mai degrabă văzute ca cineva inovatoare, nu cineva care scours pe web ...

Branding Blogul tău

Branding Blogul tău

Branding blog-ul tău merge mult spre a face dacă este ușor de recunoscut pentru cititorii tăi. Când vedeți un punct roșu în interiorul unui cerc roșu, ce magazin vine în minte? Ce zici de acele arcuri de aur? Un nume de marcă apare în minte atunci când vedeți simbolul swoosh? La fel ca magazinele populare, restaurantele și încălțămintea ...

Construiți un Blog Mama care este Sellable - dummies

Construiți un Blog Mama care este Sellable - dummies

Dacă obiectivul pe termen lung este de a vinde blogul dvs. ar trebui să o construiască cu acest scop în minte. Evitați asocierea prea intensă a blogului cu marca dvs. personală. Un blog care poate fi valoros cu orice scriitor la cârma trebuie să îndeplinească majoritatea, dacă nu toate, următoarele criterii: Blogul este concentrat ...

Alegerea editorilor

Cum să creați o nouă campanie de anunțuri LinkedIn - dummies

Cum să creați o nouă campanie de anunțuri LinkedIn - dummies

LinkedIn oferă servicii de publicitate pentru afacerea dvs. Dacă vă decideți să utilizați LinkedIn ca instrument de marketing, va trebui doar să obțineți o nouă campanie de anunțuri în lucrări. Când sunteți gata să începeți o nouă campanie, urmați acești pași:

Opțiuni de filtrare pentru anunțul dvs. LinkedIn - manechine

Opțiuni de filtrare pentru anunțul dvs. LinkedIn - manechine

Ce opțiuni de filtrare aveți pentru anunțul dvs. LinkedIn? Alte rețele de publicitate vă permit să filtrați publicul vizat de câteva atribute cunoscute ale persoanei care vă va vedea anunțul, sexul și locația membrilor din public. LinkedIn vă permite să faceți un pas mai departe permițându-vă ...

Oferind și primind viziuni pe LinkedIn - manechine

Oferind și primind viziuni pe LinkedIn - manechine

Deși mulți oameni cred că "Nu este ceea ce știi, știi, "care este unul dintre principalele motive pentru care LinkedIn este atât de valoros, mulți oameni (recrutorii, angajații, directorii executivi, investitorii și altele) sunt foarte interesați de ceea ce știi. În mod logic, oamenii care vă cunosc cel mai bine sunt oamenii din rețeaua dvs., care ...