Date Extracție, mișcare și încărcare pentru depozitul de date Deluxe - dummies

Implementările de depozit de date sunt mari - și tot mai mari. Implementările care folosesc sute de gigaocteți (un gigabyte este egală cu 1 miliard de octeți) și chiar terabiți (1 trilion de octeți) devin tot mai frecvente. Pentru a gestiona acest volum de date și acces la utilizatori, aveți nevoie de un server și o bază de date foarte robustă.

Pregătește-te pentru provocare! Cu un depozit de date, puteți gestiona, de regulă, mișcarea de date sursă-depozitare într-o manieră simplă, de joasă tehnologie - dar cu depozitul de date deluxe, intrați acum în zona de dificultate, unde multe proiecte de depozitare a datelor se întâlnesc Waterloo.

Este posibil să întâmpinați dificultăți în acest domeniu din mai multe motive:

• Aveți în vedere multe surse diferite de date, dintre care unele ar putea conține date suprapuse. De exemplu, informațiile furnizorilor ar putea proveni din două sisteme de achiziții diferite, iar unii dintre furnizorii dvs. au înregistrări în ambele sisteme.

  Probabil că veți rula în diferite seturi de identificatori pe care trebuie să le convergeți (de exemplu, șase caractere alfanumerice care sunt identificate ca SUPPLIER_ID într-unul dintre sisteme și un întreg unic cunoscut ca SUP_NUM în celălalt).

• Ferestre de lot , rapoartele de timp în care se fac actualizări în depozit sunt complicate de numărul de surse de date pe care trebuie să le gestionați. Șansele de a avea un proces de extragere, de mișcare, de transformare și de încărcare sunt în mod exponențial legate de numărul de elemente de date care trebuie încărcate în depozitul de date.

• n

  elemente pe care doriți să le includeți în depozitul de date cu un factor de dificultate de x. Dacă acum aveți 2 n elemente de date, factorul de dificultate nu este 2 x; mai degrabă, este x pătrat. Pentru a face acest factor de dificultate mai ușor de înțeles, atribuiți unele numere la n

  și x. Spuneți că depozitul de date are 100 de elemente (n) și factorul de dificultate (x) este 5. Dacă dublați numărul elementelor n > = 200), factorul dvs. de dificultate este de 25 (5 pătrat), nu de 10 (5 x 2). Procesul de a trata cu atât de multe surse de date, toate îndreptate spre un singur loc (depozitul de date deluxe), au toate elementele prea multor bucătari în bucătărie sau tot ce este vorba. Pentru a face procesul de extracție, mișcare, transformare și încărcare să meargă fără probleme, este posibil să aveți de-a face cu mulți proprietari de aplicații, deținători oficiali ai bazei de date și cu alți oameni dintr-o varietate de organizații diferite, cooperează ca și cum ar face parte dintr-o orchestră simfonică profesională. Realitatea este însă că ei se comportă mai mult ca un grup de elevi de grădiniță care aleg câte un instrument muzical din coșul de jucărie și li se spune: "Acum jucați ceva! "Deși procesul nu este în mod necesar condamnat la eșec, așteptați un număr de iterații până când puteți obține depozitul de date deluxe încărcate doar corect.

• Un depozit de date deluxe poate avea trei niveluri (cum ar fi un depozit de date lite), cu excepția mai multor surse de date și probabil mai mult de un tip de instrument de utilizator care accesează depozitul. Dar arhitectura pentru un depozit de date deluxe probabil pare mai mult ca ceea ce este arătat în această figură, cu multe puncte de colectare diferite pentru date.

  În plus față de alte stații de cale necesare pentru mediul dvs. particular, mediul dvs. poate avea aceste elemente:

  Data mart:

primește subseturi de informații din depozitul de date deluxe și servește drept punct de acces principal pentru utilizatori.

Stație de transformare intermediară:

• O zonă în care seturile de date extrase din unele surse suferă un anumit tip de proces de transformare înainte de a se deplasa în jos pe conducta spre baza de date a depozitului. Stație de asigurare a calității:

• O zonă în care grupurile de date sunt supuse unor controale intensive de asigurare a calității înainte de a le permite să se mute în depozitul de date.