Video: Principiile De Baza Ale Fizicii 4K 2024
Când vine vorba de Sqoop, o imagine este adesea în valoare de o mie cuvintele, așa că verificați cifra, care vă oferă o vedere a ochilor asupra arhitecturii Sqoop.
Ideea din spatele Sqoop este că utilizează sarcini hartă - sarcini care efectuează importul și exportul paralel al tabelelor de baze de date relaționale - chiar din interiorul cadrului Hadoop MapReduce. Aceasta este o veste bună, deoarece cadrul MapReduce oferă toleranță la erori pentru lucrările de import și export împreună cu procesarea paralelă!
Veți aprecia toleranța la erori în cazul în care există o eroare în timpul importului sau exportului de tabele mari deoarece cadrul MapReduce va reveni fără a vă cere să începeți din nou procesul.
Sqoop poate importa date către Hive și HBase. Rețineți, totuși, că săgețile pentru Hive și pentru HBase indică doar o singură direcție. Datele stocate în orice bază de date relațională cu suport JDBC pot fi importate direct în sistemele Hive sau HBase cu Sqoop. Exporturile, totuși, sunt efectuate din datele stocate în HDFS.
Prin urmare, dacă trebuie să exportați tabelele Hive, indicați Sqoop în directoarele HDFS care stochează tabelele dvs. Hive. Dacă aveți nevoie să exportați tabelele HBase, mai întâi trebuie să le exportați în HDFS și apoi să executați comanda de export Sqoop.