INHOUDSOPGAWE:

Hoe skeduleer ek 'n korfwerk in oozie?
Hoe skeduleer ek 'n korfwerk in oozie?

Video: Hoe skeduleer ek 'n korfwerk in oozie?

Video: Hoe skeduleer ek 'n korfwerk in oozie?
Video: Automatische kalender-shift planner in Excel 2024, Mei
Anonim

Om skeduleer Hive werk gebruik Oozie , moet jy 'n skryf Korf -aksie.

hql) daarin.

  1. Skep 'n gids in HDFS deur onder opdrag af te vuur.
  2. hadoop fs -mkdir -p /user/ oosie /werkstrome/
  3. Plaas werkvloei. xml, Korf script (create_table. hql) en korf -werf. xml in die gids wat in stap 2 geskep is. Jy kan die onderstaande opdrag gebruik.

Net so, hoe laat ek Hive script in oozie loop?

Begin Hive Jobs met Oozie

  1. Spesifiseer die korf-plek. xml in die job-xml parameter.
  2. Spesifiseer die naam van die script (byvoorbeeld script. q) wat die korf-navraag in die script-parameter bevat.
  3. Voeg opsioneel eienskappe by wat deur die Oozie-lanseerderwerk gebruik word. Voeg die voorvoegsel oozie by. lanseerder na die eiendomsname.

Verder, hoe hardloop ek oozie-werkvloei? Loop Oozie Workflow vanaf Command Line

  1. Meld aan by Webkonsole.
  2. Kopieer oozie-voorbeelde na jou tuisgids in die webkonsole: cp /usr/hdp/current/oozie-client/doc/oozie-examples. teer. gz.
  3. Onttrek lêers van tar tar -zxvf oozie-examples.tar.gz.
  4. Kopieer die voorbeeldgids na HDFS hadoop fs -copyFromLocal voorbeelde.

In hierdie verband, hoe skeduleer ek 'n Hadoop-werk?

Hoe om werksgeleenthede te skeduleer in hadoop - Quora. Die eenvoudigste manier is om jou kode in 'n dopskrif en skedule dit as 'n cron werk op die randknoop (die nodus waar jy gewoonlik jou werksgeleenthede ). Maar gewoonlik pak die kode in 'n skrip en laat dit as 'n werk is moeilik om te ontfout. toets en onderhou.

Wat is oozie-werkvloei?

Oozie is 'n werkvloei skeduleerderstelsel om Apache Hadoop-take te bestuur. Oozie Workflow werksgeleenthede is gerigte asikliese grafieke (DAG's) van aksies. Oozie Koördineerder poste is herhalend Oozie Workflow werksgeleenthede veroorsaak deur tyd (frekwensie) en data beskikbaarheid. Oozie is 'n skaalbare, betroubare en uitbreidbare stelsel.

Aanbeveel: