INHOUDSOPGAWE:

Hoe begin ek my vonkgeskiedenisbediener?
Hoe begin ek my vonkgeskiedenisbediener?

Video: Hoe begin ek my vonkgeskiedenisbediener?

Video: Hoe begin ek my vonkgeskiedenisbediener?
Video: Introduction to Spark History Server and how to keep it running 2024, Mei
Anonim

Om die Spark-geskiedenisbediener te aktiveer:

  1. Skep 'n gids vir gebeurtenislogboeke in die DSEFS-lêerstelsel: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Wanneer gebeurtenisregistrasie geaktiveer is, is die verstekgedrag dat alle logboeke gestoor word, wat veroorsaak dat die berging mettertyd groei.

Benewens dit, hoe stel ek 'n vonkgeskiedenisbediener op?

Om die Spark-geskiedenisbediener te aktiveer:

  1. Skep 'n gids vir gebeurtenislogboeke in die DSEFS-lêerstelsel: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Wanneer gebeurtenisregistrasie geaktiveer is, is die verstekgedrag dat alle logboeke gestoor word, wat veroorsaak dat die berging mettertyd groei.

Net so, hoe vind ek my vonkgeskiedenisbediener-URL? Bv. vir die geskiedenis bediener , sal hulle tipies toeganklik wees by bediener - url >:18080/api/v1, en vir 'n lopende toepassing, by https://localhost:4040/api/v1. In die API word na 'n toepassing verwys deur sy toepassing-ID, [app-id].

Net so, wat is vonkgeskiedenisbediener?

Die Spark geskiedenis bediener is 'n moniteringsinstrument wat inligting oor voltooide vertoon Vonk toepassings. Hierdie inligting is getrek uit die data wat toepassings by verstek skryf na 'n gids op Hadoop Distributed File System (HDFS).

Wat is Sparkui?

Die Spark Web UI stel jou in staat om 'n lys van skeduleerder stadiums en take, omgewingsinligting, inligting oor die lopende eksekuteurs en meer te sien. Kyk na hierdie 30 minute demonstrasie om meer te wete te kom oor: Komponente en lewensiklus van 'n Spark-program. Hoe jou Spark-toepassing op 'n Hadoop-groep werk.

Aanbeveel: