Wat is uitsaaivonk?
Wat is uitsaaivonk?

Video: Wat is uitsaaivonk?

Video: Wat is uitsaaivonk?
Video: Spark Exhaust Review by Reactive Parts 2024, Mei
Anonim

Uitsaai veranderlikes in Apache Vonk is 'n meganisme vir die deel van veranderlikes oor eksekuteurs wat bedoel is om leesalleen te wees. Sonder uitsaai veranderlikes hierdie veranderlikes sal na elke eksekuteur gestuur word vir elke transformasie en aksie, en dit kan netwerkbokoste veroorsaak.

Ook om te weet is, wanneer moet ek vonk uitsaai?

Uitsaai veranderlikes word meestal gebruik wanneer die take oor verskeie stadiums dieselfde data vereis of wanneer die kas van die data in die gedeserialiseerde vorm vereis word. Uitsaai veranderlikes word geskep met behulp van 'n veranderlike v deur SparkContext te roep.

Mens kan ook vra, hoe definieer akkumulator vonk? Akkumulators is veranderlikes wat slegs deur 'n assosiatiewe operasie "toegevoeg" word en dus doeltreffend in parallel ondersteun kan word. Hulle kan gebruik word om tellers (soos in MapReduce) of somme te implementeer. Vonk native ondersteun akkumulators van numeriese tipes, en programmeerders kan ondersteuning vir nuwe tipes byvoeg.

Ook, wat is gedeelde veranderlike in vonk?

Gedeelde veranderlikes is die veranderlikes wat vereis word om deur baie funksies en metodes in parallel gebruik te word. Gedeelde veranderlikes kan in parallelle bewerkings gebruik word. Vonk skei die werk in die kleinste moontlike operasie, 'n sluiting, wat op verskillende nodusse loop en elkeen het 'n kopie van al die veranderlikes van die Vonk werk.

Kan ons 'n DataFrame uitsaai?

Vonk kan “ uitsaai n klein Dataraam deur al die data in daardie klein te stuur Dataraam na alle nodusse in die groep. Na die klein Dataraam is uitgesaai , Vonk kan voer 'n aansluiting uit sonder om enige van die data in die groot te skommel Dataraam.

Aanbeveel: