Video: Wat is vonkuitsending?
2024 Outeur: Lynn Donovan | [email protected]. Laas verander: 2023-12-15 23:42
Uitsaai veranderlikes in Apache Vonk is 'n meganisme vir die deel van veranderlikes oor eksekuteurs wat bedoel is om leesalleen te wees. Sonder uitsaai veranderlikes hierdie veranderlikes sal na elke eksekuteur gestuur word vir elke transformasie en aksie, en dit kan netwerkbokoste veroorsaak.
Net so, vra mense, wanneer moet ek vonk uitsaai?
Uitsaai veranderlikes word meestal gebruik wanneer die take oor verskeie stadiums dieselfde data vereis of wanneer die kas van die data in die gedeserialiseerde vorm vereis word. Uitsaai veranderlikes word geskep met behulp van 'n veranderlike v deur SparkContext te roep.
Ook, wat is akkumulators en uitsaaiveranderlikes in vonk? Vonk ondersteun twee tipes gedeelde veranderlikes : uitsaai veranderlikes , wat gebruik kan word om 'n waarde in die geheue op alle nodusse te kas, en akkumulators , watter is veranderlikes wat net bygetel word, soos tellers en somme.
As u dit in ag neem, wat is vonkakkumulator?
Akkumulators is veranderlikes wat slegs deur 'n assosiatiewe operasie "toegevoeg" word en dus doeltreffend in parallel ondersteun kan word. Hulle kan gebruik word om tellers (soos in MapReduce) of somme te implementeer. Vonk native ondersteun akkumulators van numeriese tipes, en programmeerders kan ondersteuning vir nuwe tipes byvoeg.
Hoe werk ek my uitsaaiveranderlike in vonk op?
- Skuif die verwysingsdata-opsoek na 'n forEachPartition of forEachRdd sodat dit geheel en al op die werkers woon.
- Herbegin die Spark Context elke keer as die refdata verander, met 'n nuwe Broadcast Variable.
Aanbeveel:
Wat is die indeks wat vir veelvuldige velde in MongoDB gebruik word?
Saamgestelde indekse
Wat is die eenheid wat gebruik word om die spoed van data-oordrag te meet?
Die spoed waarmee data van een toestel na 'n ander oorgedra kan word. Datakoerse word dikwels gemeet in megabis (miljoen bisse) of megagrepe (miljoen grepe) per sekonde. Dit word gewoonlik onderskeidelik afgekort as Mbps en MBps. Nog 'n term vir data-oordrag is deurvloei
Wat is 'n tydvertragingsaflos wat 'n RC-tydkringbaan gebruik?
Nuwer ontwerpe van tydvertragingsrelais gebruik elektroniese stroombane met resistor-kapasitor (RC) netwerke om 'n tydvertraging te genereer, en aktiveer dan 'n normale (oombliklike) elektromeganiese aflosspoel met die elektroniese stroombaan se uitset
Wat is 'n voorbeeld wat toon dat 'n vermoede onwaar is?
Om te wys dat 'n vermoede onwaar is, moet jy net een voorbeeld vind waarin die vermoede nie waar is nie. Hierdie geval word 'n teenvoorbeeld genoem. Om te wys dat 'n vermoede altyd waar is, moet jy dit bewys. 'n Teenvoorbeeld kan 'n tekening, 'n stelling of getal wees
Wat is 'n skriftaal wat gebruik word om Java-toepassings te bou?
Jacl: Die Tcl Java-implementering. Jython: Die Python Java-implementering. Rhino: Die JavaScript Java-implementering. BeanShell: 'n Java-brontolk wat in Java geskryf is