Wat is verminder deur sleutel?
Wat is verminder deur sleutel?

Video: Wat is verminder deur sleutel?

Video: Wat is verminder deur sleutel?
Video: Wat kan ik zelf doen om hoofdpijn te verminderen 2024, November
Anonim

Spark RDD reduceByKey-funksie voeg die waardes vir elkeen saam sleutel met behulp van 'n assosiatief verminder funksie. Dit beteken intuïtief dat hierdie funksie dieselfde resultaat lewer wanneer dit herhaaldelik toegepas word op dieselfde stel RDD-data met veelvuldige partisies, ongeag element se volgorde.

Wat is dan die verskil tussen groupByKey en reduceByKey?

groupByKey () is net om jou datastel op grond van 'n sleutel te groepeer. verminderByKey () is iets soos groepering + samevoeging. verminderByKey kan gebruik word wanneer ons op groot datastel werk. aggregateByKey() is logies dieselfde as verminderByKey () maar dit laat jou resultaat terugstuur in anders tipe.

Weet ook, hoekom verminder aksie in vonk? Vonk verminder operasie is 'n aksie soort operasie en dit lei tot 'n volledige DAG-uitvoering vir alle opgelynde lui instruksies. Vonk RDD verminder funksie verminder die elemente van hierdie RDD met behulp van die gespesifiseerde kommutatiewe en assosiatiewe binêre operateur. Vonk verminder werking is amper soortgelyk aan verminder metode in Scala.

Behalwe hierbo, wat is Pairrdd?

Spark verskaf spesiale bewerkings op RDD's wat sleutel/waarde-pare bevat. Hierdie RDD's word paar RDD's genoem. Paar RDD's is 'n nuttige bousteen in baie programme, aangesien dit bedrywighede blootstel wat jou toelaat om op elke sleutel parallel op te tree of data oor die netwerk te hergroepeer. PaarRDD's is SLEUTEL/WAARDE pare.

Is reduceByKey 'n aksie?

reduce() voer 'n versameling uit wat nie by die gerigte asikliese grafiek (DAG) voeg nie, dus word geïmplementeer as 'n aksie . Maar verminderByKey () gee 'n RDD terug wat net nog 'n vlak/toestand in die DAG is, dus is 'n transformasie.

Aanbeveel: