Wat is Emrfs?
Wat is Emrfs?

Video: Wat is Emrfs?

Video: Wat is Emrfs?
Video: AWS re:Invent 2022 - Migrating to Amazon EMR to reduce costs and simplify operations (ANT337) 2024, Mei
Anonim

Die EMR-lêerstelsel ( EMRFS ) is 'n implementering van HDFS wat alle Amazon EMR-klusters gebruik om gereelde lêers van Amazon EMR direk na Amazon S3 te lees en te skryf. Data-enkripsie laat jou toe om voorwerpe wat EMRFS skryf aan Amazon S3, en aktiveer EMRFS om met geënkripteerde voorwerpe in Amazon S3 te werk.

Wat is Emrf se konsekwente siening hieroor?

Die EMRFS konsekwente siening skep en gebruik metadata in 'n Amazon DynamoDB-tabel om 'n konsekwente siening van jou S3-voorwerpe. Hierdie tabel volg sekere bewerkings, maar hou nie enige van jou data nie.

wat is die verskil tussen s3 en s3a? Dit is die verskil tussen die drie: s3 is 'n blok-gebaseerde oorleg bo-op Amazon S3 , terwyl s3n/ s3a is nie. Hierdie is objekgebaseer. s3n ondersteun voorwerpe tot 5 GB wanneer die grootte die probleem is, terwyl s3a ondersteun voorwerpe tot 5TB en het hoër werkverrigting.

Gebruik EMR dus HDFS?

EMR Lêerstelsel (EMRFS) Jy kan gebruik óf HDFS of Amazon S3 as die lêerstelsel in jou groepering. Meestal, Amazon S3 is gebruik om inset- en uitvoerdata te stoor en tussenresultate word in gestoor HDFS.

Wat is s3a?

S3A (URI-skema: s3a )’n Opvolger van die S3 Inheems, s3n fs, die S3a : stelsel gebruik Amazon se biblioteke om mee te kommunikeer S3 . Dit laat toe S3a om groter lêers te ondersteun (nie meer 5GB limiet), hoër werkverrigting bedrywighede en meer.

Aanbeveel: