tag: Apache Spark

Amazon pokazuje, jak skonfigurować agenta do debugowania failowanych jobów na Amazon EMR on EKS, wykorzystując AI assistant ze wsparciem dla Model Context Protocol. Artykuł prowadzi przez praktyczny workflow zarówno z poziomu konsoli EMR, jak i narzędzi AI zintegrowanych z zewnętrznymi toolami.

Przetwarzanie zaszyfrowanych danych w S3 za pomocą Amazon EMR i Apache Spark może mocno podnieść rachunki za API KMS decrypt. Artykuł pokazuje trzy praktyczne sposoby na obniżenie kosztów: optymalizację formatów plików (w tym Apache Iceberg), agregację danych i wykorzystanie partition indexes z AWS Glue Data Catalog.

Amazon EMR Serverless dostał wsparcie dla potężniejszych workerów (32 vCPU / 244 GB), które na testach TPC-DS i TPC-H pokazały średnio 29% przyspieszenie i 29% obniżkę kosztów. Największe zyski widać na zapytaniach z dużymi shuffle'ami i multi-table joinami – czyli dokładnie tam, gdzie tradycyjnie boli.

AWS pokazuje, jak zautomatyzować upgrade Apache Sparka z wersji 3.x na 4.0 na EMR-ze, obsługując deprecjacje API, zmiany zachowania i aktualizacje konfiguracji buildu. To rozwiązanie zamienia miesiące ręcznej roboty w kilka godzin, a dodatkowo waliduje zadania, żeby nic się nie wysypało.