tag: Apache Iceberg

Amazon MSK Express brokers mogą teraz bezpośrednio dostarczać dane z Apache Kafka do tabel Apache Iceberg na Amazon S3 Tables. Nowa funkcja zmniejsza koszty ingestionu danych o 60 procent w stosunku do rozwiązań samodzielnie zarządzanych i obniża koszty zapytań o 30 procent. Inteligentna kompakcja eliminuje problem małych plików, a wbudowana koordynacja rozwiązuje konflikty między wieloma konsumentami. Obsługuje przepustowość do 10 GB/s bez dodatkowych kosztów infrastruktury.

Amazon S3 Tables teraz wspiera typ danych Variant ze specyfikacji Apache Iceberg V3, co pozwala wrzucać semi-strukturalne dane jak JSON bez definiowania schematu z góry. System automatycznie shreduje dane do ukrytych kolumn i generuje statystyki Parquet, dzięki czemu query engines mogą optymalizować skanowanie i przyspieszyć analizy. S3 Tables dba też o maintenance'a Variant kolumn, kompaktując małe pliki w większe, które Iceberg engines czyta bez problemu.