tag: ETL

AWS Glue zyskał nowe możliwości dla REST API connectora: obsługę VPC, filter pushdown i partycjonowanie. Dzięki temu możesz bezpiecznie łączyć się z prywatnymi endpointami, przesyłać tylko potrzebne dane i równolegle czytać z wielu źródeł bez pisania kodu. Filter pushdown redukuje transfer danych, a partycjonowanie przyspiesza ingestion dużych zbiorów z paginowanych API.

AWS Glue Data Quality teraz potrafi wykrywać anomalie w danych za pomocą ML-owego forecasting, bez pisania reguł z konkretnymi progami. Fajne jest to, że wyniki ewaluacji (metryki, predykcje z confidence bounds) zapisują się bezpośrednio do AWS Glue Data Catalog jako tabelki, które możesz potem zapytać zwykłym SQL-em. Dla data engineerów monitorujących setki tabel to spory game changer, bo problemy będą się wyłapywać automatycznie.