AWS Glue zyskał nowe możliwości dla REST API connectora: obsługę VPC, filter pushdown i partycjonowanie. Dzięki temu możesz bezpiecznie łączyć się z prywatnymi endpointami, przesyłać tylko potrzebne dane i równolegle czytać z wielu źródeł bez pisania kodu. Filter pushdown redukuje transfer danych, a partycjonowanie przyspiesza ingestion dużych zbiorów z paginowanych API.
AWS Glue Data Quality teraz potrafi wykrywać anomalie w danych za pomocą ML-owego forecasting, bez pisania reguł z konkretnymi progami. Fajne jest to, że wyniki ewaluacji (metryki, predykcje z confidence bounds) zapisują się bezpośrednio do AWS Glue Data Catalog jako tabelki, które możesz potem zapytać zwykłym SQL-em. Dla data engineerów monitorujących setki tabel to spory game changer, bo problemy będą się wyłapywać automatycznie.
AWS Glue Data Quality zyskał świeży Distribution Analyzer, który generuje histogramy dla kolumn numerycznych i rozkłady wartości dla danych kategorycznych, dat i booleanów. Dzięki temu możesz łatwo wyłapać skośność, outliers i dziwne wzorce w danych bez pisania custom kodu. Nowa funkcja integruje się bezpośrednio z istniejącymi regułami DQDL i zapisuje statystyki w S3, skąd możesz je queryować przez Athenę czy wizualizować w SageMaker Unified Studio.