AWS Glue Data Quality dostał anomaly detection i zapis wyników do katalogu
AWS Glue Data Quality teraz potrafi wykrywać anomalie w danych za pomocą ML-owego forecasting, bez pisania reguł z konkretnymi progami. Fajne jest to, że wyniki ewaluacji (metryki, predykcje z confidence bounds) zapisują się bezpośrednio do AWS Glue Data Catalog jako tabelki, które możesz potem zapytać zwykłym SQL-em. Dla data engineerów monitorujących setki tabel to spory game changer, bo problemy będą się wyłapywać automatycznie.