AWS Glue Data Quality trafia natywnie na Amazon EMR
AWS Glue Data Quality jest teraz dostępny bezpośrednio w Amazon EMR (od wersji emr-spark-8.1.0), co pozwala pisać te same reguły DQDL w jobach Spark'a, które znasz z Glue'a. Artykuł pokazuje dwa praktyczne podejścia: lekką inline'ową walidację oraz workflow Write-Audit-Publish z Apache Iceberg i zarządzanymi ruleset'ami.
źródło: [aws/big-data-blog]