PySpark UDFy na AWS Glue 6.0: porównanie wydajności Arrow vs Python

Artykuł porównuje pięć podejść do optymalizacji funkcji UDF w PySpark na AWS Glue 6.0, od standardowego Pythona po natywne Arrow UDFy, testując je na zbiorach od 10M do 100M wierszy. Znajdziesz tu konkretne benchmarki pokazujące, jak Arrow i wektoryzacja pandas wpływają na prędkość, oraz rozdzielenie kosztów transportu danych od czystych obliczeń.