Spark Connect na Amazon EMR on EKS – development PySpark'a z dowolnego miejsca

Amazon wprowadza Spark Connect na EMR on EKS, co pozwala na interaktywne tworzenie i debugowanie aplikacji Spark bezpośrednio z VS Code, PyCharm, Jupyter czy SageMaker, podczas gdy ciężkie operacje krążą na istniejących klastrach EKS. To oznacza, że możesz pracować lokalnie jak zwykle, a Spark robi robotę na pełnej skali w chmurze.