Amazon SageMaker HyperPod Inference wspiera NVIDIA Dynamo
Amazon SageMaker HyperPod Inference dodał wsparcie dla NVIDIA Dynamo, co ułatwia rozproszoną obsługę dużych modeli na wielu węzłach bez konieczności budowania własnej warstwy orkiestracji. Serwis oferuje multi-node serving, inteligentny routing z uwzględnieniem KV oraz automatyczne odzyskiwanie po awariach.
źródło: [aws/machine-learning-blog]