bartek@aws: ~/news
$ whoami
$ AWS Architect · DevOps · Cloud
wtorek, 17 listopada 2026

Amazon SageMaker AI wspiera inteligentne routowanie KV cache

Amazon SageMaker AI real-time endpoints zyskał nową funkcję - routing świadomy KV cache, który kieruje każde zapytanie do instancji z najdłuższym dopasowanym cache'em promptu. W artykule dowiesz się, jak to działa, kiedy go używać zamiast prefix-aware routingu i jak go włączyć na endpointach.

źródło: [aws/machine-learning-blog]