GPT-6 Astra z trybem UltraFast na Amazon Bedrock
AWS udostępnił UltraFast mode dla GPT-6 Astra na platformie Amazon Bedrock – premium'owy tier szybkości, który daje do 6x szybszą inferencję i aż 300 tokenów na sekundę. To rozwiązanie sprawdzi się w aplikacjach wymagających niskich opóźnień, takich jak asystenci kodowania w real-time czy interaktywni agenci.
źródło: [aws/whats-new]