Laplace 3B na AWS Trainium2: linear attention bez KV cache'a

i14 pokazuje, jak trenować i serwować model Laplace 3B z linear attention na AWS Trainium2 używając natywnego PyTorch'a. Fajne w tym rozwiązaniu jest to, że recurrent state zajmuje stały rozmiar 29,5 MB niezależnie od długości kontekstu – żaden rosnący KV cache jak w transformerach, więc pamięć serwowania jest przewidywalna.