Wdrażamy modele decyzyjne z llama.cpp na Amazon SageMaker AI

Artykuł pokazuje, jak postawić decision models z llama.cpp na AWS, serwując OpenAI-compatible chat completions przez Deep Learning Container. Dodatkowo dowiesz się, jak rozszerzyć runtime o SemIf, żeby wyciągać probabilistyczne wyniki dla zdefiniowanych opcji na CPU lub GPU.