Trenowanie Qwen3 na AWS Trainium z torchtitan
Artykuł pokazuje, jak trenować model Qwen3 na instancji AWS Trainium (trn2.48xlarge) używając torchtitan na trzy różne sposoby: przez Hugging Face Transformers v5, natywny backend torchtitan i kernele NKI mixture-of-experts. Wszystkie podejścia działają z tym samym launcher'em torchrun i konfiguracją, co ułatwia pracę z modelami i safetensors'ami z HF.
źródło: [aws/machine-learning-blog]