SynapseAI v1.18.0
The codebase is validated with SynapseAI 1.18.0 and optimum-habana 1.14.1.
Tested models and configurations
| Model | BF16 | FP8 | ||
|---|---|---|---|---|
| Single Card | Multi-Card | Single Card | Multi-Card | |
| Llama2-7B | ✔ | ✔ | ✔ | ✔ |
| Llama2-70B | ✔ | ✔ | ||
| Llama3-8B | ✔ | ✔ | ✔ | ✔ |
| Llama3-70B | ✔ | ✔ | ||
| Llama3.1-8B | ✔ | ✔ | ✔ | ✔ |
| Llama3.1-70B | ✔ | ✔ | ||
| CodeLlama-13B | ✔ | ✔ | ✔ | ✔ |
| Mixtral-8x7B | ✔ | ✔ | ✔ | ✔ |
| Mistral-7B | ✔ | ✔ | ✔ | ✔ |
| Falcon-180B | ✔ | ✔ | ||
| Qwen2-72B | ✔ | ✔ | ||
| Starcoder2-3b | ✔ | ✔ | ✔ | |
| Starcoder2-15b | ✔ | ✔ | ✔ | |
| Starcoder | ✔ | ✔ | ✔ | ✔ |
| Gemma-7b | ✔ | ✔ | ✔ | ✔ |
| Llava-v1.6-Mistral-7B | ✔ | ✔ | ✔ | ✔ |
Full Changelog: v2.0.5...v2.0.6