| Foto | Toode | Hind | Võimsus |
|---|
Mudeli võimsuse mõistmine
Mudeli võimsus viitab parameetrite arvule, mida AI-mudel sisaldab (nt 70B = 70 miljardit parameetrit). Suuremad mudelid vajavad üldiselt rohkem mälu ja arvutusvõimsust, kuid võivad pakkuda paremat arutlusvõimet ja väljundkvaliteeti.
Pretsioon (FP16 / FP8 / FP4) mõjutab seda, kui palju mälu antud mudeli võimsus vajab: madalama täpsusega formaadid vähendavad mäluvajadust umbes poole võrra iga sammu järel (FP16 → FP8 → FP4), kuid see mõjutab väljundi täpsust.
| Mudeli suurus | Tavaline mälu (FP16) | Tavaline mälu (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |