AI-maskinvarebutikk
Bla gjennom mini-PC-er, NAS, arbeidsstasjoner, servere og edge AI-maskinvare — hvert system kan leveres med installasjonstjeneste og programvareinnovasjon fra ⏻ On Intelligence.
| Bilde | Produkt | Pris | Kapasitet |
|---|
Forståelse av modelkapasitet
Modelkapasitet refererer til antall parametere en AI-modell inneholder (f.eks. 70B = 70 milliarder parametere). Større modeller krever generelt mer minne og regnekraft, men kan tilby bedre resonnering og utdatakvalitet.
Presisjon (FP16 / FP8 / FP4) påvirker hvor mye minne en gitt modelkapasitet krever: lavere presisjonsformater halverer omtrent minnekravet per trinn ned (FP16 → FP8 → FP4), på bekostning av utdatapresisjon.
| Modellstørrelse | Typisk minne (FP16) | Typisk minne (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |