基於個人好奇,挑了我列在 VPS Referrals 頁面的供應商建立機器,用 LLM:Benchmark 作點測試…
Akamai Cloud (原 Linode) 在東亞區可以用 NVIDIA Quadro RTX 6000 與 NVIDIA RTX 4000 Ada。
- Quadro RTX 6000 選用新加坡 (ap-south) 的 Dedicated 128 GB + RTX6000 GPU x4 方案,US$ 6.00/hr
- RTX 4000 Ada 選用大阪 (jp-osa) 的 RTX4000 Ada x4 Medium 方案,US$ 3.57/hr
Vultr 列出許多 GPU 的選擇,但高階的方案目前都還不能選。我選用東京的 2 x NVIDIA A100 PCIe 方案,US$ 4.795/hr,價格與其他受測方案差不多。
DigitalOean 的 GPU 方案目前都在美洲區,我選用多倫多的 1 x NVIDIA H100 方案,US$ 3.39/hr。
先表列測試結果 (數值單位是 tokens/s),內詳附圖…
phi4:14b | deepseek-r1:14b | deepseek-r1:32b | |
RTX4000 Ada x4 Medium 方案 | 34.70 | 34.04 | 15.83 |
RTX6000 GPU x4 方案 | 46.04 | 43.14 | 22.99 |
2 x NVIDIA A100 PCIe 方案 | 69.89 | 57.62 | 34.54 |
1 x NVIDIA H100 方案 | 120.40 | 102.00 | 61.10 |
Akamai Cloud (原 Linode) 的 RTX4000 Ada x4 Medium 方案
Linode / Akamai Cloud 的 Dedicated 128 GB + RTX6000 GPU x4 方案
Vultr 的 2 x NVIDIA A100 PCIe 方案
DigitalOean 的 1 x NVIDIA H100 方案