benchmarking

4 月 17 2025

幾間 VPS 供應商 ( Linode, DigitalOcean, Vultr ) 的 GPU 方案測試

基於個人好奇，挑了我列在 VPS Referrals 頁面的供應商建立機器，用 LLM:Benchmark 作點測試…

Akamai Cloud (原 Linode) 在東亞區可以用 NVIDIA Quadro RTX 6000 與 NVIDIA RTX 4000 Ada。

  • Quadro RTX 6000 選用新加坡 (ap-south) 的 Dedicated 128 GB + RTX6000 GPU x4 方案，US$ 6.00/hr
  • RTX 4000 Ada 選用大阪 (jp-osa) 的 RTX4000 Ada x4 Medium 方案，US$ 3.57/hr

Vultr 列出許多 GPU 的選擇，但高階的方案目前都還不能選。我選用東京的 2 x NVIDIA A100 PCIe 方案，US$ 4.795/hr，價格與其他受測方案差不多。

DigitalOean 的 GPU 方案目前都在美洲區，我選用多倫多的 1 x NVIDIA H100 方案，US$ 3.39/hr。

先表列測試結果 (數值單位是 tokens/s)，內詳附圖…

phi4:14bdeepseek-r1:14bdeepseek-r1:32b
RTX4000 Ada x4 Medium 方案34.7034.0415.83
RTX6000 GPU x4 方案46.0443.1422.99
2 x NVIDIA A100 PCIe 方案69.8957.6234.54
1 x NVIDIA H100 方案120.40102.0061.10
More

By • 0 • Tags: , , , , , , , , , ,

6 月 3 2024

Raspberry Pi 5 的 PCIe ( Gen2 vs Gen3 )

我之前測完 Raspberry Pi 5 的 PCIe 之後，便丟了些東西讓它跑，順便觀察其在室溫的運作狀況。

搭配 Argon NEO 5 M.2 NVME PCIE Case for Raspberry Pi 5 的運作狀況： CPU 均溫約攝氏 60 度 (風扇轉速約 3500 RPM，挺安靜）、Intel 760p SSD 約攝氏 30 度。

但我發現其 PCIe 規格是可以用 Gen3 運作的，便又好奇測試看看。

預設的模式是 Gen2 （LnkCap 是其匯流排能力，LnkSta 是目前運作的匯流排模式）：

用 fio 測試循序讀取，iops 約 97.9k，傳輸約 383MB/s。

改用 PCIe Gen3：

用 fio 測試循序讀取，iops 約 141k，傳輸約 551MB/s。

與 Gen2 相比，大約是 50% 的性能提昇；但隨機讀寫的效能提昇幅度不大，Gen3 的 iops 約 54.5k，傳輸約 213MB/s。

我曾讓它改用 PCIe Gen3，但擺著不到一天，它就失聯了…
最後乖乖改回來…

By • 0 • Tags: , , , , , ,

5 月 22 2024

測試 Raspberry Pi 5 的 PCIe

之前測過 Raspberry Pi 4B 的儲存裝置 (測試紀錄)，但對結果不甚滿意，而且… 我發現 USB boot 不算好搞（它常常失靈）。看到 Raspberry Pi 5 內建 PCIe 插槽真的讓我躍躍欲試，自它面世後，偶爾心血來潮就會找一下 Raspberry Pi 5 的 PCIe <-> NVMe 相關套件；前陣子看到 Argon NEO 5 M.2 NVME PCIE Case for Raspberry Pi 5 實測影片，決定買來玩玩…

Argon NEO 5 M.2 NVME PCIE Case for Raspberry Pi 5 分拆後的結構如下圖，裡面附了兩條 PCIe 排線（其中一條算是備品）、兩塊晶片導熱片，M.2 NVMe 安裝處還有另外一片導熱片。

搭配一起作測試的是 SSD 是 Intel 760p，合照如下：

目前 Raspberry Pi 5 預設出廠的 EEPROM 沒讓 NVMe 參與開機，要刷韌體；我選擇用官方工具刷。

相關資訊：

測試一樣是用 fio ，只是把 size 擴增（原本的參數幾乎是瞬間就完成了）：

-iodepth=128 -ioengine=libaio -bs=4k \
--runtime=300 --size=10G \
--direct=1 --rw=randrw

結果：iops 約 47.4k，傳輸約 185MB/s。

感覺可以放一些東西進去讓它跑，然後插一張高耐寫的 MicroSD 作備份…

By • 1 • Tags: , , , , , , , ,

6 月 5 2023

在 NAS 測試 SATA SSD

自己在家裡用的 NAS 能跑 VM（透過 QEMU），也能跑 Docker 容器，所以自己的一些玩具機便被我丟進 NAS 裡。

NAS 裡面的 VM、容器運作的挺穩定，但 Disk I/O 效能遠不能跟 VPS 相比；某天突然想試試在 NAS 放 SSD，便買了這兩個東西來用…

放進 NAS 之後，用 fio 簡單作測試，參數：

-iodepth=128 -ioengine=libaio -bs=4k \
--runtime=300 --size=500M \
--direct=1 --rw=randrw

測試結果如下：

SATA HDDSATA SSD
NAS Read IOPS: 2117 B/W: 8472KB/s
Write IOPS: 2107 B/W: 8429KB/s
 Read IOPS: 12.7k B/W: 49.6MB/s
Write IOPS: 12.6k B/W: 49.3MB/s
VM Read IOPS: 1106 B/W: 4426KB/s
Write IOPS: 1100 B/W: 4404KB/s
 Read IOPS: 7266k B/W: 28.4MB/s
Write IOPS: 7229k B/W: 28.2MB/s
容器 Read IOPS: 1972 B/W: 7891KB/s
Write IOPS: 1962 B/W: 7851KB/s
 Read IOPS: 10.0k B/W: 41.1MB/s
Write IOPS: 9972 B/W: 39.0MB/s

By • 0 • Tags: , , , , ,

12 月 7 2020

測試 Raspberry Pi 4 的 MySQL server

之前測過 Raspberry Pi 4 可用的 storage devices ；讓我選擇的話，不在 Raspberry Pi 4 透過 USB 3 裝 SSD，大概就是 MicroSD card 。

fio 只能測試 file I/O，而 sysbench 可以測試 CPU 跟 memory，甚至還能測試 DBMS 效能。

測試基準作業系統都是 Ubuntu 20.10，安裝 MySQL 8，使用的工具是 sysbench ，用 oltp_read_write 作測試。（Percona 尚未提供 groovy 的 repository，就先不用 sysbench-tpcc 作測試了…）

裝機之後簡單執行這幾行指令：

# mysql -e "CREATE DATABASE sbtest;"
# sysbench oltp_read_write --mysql-user=root prepare
# sysbench oltp_read_write --mysql-user=root run

Intel SSD 760p 搭配 NVMe-to-USB3 轉接器，fio 測得結果是 iops 約 11k，傳輸約 42MB/s 。

SanDisk Extreme Pro MicroSD card，fio 測得結果是 iops 約 390，傳輸約 1560KB/s 。

對照組，這是在 DigitalOcean 開 US$ 10/mo 的 VPS （1 vCPU & 2GB RAM）作測試。
（看 /proc/cpuinfo 是 Intel(R) Xeon(R) CPU E5-2630L 0 @ 2.30GHz ，bogomips 約 4k）

有想要放網站的話，選用 VPS 還是會比較好… 至少，被攻擊的時候不會塞滿自己的頻寬。
有興趣玩 VPS 的可以參考這裡呀… XD

By • , 0 • Tags: , , , , ,

11 月 29 2020

測試 Raspberry Pi 4 可用的 storage devices

數年前我開始玩 Raspberry Pi ，第一款入手的是 Raspberry Pi 2 model B；原先的想法是在家弄個微型 Linux server，運氣好的話還能裝 desktop 版，接上電視當 Thin client。
但這個版本 CPU 速度不快，記憶體不大，MicroSD 的 file I/O 也不算快，我裝起來玩沒幾個月就撤下來了… XD

之後我在看到 Orange Pi 的 benchmarking 文章，感覺內建的 EMMC 速度不錯，就買了一台 Orange Pi Plus 2 來玩。
也是玩沒幾個月，發現 Orange Pi 的生態系不太完整，而且 Orange Pi Plus 2 的 CPU 發熱量頗高，非得搞個風扇才能讓它保持清醒（風扇還要定時更換），便又把它撤下來了…

Raspberry Pi 4 大概是在 2019 年六月面世，而且 Benchmarking the Raspberry Pi 4 這文有一部份對我挺有吸引力…

我想在家弄的 Linux server 已經被我扔進 NAS 的 VM，直到 8GB 記憶體的版本面世，我才又入手。
把它裝起來玩之後，發現 MicroSD 的 file I/O 依舊無法跟 NAS 裡面的 VM guest 相比，便又擱著…
直到最近看到一堆 Raspberry Pi 4 的 USB boot 文，才又有動力把它抓出來測 file I/O ，順便留個紀錄。

在測試前，有件事讓我搞很久…
我用 USB 外接硬碟可以作 USB boot，但用 Intel SSD 760p 配 Asus ROG STRIX ARION、伽利略 M2NVU31（晶片是 JMS583）一直失敗… T_T

我在 Facebook 的台灣樹苺派社群提問，便有人回覆提醒我該注意供電與轉接器的主控晶片。
於是我把裝置接上一個可額外供電的 USB 3.0 hub，NVMe SSD 搭配 JMS583 主控 就成功達成 USB boot 了… XD

隨後又在網路上找了個 RTL9210 主控的轉接器，發現 RTL9210 毋需額外供電，直接接上就可以作 USB boot。

測試的配置圖（開機時僅接上 NVMe SSD）：

Raspberry Pi 4 的一些基本資訊，開機後裝上 & 掛載受測的 storage devices：

fio 的參數都一樣：

-iodepth=128 -ioengine=libaio -bs=4k \
--runtime=300 --size=500M \
--direct=1 --rw=randrw

前面的廢話夠多了，先列 fio 的隨機存取測試結果；由快到慢分別是：

  1. Intel SSD 760p 搭配 NVMe-to-USB3 轉接器（左三，Raspberry Pi 4 開機時僅接上這個作 USB boot）：iops 約 11k，傳輸約 42MB/s
  2. Fujitsu F500 SATA SSD 搭配 SATA-to-USB3 線（左一）：iops 約 10k，傳輸約 40MB/s
  3. SanDisk Extreme Pro MicroSD card（在 Raspberry Pi 4 肚子裡）：iops 約 390，傳輸約 1560KB/s
  4. SanDisk Ultra Go 隨身碟（插在 USB 3.0 hub，tiffany 藍那傢伙）：iops 約 170，傳輸約 680KB/s
  5. Toshiba Canvio Basics 2.5″ USB3 外接硬碟（左二，應該是 SMR HDD）：iops 約 63，傳輸約 250KB/s

有興趣的可以繼續看測試截圖…

More

By • 2 • Tags: , , , , , , , , , , , ,