地端AI主機怎麼配？RTX 5090 單機實測能跑什麼

作者 Nick TasiAds & Code 創辦人·發布 2026-10-23·約 13 分鐘讀完

地端AI（也叫本地AI、本地部署AI）是把語言模型、產圖模型和影片模型裝在自己的電腦或伺服器上執行，提示詞和檔案不經過雲端服務商，用幾次都不另付 API 費用。一台地端AI主機能跑什麼，主要看顯卡的顯示記憶體（VRAM）：模型整個放得進去就跑得快，放不下會慢上好幾倍，甚至永遠跑不完。

我們自己的製作主機用的是一張 RTX 5090 32GB，平常跑文字模型、產圖和 AI 影片，也用這台主機替客戶做影片。文中的時間與記憶體數字，都是 2026 年 9～10 月本團隊在這台主機上的單機實測；換顯卡、換驅動或軟體版本，結果會不同，只測過一次的會寫明樣本數。

地端AI是什麼？跟雲端AI差在哪

地端AI指的是模型跑在你自己管理的硬體上；雲端AI則是把問題送到服務商的機房，算完再傳回來。兩者的差別集中在三件事：資料會不會離開你的電腦、費用是一次買硬體還是按用量付、速度卡在顯卡還是網路。地端的代價是硬體要自己顧、模型要自己挑，能跑多大的模型也被顯示記憶體綁住，一張 32GB 的卡就是 32GB 的上限。

偶爾用一下、或一定要用服務商最新的閉源模型，雲端比較省事；要大量產圖、產影片，或資料不能外送，地端比較合適。

地端AI主機要什麼規格？先看顯示記憶體

挑地端AI主機的順序是顯示記憶體、系統記憶體、電源，最後才是處理器。模型推論時，權重和運算中的資料都要放在顯示記憶體裡，32GB 跟 16GB 的卡能放的模型差一個等級；系統記憶體決定放不進顯卡的部分有沒有地方暫放；電源則要撐得住顯卡滿載。我們這台AI工作站用的是 RTX 5090 32GB 搭配 64GB 系統記憶體，顯卡的規格與功耗以 NVIDIA 官方規格頁為準。

NVIDIA 的 RTX 5090 規格頁列出標準記憶體配置 32GB GDDR7、記憶體介面 512-bit、顯卡總功耗 575W、整機電源需求 1000W，並註明電源需求是以搭配 Ryzen 9 9950X 處理器的電腦估算，實際會依系統配置不同。

系統記憶體不要省。我們用 CPU 卸載跑產圖時，產圖那幾秒系統記憶體用到 33.6GB。試跑一個 125B 的混合專家模型（MoE，每產生一個 token 只動用其中約 6B 的參數；token 是模型切分文字的單位）時，系統記憶體吃掉 51.5GB，63.4GB 只剩 2.4～2.9GB，顯卡另外佔約 25GB，要先把文字模型和產圖都停掉才跑得起來。這套推論引擎 Strata 的作者，驗證用的是 5090 加 128GB 記憶體，64GB 只是勉強塞得下。

系統碟則要留給模型檔。ComfyUI 官方的 MiniMax H3 文件列出，影片模型預設的 int8_convrot 主模型約 21GB，完整未量化版 66GB；我們裝的產圖模型 Qwen-Image-2.1，bf16 權重合計 30.84GB。同時放幾個模型，再加上生成過程的中間檔（我們有一次清掉的中間檔就有 51 項、約 14GB），系統碟的空間要先預留。

一張 32GB 顯卡能跑哪些模型？實測數據

單獨跑一種工作時，32GB 的 RTX 5090 放得下 27B 等級的文字模型、本地產圖模型和 15 秒的 AI 影片，但影片幾乎吃滿整張卡。實測峰值：27B 文字模型開 192K 上下文約 30.9GB，產圖模型用 CPU 卸載約 17.59GB，影片模型生成 15 秒直式影片吃到 31,893 MiB；軟體升級後，影片的峰值從 31.9GB 降到 22.6GB。

影片是最吃顯示記憶體的工作。ComfyUI 官方的 H3 文件寫明，開源權重的目標是約 100 萬像素（短邊 768）、每秒 24 格、最長約 15 秒，也提醒「Long clips at full resolution exhaust VRAM first」，片段越長、解析度越完整，最先用完的就是顯示記憶體。我們在 2026 年 9 月 24 日換環境之前用 768p 跑 15 秒，需要 37.65 GiB，比卡上的 31.84 GiB 多出將近 6GB；換環境後，768×1344 直式 15 秒、8 步放得下，峰值 31,893 MiB。1056×608、20 秒是超出官方長度的設定，只跑成功過 1 次，不能當成固定做得到。影片模型的步數與加速設定，整理在海螺 AI 3.0 本地實測。

文字模型那一列，Qwen3.8-27B 用 Q6_K 量化在這張卡上每秒產生 57.9 個 token。量化是把模型數值的精度壓低、讓檔案變小，Q6_K、Q4_K_M、IQ3_XXS 都是量化格式的名稱，數字越小壓得越多；bf16 則是沒有量化的 16 位元格式。這個模型上下文開到 192K 吃 30.9GB，我們正式就用 192K，留 1.7GB 安全邊際。上下文長度、量化格式怎麼挑，寫在 llama.cpp 本地 LLM 部署實測。

產圖模型 Qwen-Image-2.1 的 bf16 權重合計 30.84GB（主體 13.25GB、文字編碼器 16.33GB、負責壓縮與還原畫面的 VAE 1.26GB），整包放進 32GB 的卡只剩 303 MiB，所以要改用 CPU 卸載；產圖設定與中文字的實測在 Qwen Image 本地產圖實測。小模型則很省，判斷用的 kev-0.8b 只要約 1.6GB。我們沒有換成 4B 或 9B 的版本，原因是 27B 佔掉 23GB 之後，卡上只剩 8.8GB。

圖裡 8B 文字模型那一條，是 Qwen3-8B 用 Q4_K_M 量化、全部放在顯卡上約 6.3GB，跟 27B 開 192K 上下文的 30.9GB 差了將近五倍。

文字、產圖、影片可以同時開嗎？

在 32GB 的卡上，我們的規矩是三種工作不同時開。原因是文字模型就算閒著也佔著顯示記憶體：27B 常駐約 21.6～23.8GB，這時再開產圖，空間就非常緊。實測 27B（約 23.8GB）載著的狀態下產圖，峰值 31,453／32,607 MiB，只剩 1,154 MiB 餘裕，跑得完但很險，再多佔一點就會溢出。

溢出的那一次是這樣：27B 閒置佔 21.6GB，產圖服務載入後約 24.5GB，合計超過卡上的 32.6GB，有 3.5GB 溢到系統記憶體。整個過程沒有任何錯誤訊息，只是變慢，一張 1664×928 的九宮格分鏡圖，從約 3 分鐘拖到 17 分鐘以上還沒完成。另一次單張圖從 72 秒變成 571 秒，下一張超過 1,200 秒逾時。

切換的時機也要抓對。影片佇列要連續空 10 分鐘，我們才把卡切去產圖。有一次只等了 2 分鐘就切，剛好碰上影片兩段之間的空檔，產圖被接著要跑的影片工作打斷，排了 12 張只產出 1 張。

顯示記憶體不夠會怎樣？Windows 上不報錯，只會變慢

在 Windows 上，顯示記憶體用完通常不會跳出「記憶體不足」的錯誤。NVIDIA 驅動預設會改借系統記憶體繼續跑，症狀是顯卡使用率滿載、顯示記憶體只剩約 300 MiB，工作卻永遠跑不完。我們用 FLUX 3 Image Klein 出 2304 像素的大圖時，每一步從 3.5 秒變成 30 秒，慢了約 10 倍，畫面上看起來只是「還在算」。

這是驅動刻意設計的行為。NVIDIA 官方支援文章說明，從驅動 536.40 起，顯示記憶體用完的程式會改用共享記憶體，原本會當掉的程式可以「continue to run, albeit at lower speeds」，也就是繼續跑，但速度變慢。546.01 以後的驅動，可以在 NVIDIA 控制面板把個別程式的「CUDA - Sysmem Fallback Policy」設成「Prefer No Sysmem Fallback」，速度比較穩定，代價是設定超過顯示記憶體時程式會直接當掉。

我們的做法是每個測試都設逾時，時間到就中止，不讓一張圖在背景空轉十幾分鐘，也能馬上看出是記憶體出了問題。單張圖從 72 秒拖到 571 秒的那一次，下一張就是跑過 1,200 秒被逾時擋下來的。

CPU 卸載值不值得？

CPU 卸載（offload）是把模型暫時用不到的部分放在系統記憶體，輪到時再搬上顯卡，讓放不下的模型也能跑。代價是搬運時間：Qwen-Image-2.1 每張 24.5 秒裡，30 步運算本身是 16.7 秒（每秒 1.8 步），權重搬上搬下約 8 秒，佔了三分之一。就算把搬運完全消除也只會快到約 17 秒，我們判斷不值得為了這 8 秒去冒整張卡爆掉的風險。

另一種做法是分段載入。FLUX 3 Image Klein 改成兩段式：先用文字編碼器把提示詞編碼好，把文字編碼器移出顯卡，再載入畫圖的部分。這樣 1152×1536 一張 11～13 秒，顯示記憶體峰值 14.5GB，16GB 等級的卡也有機會放得下。

ComfyUI 官方的 H3 文件給的方向類似，顯示記憶體吃緊時先換小一號的量化檔，原文是「CPU offload costs more than precision tradeoffs」，CPU 卸載的代價比降低精度還高。官方表上 H3 最小的 pruned_w6a8 版約 16GB，預設的 int8_convrot 約 21GB。

軟體版本也會改變速度：升級前後對照

同一張顯卡，PyTorch 和 ComfyUI 的版本也會影響速度和顯示記憶體。我們在 2026 年 9 月 25 日把 ComfyUI 從 0.35 升到 0.37、PyTorch 從 2.11+cu128 升到 2.14.0+cu132，H3 影片每一步從 116～122 秒降到 85 秒，約快 30%，顯示記憶體峰值從 31.9GB 降到 22.6GB，硬體一樣沒換。

升級前其實有跡象。ComfyUI 啟動時印出「You need pytorch with cu130 or higher to use optimized CUDA operations」，意思是加速用的 CUDA 運算核心根本沒開。啟動訊息出現這類提示，就先查版本，再去調模型參數。ComfyUI 的安裝、版本與常用節點，整理在 ComfyUI 教學。

16GB 顯卡能跑地端AI嗎？

可以，但要選對模型。我們的舊桌機是 AMD RX 9070 XT 16GB，跑密集模型每秒只有 9～13 個 token；換成混合專家模型 Qwen3-30B-A3B（Q4_K_M、17.2GB），用 llama.cpp 加上 --n-cpu-moe 24，每秒 35 個 token，顯示記憶體用 14.3／16GB。16GB 的卡，答案是混合專家模型，不是硬塞密集模型。

17.2GB 的檔案放得進 16GB 的卡，靠的是把一部分權重留在 CPU。llama.cpp 官方 README 把這叫「CPU+GPU hybrid inference to partially accelerate models larger than the total VRAM capacity」，並列出 CUDA、Vulkan 等多種後端；llama-server 的參數說明寫明，--n-cpu-moe N 是把前 N 層的專家權重留在 CPU，--cpu-moe 則是全部留在 CPU。

模型也不是越大越好。前面提到的 125B 混合專家模型壓到 3 位元後，同一份題目對照，寫字速度每秒 52.7～55.7 個 token，密集的 27B 是 59.7，大模型沒有贏；推理、程式題的對照細節在 llama.cpp 那篇。

踩過的坑：現象、原因、怎麼修

地端AI主機最常出事的地方，多半不在模型本身，而在記憶體怎麼量、服務卡住怎麼救、遠端怎麼清檔。這些坑有個共同點：當下沒有明顯的錯誤訊息，要嘛安靜變慢，要嘛看起來還在跑，所以要靠數字判斷，不能靠畫面。每一條都是 2026 年 9～10 月在這台 RTX 5090 上遇過的。

顯示記憶體看起來很空，其實已經滿了

• 現象：CPU 卸載模式平常看起來只佔 1.4GB、使用率 0%；另一次 torch.cuda.mem_get_info() 回報還剩 30.2GB，實際上別的程式已經佔了 7.3GB。
• 原因：卸載模式只在產圖當下才把權重搬上卡，平常量不到；torch.cuda.mem_get_info() 在 Windows 上不準。
• 怎麼修：在產圖當下密集取樣，我們量到那一刻系統記憶體 33.6GB、顯卡使用率 97%；剩多少空間一律用 nvidia-smi 的實際用量算。

ComfyUI 爆記憶體後半死不活

• 現象：ComfyUI 遇到 CUDA 記憶體不足之後，系統狀態 API 回 HTTP 500，佇列顯示「執行中」，顯卡使用率卻是 0%。
• 原因：服務沒有完全當掉，也沒有自己恢復，記憶體一直被佔著。
• 怎麼修：直接重啟服務。重啟後顯示記憶體從 31,782 MiB 降回 1,217 MiB。

產圖服務越跑越肥

• 現象：連續產幾張之後，同樣規格的圖開始溢出 1.85GB，9 分鐘沒產完。
• 原因：每次產完約留下 2.4GB 的顯卡快取，連續跑就越積越多。
• 怎麼修：大批產圖卡住就重開服務，不在原地等它自己好。

參考圖一多就爆

• 現象：產圖服務一次最多吃 4 張參考圖，第 5 張直接回 422；4 張 1024 解析度的參考圖加上 1664×960 出圖，吃到 30.5GB，再溢出 6.4GB，一張卡 12 分鐘以上。
• 原因：參考圖的張數和解析度都算在顯示記憶體裡。同樣條件下 2 張參考圖 96 秒、3 張 162 秒，到 4 張才失控。
• 怎麼修：用到 4 張參考圖時，參考解析度降到 768。

遠端「丟資源回收筒」等於永久刪除

• 現象：用遠端登入（SSH）在 Windows 上執行「丟資源回收筒」，檔案直接消失，一次刪掉 51 項、約 14GB 的中間檔。
• 原因：遠端登入的工作階段（工作階段 0）沒有資源回收筒，丟進去就是永久刪除。
• 怎麼修：遠端清檔一律改成搬到「待刪」資料夾，不在遠端直接刪。

自己配地端AI主機前，先想清楚這幾件事

配地端AI主機之前，先列出要跑的工作，再用最吃記憶體的那一項來決定顯卡，不要用平均值估。以我們量到的峰值，判斷用的小模型和 8B 文字模型用不到 8GB；產圖模型落在 14.5～17.59GB；27B 文字模型開長上下文、或做 15 秒的 AI 影片，32GB 的卡會被單一工作吃到七成到幾乎滿格，三種工作只能輪流開。

選卡之外，還有幾件事會決定這台主機好不好用：

1. 用峰值選卡。影片和大圖的峰值只出現在生成那幾秒，平常看工作管理員會低估。
2. 系統記憶體留給卸載和大模型。我們的 64GB 在跑 125B 混合專家模型時只剩 2.4～2.9GB。
3. 電源照官方需求。RTX 5090 官方列的整機電源需求是 1000W。
4. 每個工作設逾時。Windows 上溢出不報錯，只會安靜變慢。
5. 軟體版本跟著顯卡走。同一張卡，PyTorch 和 ComfyUI 升級後影片快了約 30%。
6. 一張卡跑多種工作，要有排班規則。誰先用、等多久才切、用完怎麼切回去，事先寫好。

我們怎麼用這台主機做 AI 影片

我們用這套本地流程替客戶做 AI 影片：畫面生成主要在這台 RTX 5090 製作主機上跑，前面量到的記憶體上限、排班和逾時規則，就是每支片的產線規矩。客戶不用自己買顯卡、裝模型或處理爆記憶體，提供產品資料與素材，拿回去的是成片。單支 15 秒 $100 USDT、30 秒 $180 USDT、60 秒 $300 USDT。

完整內容與修改規則在 AI 影片製作服務。一支片從腳本、分段生成到接成長片的流程，整理在 AI 生成影片的流程與常見破綻；字幕、配樂與補幀在 AI 字幕與影片補幀；做給 Meta 投放的實際例子，看廣告影片製作的案例。需要的是把重複工作寫成程式、或接上自家系統的客製工具，看自動化程式開發，依功能報價，評估不收費。

常見問題

地端AI一定要用 RTX 5090 嗎？ 不一定，要看你跑什麼模型。我們的舊桌機 RX 9070 XT 16GB 跑混合專家模型，每秒 35 個 token；32GB 的 RTX 5090 多出來的空間，是拿來放 27B 密集模型、本地產圖和 15 秒的 AI 影片，而且這三種還是要輪流開。

本地AI跑語言模型大概多快？ 看模型和顯卡。我們在 RTX 5090 上跑 Qwen3.8-27B 的 Q6_K 量化檔，每秒產生 57.9 個 token；舊的 16GB 卡跑 30B 等級的混合專家模型，每秒 35～37 個 token，跑密集模型只有 9～13 個。

顯示記憶體不夠，可以用系統記憶體補嗎？ 跑得動，但會慢很多。Windows 上的 NVIDIA 驅動預設會改借系統記憶體，不會報錯；我們實測一張圖從 72 秒拖到 571 秒，大圖每一步從 3.5 秒變 30 秒。要穩定，就讓模型整個放進顯示記憶體，或改用 CPU 卸載、兩段式載入這類事先規劃好的做法。

一張顯卡可以同時跑文字模型、產圖和影片嗎？ 32GB 的卡不建議。27B 文字模型閒著也佔 21.6～23.8GB，載著它產圖只剩 1,154 MiB 餘裕，多一點就溢出；影片模型單獨跑，升級前就吃到 31.9GB。我們的做法是排班輪流開，影片佇列連續空 10 分鐘才切換。

地端AI主機做 AI 影片，一段能做多長？ 官方開源權重的目標是最長約 15 秒。我們在 RTX 5090 上用 1056×608、20 秒的設定跑成功過 1 次，花了 1,689 秒，只有這一次樣本，不建議當成固定做法；更長的片子要分段生成，再把上一段的最後一格接到下一段。