地端 AI 是把語言模型、產圖與影片模型裝在自己的主機上跑，資料不用送到外部雲端。這個主題整理硬體怎麼挑、顯卡記憶體怎麼分配，以及實際部署時遇到的問題。
地端AI是把模型裝在自己的主機上跑，資料不送出去、不按次計費，能跑多大的模型由顯示記憶體決定。我們一台 RTX 5090 32GB 實測：文字、產圖、影片三種模型要輪流開，記憶體一溢出，一張圖從 72 秒拖到 571 秒。
2026-10-23 · 約 14 分鐘讀完llama.cpp 是用 C/C++ 寫的開源推論引擎，能把 GGUF 格式的大型語言模型跑在自己的電腦上，並提供 OpenAI 相容的 API。我們的測試裡，RTX 5090 32GB 跑 Qwen3.8-27B Q6_K 每秒產生 57.9 個 token，上下文 192K 用掉 30.9GB。
2026-10-23 · 約 13 分鐘讀完跑出第一張圖之後，ComfyUI 正式出圖出片要顧四件事：顯存分配、爆顯存後重啟、INT8 注意力、版本升級。我們在一台 RTX 5090 32GB 實測，升級後影片每步從 116～122 秒降到 85 秒，開 INT8 注意力再從 847 秒降到 405 秒。