Ask me anything
Ithy Logo
Sign in to save

解鎖您高通 Win11 電腦的 AI 潛能:Stable Diffusion 1.5 NPU 加速終極指南

逐步教您在高通處理器上配置神經處理單元 (NPU),大幅提升圖像生成效率!

install-stable-diffusion-qualcomm-npu-yrbkjqv3

在搭載高通 (Qualcomm) 處理器的 Windows 11 電腦上安裝 Stable Diffusion 1.5 並利用其神經處理單元 (NPU) 進行運算,能顯著提升圖像生成的速度與能源效率。本指南將詳細引導您完成整個過程,從基本安裝到 NPU 的專門配置,助您釋放硬體的全部潛力。

核心亮點:快速掌握關鍵

  • 標準安裝與 NPU 特調: 首先完成 Stable Diffusion WebUI 的基礎安裝,再針對高通 NPU 進行專門配置。
  • 高通 AI 工具鏈是關鍵: 成功啟用 NPU 加速高度依賴 Qualcomm AI Hub 提供的量化模型及 QNN SDK 等工具。
  • 社群與官方資源並進: 參考官方文件與活躍的開發者社群(如 GitHub 上的專案)對於解決配置難題至關重要。

第一步:萬事起頭前的準備

在開始安裝 Stable Diffusion 1.5 並配置 NPU 之前,請確保您的系統和軟體環境符合要求。這將為後續的順利安裝打下堅實基礎。

硬體與系統需求

確認您的電腦規格

您的電腦應滿足以下基本條件:

  • 作業系統: Windows 11 (特別是為高通 Snapdragon 處理器優化的版本)。
  • 記憶體 (RAM): 建議至少 16GB。
  • 顯示卡記憶體 (VRAM): 若有獨立 GPU,建議至少 4GB VRAM。NPU 的使用會分擔部分運算,但 VRAM 仍有其作用。
  • 儲存空間: 至少需要 20GB 的可用硬碟空間,用於存放軟體、模型及生成的圖像。
  • NPU 支援: 確認您的 Qualcomm Snapdragon 處理器包含 NPU(例如 Hexagon NPU)。您可以在裝置管理員中查看是否有類似 'Intel (R) NPU Accelerator'(針對 Intel NPU)或高通特定的 NPU 裝置。
NPU 晶片特寫

圖示:現代處理器中集成的 NPU 晶片特寫,是 AI 加速的核心。

必要軟體安裝

Python 環境建置

Stable Diffusion 主要以 Python 語言編寫。推薦安裝 Python 3.10.x 版本。

  1. 前往 Python 官方網站下載適用於 Windows 的 Python 3.10.x 安裝程式。
  2. 在安裝過程中,務必勾選 "Add Python to PATH" 或 "將 Python 加入環境變數" 的選項,這能讓您在命令提示字元中直接執行 Python 指令。

Git 版本控制工具

Git 用於從 GitHub 等程式碼託管平台下載 Stable Diffusion WebUI 的原始碼。

  1. 前往 Git 官方網站下載適用於 Windows 的 Git 安裝程式。
  2. 安裝過程中,可以保留大部分預設設定。安裝完成後,打開命令提示字元輸入 git --version,若顯示版本號則表示安裝成功。

第二步:安裝 Stable Diffusion WebUI (AUTOMATIC1111)

AUTOMATIC1111 的 Stable Diffusion WebUI 是一個廣受歡迎的開源介面,它簡化了 Stable Diffusion 的使用和管理。以下是在您的 Windows 11 電腦上安裝它的步驟。

克隆 WebUI 儲存庫

  1. 開啟命令提示字元 (CMD) 或 PowerShell。
  2. 選擇一個您希望安裝 Stable Diffusion 的資料夾路徑,例如 C:\StableDiffusion。若資料夾不存在,請先建立它。
    mkdir C:\StableDiffusion
    cd C:\StableDiffusion
  3. 使用 Git 克隆 AUTOMATIC1111 的 WebUI 儲存庫。執行以下指令 (注意末尾的點 . 表示克隆到當前目錄):
    git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git .

下載 Stable Diffusion 1.5 模型檔案

模型檔案是圖像生成的核心。您需要下載 Stable Diffusion 1.5 的預訓練模型。

  1. 前往 Hugging Face 上的 Stable Diffusion 1.5 模型頁面。
  2. 下載模型檔案,通常是 v1-5-pruned-emaonly.ckpt 或 v1-5-pruned.safetensors。檔案大小約為 4GB。.safetensors 格式通常更安全。
  3. 將下載的模型檔案放置到您剛才克隆的 WebUI 資料夾內的特定路徑:C:\StableDiffusion\models\Stable-diffusion\。
  4. 某些指南建議將模型檔案重新命名為 model.ckpt 或 model.safetensors,但通常 WebUI 能識別原始名稱。

首次運行與依賴安裝

  1. 在命令提示字元中,確保您仍在 C:\StableDiffusion (或您選擇的安裝目錄) 路徑下。
  2. 執行 WebUI 的啟動腳本:
    .\webui-user.bat
  3. 首次運行時,此腳本會自動下載並安裝所有必要的 Python 依賴套件,例如 PyTorch。這個過程可能需要一些時間,具體取決於您的網路速度。
  4. 安裝完成後,如果一切順利,命令提示字元視窗會顯示一個本地網址,通常是 http://127.0.0.1:7860。
  5. 在您的網頁瀏覽器中開啟此網址,即可看到 Stable Diffusion WebUI 的介面。您可以嘗試輸入一些提示詞 (prompt) 來生成第一張圖像,以確認基本功能運作正常。
搭載高通 Snapdragon 晶片的筆記型電腦

圖示:搭載高通 Snapdragon X 系列晶片的現代筆記型電腦,為 NPU 加速提供了硬體基礎。


第三步:配置 NPU 加速運算 (高通專用)

標準的 Stable Diffusion 安裝主要依賴 GPU 或 CPU 進行運算。要在您的 Qualcomm Windows 11 電腦上利用 NPU 加速,需要進行額外的配置,這通常涉及到 Qualcomm 提供的專用工具和軟體開發套件 (SDK)。

理解 NPU 運作原理與高通方案

NPU (神經處理單元) 是專為高效執行 AI 推理任務而設計的處理器。Qualcomm 的 Snapdragon 處理器通常整合了 Hexagon NPU。為了讓 Stable Diffusion 能使用 NPU,需要以下關鍵組件:

  • Qualcomm AI Hub: 這是 Qualcomm 提供的平台,您可以在上面找到針對其硬體優化和量化 (quantized) 的 AI 模型,包括 Stable Diffusion 的某些版本。量化模型體積更小,更適合在 NPU 上高效運行。
  • Qualcomm Neural Network (QNN) SDK: 這是一套軟體開發工具,允許開發者將 AI 模型部署到 Qualcomm 的 NPU、GPU 和 CPU 上。
  • Qualcomm AI Stack / Qualcomm AI Runtime (QAIRT): 這些是運行時函式庫和驅動程式,負責在硬體層面執行 NPU 上的模型推斷。
  • ONNX (Open Neural Network Exchange): 一種開放的模型格式。模型通常需要先轉換為 ONNX 格式,然後再通過 QNN 工具鏈進行優化和量化,以便在 NPU 上運行。ONNX Runtime 搭配 QNN Execution Provider 是常見的執行路徑。

NPU 配置實戰步驟

配置 NPU 的過程相對複雜,且高度依賴 Qualcomm 的官方支援和社群的開發進度。以下是主要的方向:

1. 使用 Qualcomm 提供的資源

這是最直接的方法。您需要:

  1. 訪問 Qualcomm AI Hub (可能需要註冊帳戶並申請存取權限)。尋找針對 NPU 優化的 Stable Diffusion 模型 (例如,他們有提供 Stable Diffusion 2.1 的量化版本,可參考其方法處理 1.5 版本或尋找是否有 1.5 的直接支援)。
  2. 下載並安裝最新的 Qualcomm AI Stack 和 QNN SDK。請遵循 Qualcomm 官方網站提供的 Windows 平台安裝指南。
  3. 模型轉換:如果使用的是標準 PyTorch 模型,您可能需要先將其匯出為 ONNX 格式,然後使用 Qualcomm 提供的工具進行量化和轉換,使其適用於 QNN Runtime。

2. 探索社群開發的外掛與專案

由於官方直接整合的複雜性,社群中出現了一些旨在簡化 NPU 使用的專案。其中一個值得關注的是:

  • wos-ai-plugins (Windows on Snapdragon AI Plugins): 這是 Qualcomm 維護的一個 GitHub 儲存庫,其中包含了一個名為 qairt_accelerate 的外掛,專為在 AUTOMATIC1111 WebUI 中啟用 Qualcomm AI Runtime (QAIRT) 以使用 NPU 加速而設計。
    • 您可以從 quic/wos-ai-plugins GitHub 儲存庫 克隆或下載此專案。
    • 按照其 plugins/stable-diffusion-webui/qairt_accelerate/README.md 文件中的說明,將此外掛整合到您的 Stable Diffusion WebUI 安裝中。
    • 這可能涉及將外掛檔案複製到 WebUI 的 extensions 資料夾,並可能需要在 webui-user.bat 啟動腳本中添加特定的命令列參數來指定使用 NPU。例如,參數可能類似於 --use-qnn 或指定 QNN 執行提供者。
  • GIMP 外掛: 有提及 GIMP (圖像處理軟體) 開發了可在 NPU 上運行 Stable Diffusion 1.5 的外掛,這也可能是一個可行的途徑,不過這可能偏離 AUTOMATIC1111 WebUI 的使用情境。

3. NPU 驅動程式與環境驗證

確保您的 Windows 11 系統已安裝最新的 NPU 驅動程式。這些通常透過 Windows Update 自動更新,但您也可以從電腦製造商或 Qualcomm 官方網站手動下載。在裝置管理員中應能看到 Qualcomm NPU 相關的裝置。

上圖比較了 CPU、GPU 和 Qualcomm NPU 在 AI 推理任務中的多個關鍵特性。NPU 在能源效率和特定優化模型的推斷速度上表現突出,但在模型泛用性和開發支援成熟度方面可能不如傳統 CPU/GPU 方案,部署複雜度也相對較高。


關鍵軟體組件概覽

下表總結了安裝和配置過程中涉及的主要軟體組件及其用途和獲取來源:

組件 (Component) 目的 (Purpose) 主要來源/下載 (Source/Download)
Python Stable Diffusion 運行的程式語言環境 Python 官方網站
Git 版本控制系統,用於下載程式碼庫 Git 官方網站
AUTOMATIC1111 Stable Diffusion WebUI 流行的 Stable Diffusion 圖形化使用者介面 GitHub
Stable Diffusion 1.5 模型 圖像生成的核心模型檔案 (.ckpt 或 .safetensors) Hugging Face (runwayml/stable-diffusion-v1-5)
Qualcomm AI Hub 提供量化模型和 AI 工具 Qualcomm AI Hub (可能需要註冊)
QNN SDK / Qualcomm AI Stack 用於在高通硬體上部署和執行 AI 模型的軟體開發套件和運行時 Qualcomm 開發者網站
wos-ai-plugins (qairt_accelerate) 社群開發的 NPU 加速外掛 GitHub (quic/wos-ai-plugins)

視覺化流程:安裝與配置心智圖

以下心智圖概述了在高通 Windows 11 電腦上安裝 Stable Diffusion 1.5 並配置 NPU 的完整流程,幫助您更好地理解各個環節及其關聯。

mindmap root["在搭載高通晶片的 Win11 電腦上安裝 Stable Diffusion 1.5 並啟用 NPU"] id1["前期準備"] id1_1["硬體需求
(Windows 11 高通版, RAM, 儲存空間)"] id1_2["軟體需求
(Python 3.10+, Git)"] id1_3["NPU 驅動程式"] id2["標準 Stable Diffusion 安裝
(AUTOMATIC1111 WebUI)"] id2_1["克隆 WebUI 儲存庫"] id2_2["下載 Stable Diffusion 1.5 模型"] id2_3["運行 webui-user.bat"] id2_4["存取 WebUI"] id3["NPU 配置 (高通特定)"] id3_1["理解 NPU 支援限制"] id3_2["高通 AI 工具鏈"] id3_2_1["Qualcomm AI Hub (量化模型)"] id3_2_2["QNN SDK (Qualcomm Neural Network)"] id3_2_3["Qualcomm AI Runtime (QAIRT)"] id3_3["ONNX Runtime 整合"] id3_4["社群專案與外掛"] id3_4_1["wos-ai-plugins (qairt_accelerate)"] id3_4_2["GIMP NPU 外掛 (提及)"] id3_5["模型量化"] id4["NPU 啟用步驟"] id4_1["安裝 QAIRT 外掛 (如 qairt_accelerate)"] id4_2["修改啟動參數 (如有必要)"] id4_3["使用量化模型"] id5["挑戰與注意事項"] id5_1["NPU 支援仍在發展"] id5_2["相容性問題"] id5_3["效能差異"] id5_4["驅動程式與 SDK 版本重要性"]

實際演示:在 Snapdragon 裝置上運行 Stable Diffusion

觀看以下影片,了解 Qualcomm如何在搭載 Snapdragon 處理器的 Windows 裝置上展示硬體加速的生成式 AI,包括 Stable Diffusion。這有助於您直觀感受 NPU 的潛力以及 Qualcomm 在此領域的努力。

影片來源:YouTube。展示了在 Windows on Snapdragon 裝置上使用 Hexagon NPU 進行硬體加速的生成式 AI,如 Surface Pro 9。


挑戰與注意事項

雖然 NPU 加速前景誘人,但在配置過程中您可能會遇到一些挑戰:

  • NPU 支援仍在發展: 尤其是在消費級硬體上,對 Stable Diffusion 這類複雜模型的 NPU 支援仍在不斷完善中。最新的驅動程式、SDK 和模型版本至關重要。
  • 相容性問題: 並非所有 Stable Diffusion 模型或其變體都能完美支援 NPU 量化和推理。某些算子 (operations) 可能不被 NPU 硬體或 QNN SDK 完全支援。
  • 效能差異: NPU 的實際加速效果取決於多種因素,包括模型的量化程度、NPU 本身的規格以及軟體堆疊的優化程度。某些情況下,部分運算(如 VAE 解碼)可能仍需 CPU/GPU 協助。
  • 配置複雜性: 相較於單純使用 GPU,配置 NPU 需要更多技術知識和耐心,可能涉及較多的試錯過程。
  • 資源依賴: Qualcomm 的 AI Hub 和相關工具可能需要註冊並遵循其使用條款。社群方案的穩定性和支援程度也可能有所不同。

建議您密切關注 Qualcomm 開發者網站、相關 GitHub 儲存庫 (如 quic/ai-hub-models, quic/wos-ai-plugins) 和 Reddit 等社群論壇 (如 r/StableDiffusion),以獲取最新的配置指南、問題解決方案和使用者經驗分享。


常見問題解答 (FAQ)

在高通 Windows 11 電腦上使用 NPU 運行 Stable Diffusion 有哪些最低系統要求?

除了 Stable Diffusion 本身對 RAM (建議 16GB+) 和儲存空間的要求外,關鍵是您的電腦需搭載支援 NPU 的 Qualcomm Snapdragon 處理器,並運行 Windows 11。確保已安裝最新的晶片組驅動和 NPU 驅動。Qualcomm AI Stack 的特定版本(如 v2.19 或更高)也可能被要求。

為什麼在高通裝置上使用 NPU 執行 Stable Diffusion 是有益的?

NPU 專為 AI 計算優化,相較於通用 CPU 或 GPU,它在執行特定 AI 推理任務時通常能提供更高的能源效率(延長電池續航)和更低的延遲(更快的圖像生成速度)。對於筆記型電腦等行動裝置尤其重要。

我在哪裡可以找到針對高通 NPU 優化的 Stable Diffusion 模型?

主要來源是 Qualcomm AI Hub。該平台提供經過量化處理、適合在 Qualcomm NPU 上運行的模型。Hugging Face 上的 Qualcomm 官方頁面也可能發布相關模型和資訊。

如果在配置 NPU 時遇到錯誤,我應該怎麼辦?

首先,仔細檢查錯誤訊息。確認您的驅動程式、Qualcomm AI Stack/QNN SDK 版本、Python 環境以及 Stable Diffusion WebUI 外掛是否都已正確安裝和配置。查閱 Qualcomm 的官方文件、GitHub 專案的 Issues 區以及相關社群論壇,看看是否有人遇到類似問題並提供了解决方案。

使用 NPU 是否意味著我不再需要強大的 GPU?

不完全是。NPU 非常適合加速 AI 推理的特定部分,但 Stable Diffusion 的某些環節(如訓練或某些前/後處理步驟)可能仍更依賴 GPU 的通用計算能力或 CPU。NPU 主要作為一個高效的協同處理器,分擔 AI 運算負載,尤其在對功耗敏感的裝置上。對於追求極致效能和模型泛用性的使用者,強大的 GPU 仍然有其價值。


推薦探索

若想更深入了解相關主題,您可以嘗試搜索以下問題:


參考資料

以下是本指南綜合參考的部分重要資源:


Last updated May 13, 2025

AI-assisted research. Sources, methodology and corrections · Source-checked guides and tools · Explore published answers

Ask Ithy AI