作為最新版本的 AI 圖像生成模型,Stable Diffusion 3 帶著萬眾期待來了,相信一定有許多小伙伴在工作和生活中已經開始或多或少地使用過了圖像生成模型,那么我們下面就來分享一下 Stable diffusion 3 的本地搭建過程吧,廢話不多說,上干貨。
本次搭建使用的平臺配置如下:
考慮到本地運行 Stable diffusion 3 對算力的強大需求,我們本次選用了影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 顯卡。GEFORCE RTX 4070 Ti SUPER 基于 AD103 核心所打造,也是這款顯卡最大的改變。內部包含 8448 個 CUDA 核心,相比 RTX 4070 Ti 的 7680 個核心數提升了 10% 以上,顯存位寬相比 RTX 4070 Ti 提升到了 256bit,而且顯存規格也增加到 16GB GDDR6X,無論是對游戲還是 AI 創作都有幫助。
選擇這塊顯卡,算是在價格和性能上取了個平衡,這塊顯卡搭載了 16GB GDDR6x 顯存,顯存位寬 192bit,長 35.4cm。
為了確保這塊顯卡可以勝任本次 Stable diffusion 3 的搭建,也提前對這塊顯卡的計算性能進行了一些測試,GeForce RTX 4070 Ti SUPER 的 8448 個 CUDA 核心可以提供硬件加速,使得工作效率得以提高。幾乎所有的建模軟件都會對 NVIDIA 的 GPU 進行優化,因此在效率、穩定性和兼容性方面都能夠兼顧。我們測試了 V-Ray Benchmark 的性能表現。其中 GPU CUDA 測試項目得分為 2746 分。
而在 Stable Diffusion 1.7 的測試中,通過選擇模型 v2-1_768-ema-pruned.ckpt,以文生圖的方式繪制 21 張小木屋的圖像,圖像分辨率為 768*768,最終花費 54 秒完成。而在開啟 TensorRT Engines 功能后,速度再次縮減一半,27 秒即可完成。
那么經過一系列的測試,我們已經確定了這塊顯卡完全可以勝任此次的 Stable Diffusion 3 搭建,下面我們就擼起袖子,開干!
一、資源準備硬件平臺搭建完,接下來就是 UI 界面的選擇和模型的下載了,這里要補充一句,整個搭建過程包括模型文件的下載,對網絡環境的要求比較高,不過會把搭建所需的文件都放到文末供大家學習交流。
由于 Stable Diffusion 3 剛剛發布不久,Web UI 目前還沒有適配,所以本次使用的是 ComfyUI。Github 網址如下:
https://github.com/comfyanonymous/ComfyUI下滑找到下載鏈接,單擊下載。
UI 先下載著,我們這邊去下載重磅的 Stable Diffusion 3 模型文件。網址如下:
https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main(這個網址是官方鏈接跳轉過來的,無需質疑權威性。)
下載模型文件需要先登錄網站,沒有賬號的小伙伴可以注冊一下,注冊過程比較常規。注冊后可以看到如下的模型文件。先下載圖中標注的三個模型文件即可。
此外,還需要下載這兩個文件夾中的部分文件。
text_encoders 文件夾中需要下載這三個文件。
comfy_example_workflows 文件夾中的三個文件體積比較小,為官方提供的示例工作流,這里下載以便后續演示使用,如果不需要也可以不下載。
如果順利的話,如下這些文件下載好后,我們的搭建工作就可以正式開始啦。
首先解壓 new_ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z,得到如下文件。
接下來定位到…ComfyUI_windows_portable / ComfyUI / models / checkpoints 文件夾,將我們前面下載的文件中,三個“sd3”開頭的文件移動到這里。
再定位到…ComfyUI_windows_portable / ComfyUI / models / clip 文件夾,將“clip”和“t5xxl”開頭的三個文件移動到這里。
回到…/ComfyUI_windows_portable/ 文件夾,由于我們是主要依靠影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 顯卡的算力,因此我們這里雙擊運行 run_nvidia_gpu.bat。
如果沒有意外的話,打開后你會看到如下的界面,那么恭喜你,基于 ComlfyUI 的 Stable Diffusion 3 搭建過程就初步完成了。
那么接下來,怎么使用呢,還記得我們前邊下載的三個官方工作流嗎,這三個官方提供的工作流示例中,第一個為基本的單提示詞生成圖片,第二個為多提示詞生成圖片,第三個則是在第一個基礎上,增加了一步圖片分辨率提升,這里我們就依次演示一下如何跑通三個官方工作流。
將下載的第一個.json 文件直接拖入到 ComfyUI 界面中,可以看到工作流發生了變化。
這時候如果直接運行,是會報錯的,需要重新指定一下模型的文件位置。在模型這里,按照原有的模型名稱,對應的選擇我們之前放入的模型文件即可。
全部選定之后,就可以開始運行了,官方的提示詞為
a female character with long, flowing hair that appears to be made of ethereal, swirling patterns resembling the Northern Lights or Aurora Borealis. The background is dominated by deep blues and purples, creating a mysterious and dramatic atmosphere. The character's face is serene, with pale skin and striking features. She wears a dark-colored outfit with subtle patterns. The overall style of the artwork is reminiscent of fantasy or supernatural genres.
翻譯過來就是
一個留著飄逸長發的女性角色,頭發看起來像是用類似于北極光或北極光的旋渦圖案制成的。背景以深藍色和紫色為主,營造出神秘而戲劇性的氛圍。角色的臉很平靜,皮膚蒼白,五官精致。她穿著深色衣服,上面有微妙的圖案。這幅畫的總體風格讓人想起奇幻或超自然體裁。
上圖工作流中綠色文本框中就是正向提示詞的輸入區域,紅色文本框為反向提示詞的輸入區域,運行后生成的圖片如下,我們使用影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 生成這張 1024*1024 像素的圖片,僅用了 21.23 秒,體驗非常絲滑。可以看到,運行模型的時候,GPU 負載瞬間拉滿,可見模型對 GPU 算力的需求還是相當恐怖的。
到這里,官方的基礎工作流就跑通了,小編又嘗試了一下使用“A SpongeBob SquarePants eating ice cream”(海綿寶寶吃冰淇淋)作為正向提示詞進行生成,得到的圖片如下(上),整體還是比較和諧的,作為對比,可以看一下曾經小編用 Stable Diffusion 1.7 使用同樣的提示詞生成的圖片(下)。
第一個工作流跑通了,那么我們再來試試第二個工作流。與第一個類似,也是將官方的.json 文件拖入界面中,得到與剛才類似的工作流。
仍然需要對模型文件位置進行配置。
配置后,就可以正常運行工作流了。影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 跑這個模型耗時 14.92s,比上一個要短不少。不過運行模型的時候,GPU 負載仍舊是瞬間拉滿。
前兩個工作流整體部署思路上大同小異,主要看大家日常使用時候的需求進行選擇了,跑通之后可以結合個人需求對其中的參數進行進一步調整優化,這里就不展開了。
接下來我們再來說說這第三個工作流。依樣畫葫蘆,把.json 文件拖進來,就看見了報錯,大概意思為缺少相關的模型文件。
關閉報錯,可以看到有一個流程框是紅色的,這就是提高圖片分辨率所需要的模型缺失造成的。
一勞永逸的解決類似問題的思路是,安裝一個 ComfyUI 的插件 ——ComfyUI Manager,該插件可以檢測、下載并補充當前工作流中缺失的模型和插件。插件網址如下:
https://github.com/ltdrdata/ComfyUI-Manager官方提供了多種安裝方法,感興趣的小伙伴可以自行研究,我們這里選用第一種方法進行安裝。安裝前先關閉 ComfyUI 界面。
雖然官方沒有提及,但使用第一種方法進行安裝,前提還是要先下載并安裝 git,我們這里下載并安裝 64 位的 Standalone Installer。
安裝完成后打開終端,依次運行如下三個命令。
cdC/Users/ithome/Documents/comfyui_sd3/ComfyUI_windows_portable/ComfyUIcdcustom_nodesgitclonehttps://github.com/ltdrdata/ComfyUI-Manager.git其中第一個命令中的文件夾地址需要根據安裝 ComfyUI 的位置自行修改。
此處對網絡要求較高,網絡不好的話可能會報錯,多試幾次即可,成功后會看到下載完成的命令。此時再打開 ComfyUI,可以看到右下角多了兩個按鈕。
點擊 Manager,可以看到豐富的設置項,我們這里主要用到的是紅框中的兩項。
先點擊 install Missing Custom Nodes,可以看到已經檢測到了缺失的插件,點擊安裝即可。
安裝后可以看到工作流中的紅色方塊已經恢復正常。
不過如果此時再次運行該模型,會發現只能運行到與第一個官方模型相同的步驟,后面的分辨率提升就停住不跑了。這是因為我們還沒有安裝這個 4x-UltraSharp.pth 模型。
打開 Manager 中的 Install Models,搜索 4x-UltraSharp,可以看到相關模型,點擊后邊的 Install 即可。
安裝完成后,再次運行,可以看到,跑完了文生圖的模型后,還會有 4 個分辨率提高的模型進程,完整過程用時 51.09s,這個工作流的壓力不小,影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 的這個表現相當不錯。
可以看到提升分辨率后的圖片
圖片大小也是飆升了約 4 倍。
那么到這里,基于 ComfyUI 的 Stable Diffusion 3 搭建過程想必大家也都了解了,需要注意的是,由于網絡環境、硬件原因等各方面的差異,搭建過程中可能會遇到各種各樣的意外,也無需焦慮,可以分享在評論區大家一起討論解決。
總結Stable Diffusion 3 的發布,讓我們再一次看到了 AI 大模型的飛速進步和發展,作為一項能夠在日常生活中大幅提高效率的工具,工作之余研究一下總是有益無害的。
不過隨著模型的復雜程度提高,可以預見的是,本地運行所需要的算力也會隨之水漲船高,從整個搭建過程來看,本次測試所使用的影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 顯卡還是能夠非常好的提升模型運行效率的,也能節省不少時間,畢竟誰也不想為了生成一張圖等上個把小時不是。
由于 Stable Diffusion 3 發布不久,小編也是摸著石頭過河后第一時間和大家分享,文中如有不嚴謹或不正確的地方,還請大家批評指正,我們會第一時間修改;最后祝愿嘗試搭建的小伙伴都能一次成功,全程不報錯!
【附】搭建所需資源_提取碼: 6666
本文鏈接:http://www.tebozhan.com/showinfo-119-95409-0.html【IT之家評測室】Stable Diffusion 3 搭建教程及官方實例演示,影馳 GeForce RTX 4070 Ti SUPER 星曜 OC 瞬間跑滿
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com