前不久,StabilityAI發布了开源的StableDiffusion 3Medium,讓各大探索AI的網友們興奮不已,畢竟SD1.5、SDXL的發布已經帶來了很多震撼,這次的SD3更是期待拉滿,很多網友都在开源的第一時間去下載,然而體驗似乎並沒有StabilityAI所說的那么神。
在一开始的宣傳中,StabilityAI表示SD3已經能生成文字,但目前只能生成英文,中文還無法識別,而且最重要的是,SD3似乎在人物生成上开了倒車,對於人畫像的生成,SD3經常產出畸形的人物形態,特別是人的四肢、手腳方面的錯誤,整體體驗還不如上一代模型。
也就是說,只要不生成人物的四肢,SD3模型在局部畫面上的表現還是很精致的,在物品和動物的生成上,SD3也基本沒有什么問題,對於復雜的長提示詞也有着很高的識別率,但是就是畫不好四肢健全的人類,在這方面反而退化了一般,引起了很多人的不解。
國外論壇Reddit用戶則分析稱,表示SD3的人體四肢理解錯誤,是因爲在訓練時,开發者過多幹預內容,設置過濾限制級內容,而且通過的條件非常苛刻,從而導致AI識別錯誤,一些正常的圖片也因此被識別爲限制級內容,因此在公开的SD3模型中,人體的效果因爲訓練不足而導致畸形。
這就解釋了,爲什么SD3並未翻起很大風浪,因爲除了會識別英文外,最主要的人體識別反而开了倒車,原本在解決手部問題,這下子演變成了還要解決四肢的問題,需要很長的提示詞去修復,但對於非人類,SD3的效果還是出奇的好,細節都很到位,也遵循物理規則,可惜這一版本並不完美。
當然這也許和StabilityAI陷入困境有關,在此之前,公司財務狀況並不佳,且ceo辭職,曾經的主要成員也離开,加上裁員風波,如今能推出SD3也是不容易,更有網友表示公司內部混亂,如今不成熟的SD3就是證明,但終究它還是推出了,並且开源了,這都遵守了之前的承諾,也許只是單純的出錯了呢?(圖爲StableDiffusion 3 模型架構)
但這也只是個中杯的SD3,也就是說後續還有大杯和小杯的推出,也許要經歷過這次問題後,StabilityAI會對訓練數據進行修改,完善出更好的SD3也說不定,而且現在也有SD1.5與SDXL的在持續創作與使用,如果修改後的SD3能在SDXL的基礎上再進步,那就值得贊賞,當然SD3如果支持其他語言的理解那就更好了
目前SD3模型還暫時只支持ComfyUI,想要體驗的網友可以下載ComfyUI進行嘗試,雖然SD3开源的爲中杯版本,但對於顯卡的要求,還是比較推薦大顯存會更好,因此我們推薦使用影馳RTX4070 Ti SUPER星曜OC顯卡。
影馳RTX4070 Ti SUPER星曜OC顯卡,相比於4070Ti,顯存上爲更大的16GBGDDR6X,並且核心性能也得到了加強,無論是AI創作者還是遊戲玩家,都能感受到明顯的提升,同時16GB顯存也是非常適合AI軟件運行,是一款不容錯過的高性能大顯存的顯卡,如果你對這張顯卡感興趣,歡迎前往影馳官方商城挑選~
標題:一發布就失望?Stable Diffusion 3有什么大問題
地址:https://www.utechfun.com/post/390562.html