Stable Diffusion最強版本，來了！
剛剛，SDXL 1.0正式發(fā)布，可免費在線試玩。
效果上，無論是以假亂真的寫實大片：
超現(xiàn)實的熊貓喝啤酒：
還是賽博朋克漫畫，都非常nice~
Stability AI表示，SDXL 1.0能生成更加鮮明準(zhǔn)確的色彩，在對比度、光線和陰影方面做了增強，可生成100萬像素的圖像（1024×1024）。
而且還支持在網(wǎng)頁上直接對生成圖像進行后期編輯。
（有一股和Midjourney、Firefly打擂臺的味兒了）
網(wǎng)友們已經(jīng)按捺不住上手試玩了~
和基礎(chǔ)Stable Diffusion相比，SDXL 1.0生成結(jié)果更加準(zhǔn)確和逼真。
而且官方表示，提示詞也能比之前更簡單了。
這是因為SDXL 1.0的基礎(chǔ)模型參數(shù)量達到了35億，理解能力更強。
對比基礎(chǔ)版Stable Diffusion，參數(shù)量只有10億左右。
由此，SDXL 1.0也成為當(dāng)前最大規(guī)模的開放圖像模型之一。官方甚至直接說這就是世界上最好的開放圖像模型。
話不多說，我們來上手體驗了~
SDXL 1.0在操作上很便捷，直接輸入prompt即可，還能從下面勾選風(fēng)格、尺寸參數(shù)等。
一次生成默認(rèn)是出4張圖，如果不滿意還可以點下方“加號”讓它繼續(xù)畫。
官方介紹說，現(xiàn)在讓SDXL 1.0生成大作，無需再加入“杰作”這種提示詞了。
讓它生成一幅日漫風(fēng)格的圖像，畫風(fēng)非常貼合，而且在光影的處理上也更加自然了。
1990s anime low resolution screengrab couple walking away in street at night
或者是一幅風(fēng)景照？也能以假亂真了。
甚至是讓馬斯克站在中式庭院里，抬頭斜望著天空……
Elon Musk in an ancient Chinese palace
或者是把蘋果收購了？
在「WWDC」上，他舉著全新款iPhone向人們展示，身邊還圍滿了記者和粉絲（doge）。
Elon Musk releasing new iPhone at WWDC
除了這些老馬的洋蔥新聞之外，繪畫風(fēng)格的作品效果也不錯。
左邊的是齊白石水墨風(fēng)格，而右邊是一幅漫畫。
左：Elon Musk delivering a speech, ink painting, Qi Baishi style
右：Elon Musk comic
除了繪畫，也可以把老馬放進我們的元青花。
Elon musk in the shape of Yuan Dynasty Blue and White Porcelain
上面展示的這些「老馬的故事」，用的prompt都比較簡單。
但從效果并沒有因為提示詞簡單而拉胯，這也與官方的說法相印證。
不過我們還是想看看，如果用更加復(fù)雜精致的prompt，會是什么樣子？
我們找到了Midjourney創(chuàng)作的一張老馬在蘇聯(lián)擔(dān)任汽修工人的珍貴照片，重新喂給MJ，讓它生成個prompt。
MJ生成了下面這樣的prompt，我們就用它來測試SDXL：
Elon Musk(這里MJ生成的是a man) standing in a workroom, in the style of industrial machinery aesthetics, deutscher werkbund, uniformly staged images, soviet, light indigo and dark bronze, new american color photography, detailed facial features
風(fēng)格完全符合我們的預(yù)期，細(xì)節(jié)也還不錯。
再來一個復(fù)雜prompt的圖作為收尾，同樣是MJ根據(jù)此前的作品生成后喂給SDXL。
elon musk eating food with chopsticks, in the style of peter coulson, cross-processing/processed, pinhole photography, herb trimpe, james tissot, transavanguardia, spot metering
左邊是SDXL的作品，右邊是MJ的原版，大家可以對比一下。
提示詞同樣支持中文，不過似乎會在給出結(jié)果中傾向于國風(fēng)，準(zhǔn)確性可能也會受到影響。
比如輸入“一只老虎在海邊”后，意外給出了一個國風(fēng)妹子。
效果大家都已經(jīng)看到了，那么SDXL生成圖片的速度如何呢？
對于免費用戶來說，時間主要花費在排隊上了，不過也不會等待太久。
在5.5秒的時間內(nèi)，排隊人數(shù)從160減少到了99。
除了生成圖像外，SDXL還提供了很多后期編輯功能。
具體來說，包括去除背景、細(xì)節(jié)處理、畫幅擴增等等。
這些功能是SDXL所在的Clipdrop平臺上已有的，而SDXL可以一鍵將生成的圖片傳入對應(yīng)模塊。
這里我們選擇背景消除功能展示一下，可以看出邊緣的細(xì)節(jié)幾乎沒有什么破綻。
目前，SDXL的免費使用額度還是比較高的，登錄后每個賬戶每天可生成400張（需要排隊）。
月付的價格是9美元每月，年付則相當(dāng)于7美元（約50元人民幣）每月，包含了1500張每天的SDXL額度，且無需排隊。
不過不同區(qū)域的價格似乎也有所區(qū)別，比如阿根廷的年付價格平攤到每月是742比索（約合19.4元人民幣或2.7美元）。
此外，由于付費版本實際上是Clipdrop平臺的Pro訂閱，所以也包含了該平臺的其他功能。
除了Pro賬戶，還有API版本可供開發(fā)者使用（可以訪問Stability AI、Amazon等平臺）。
在最新博客中，Stability AI介紹了SDXL 1.0的更多技術(shù)細(xì)節(jié)。
首先，模型在規(guī)模和架構(gòu)上都有了新突破。
它創(chuàng)新性地使用了一個基礎(chǔ)模型（base model）+一個細(xì)化模型（refiner model）。
二者的參數(shù)規(guī)模分別為35億和66億。
這也使得SDXL 1.0成為目前規(guī)模最大的開放圖像模型之一。
Stability AI創(chuàng)始人莫斯塔克（Emad Mostaque）表示，更大規(guī)模的參數(shù)量能讓模型理解更多概念，教會它更深層次的東西。
同時在SDXL 0.9版本還進行了RLHF強化。
這也是為什么現(xiàn)在SDXL 1.0支持短提示詞，而且能分清紅場（the Red Square）和一個紅色的廣場（a Red Square）。
在具體合成過程中，第一步，基礎(chǔ)模型產(chǎn)生有噪聲的latent，然后由細(xì)化模型進行去噪。
其中基礎(chǔ)模型也可以作為獨立模塊使用。
這兩種模型結(jié)合能生成質(zhì)量更好的圖像，且不需要消耗更多計算資源。
官方介紹SDXL 1.0可以運行在8GB VRAM的消費級GPU上，或者是云端。
除此之外，SDXL 1.0在微調(diào)也有了提升，可以生成自定義LoRAs或者checkpoints。
Stability AI團隊現(xiàn)在也正在構(gòu)建新一代可用于特定任務(wù)的結(jié)構(gòu)、風(fēng)格和組合控件，其中T2I/ControlNet專門用于SDXL。
不過目前這些功能還處于beta測試階段，后續(xù)可以關(guān)注官方更新。
總結(jié)來說，文生圖都是一個逐漸迭代的過程，SDXL 1.0的目標(biāo)就是讓這個過程更加簡單。
莫斯塔克表示，現(xiàn)在只需要5-10張圖片，就能快速微調(diào)模型。
從用戶反饋中也能看到，相較于Stable Diffusion，SDXL 1.0更能讓大家滿意。
實際上，從今年4月以來，Stability AI就發(fā)布了SDXL最早的測試版。
6月份開始進行內(nèi)測，前段時間發(fā)布了0.9版本，當(dāng)時就預(yù)告了會在7月發(fā)布一個開放版本，即最新的1.0版本。目前相關(guān)代碼權(quán)重已經(jīng)發(fā)布在GitHub上。
而且Stability AI機器學(xué)習(xí)負(fù)責(zé)人表示，相較于SDXL 0.9，1.0版本降低了對算力的需求。
感興趣的童鞋快去試玩吧~
試玩入口：
https://clipdrop.co/stable-diffusion
GitHub：
https://github.com/Stability-AI/generative-models
參考鏈接：
[1]https://stability.ai/blog/stable-diffusion-sdxl-1-announcement
[2]https://venturebeat.com/ai/stability-ai-levels-up-image-generation-launch-new-stable-diffusion-base-model/
[3]https://techcrunch.com/2023/07/26/stability-ai-releases-its-latest-image-generating-model-stable-diffusion-xl-1-0/
— 完 —
「AIGC時代的算力基石」沙龍籌備中
8月9日，量子位將在北京線下舉辦行業(yè)沙龍「AIGC時代的算力基石」，誠邀算力產(chǎn)業(yè)相關(guān)企業(yè)報名參與～
點擊圖片了解招募詳情，企業(yè)報名可聯(lián)系活動負(fù)責(zé)人微信iris_wang17，備注企業(yè)-姓名。
點這里??關(guān)注我，記得標(biāo)星哦～
