快消息！谷歌用新AI超越自己：讓Imagen能夠指定生成對象 風格隨意轉換

            

                
                來源：量子位
            

            
給Imagen加上“指哪打哪”的能力，會變得有多強？只需上傳3-5張 指定物體的照片，再用文字描述想要生成的背景、動作或表情，就能讓指定物體“閃現”到你想要的場景中，動作表情也都栩栩如生。不止是動物，其他物體像墨鏡、書包、花瓶，也都能做出幾乎以假亂真的成品：
訪問：
阿里云服務器精選特惠：1核1G云服務器低至0.9元/月

【資料圖】
屬于是發朋友圈也不會被別人看出破綻的那種。（手動狗頭）
這個神奇的文字-圖像生成模型名叫DreamBooth，是Google的最新研究成果，基于Imagen的基礎上進行了調整，一經發布就在Twitter上引發熱議。

有網友調侃：這簡直是最先進的梗圖生成器。

目前相關研究論文已上傳至arXiv。
幾張照片就能“環游世界”
在介紹原理前，讓我們先來看看DreamBooth的各種能力，包括換景、指定動作表情服飾、更迭風格等。
如果你是個“鏟屎官”，有了這個模型的“ 換景能力”，就能足不出戶送自家狗子走出家門，凡爾賽宮里、富士山腳下……通通不在話下。

△光照也比較自然
不僅如此，寵物的 動作和表情也都能隨意指定，屬實是把“一句話P圖”的細節拿捏到位了。

除了上面的“基操”以外，DreamBooth甚至還能更換各種照片風格，也就是所謂的“加濾鏡”。
例如，各種“世界名畫”畫風、各種視角的狗子，簡直不要太藝術：

至于給它們 加上裝飾？各種cosplay的小道具，也是小菜一碟。

除此之外，無論是更換顏色：
還是更魔幻一點，更換物種，這只AI也都能做到。
那么，如此有趣的效果背后的原理是什么呢？
給輸入加個“特殊標識符”
研究人員做了個對比，相較于其他大規模文本-圖像模型如DALL-E2、Imagen等，只有采用DreamBooth的方法，才能做到對輸入圖像的忠實還原。
如下圖所示，輸入3張右邊表盤上畫著黃色“3”的小鬧表，其中DreamBooth生成的圖像完美保留了鐘表的所有細節，但DALL-E2和Imagen幾次生成的鐘都與原來的鐘“有那么點差異”。

△李逵和“李鬼”
而這也正是DreamBooth最大的特點—— 個性化表達。
用戶可以給定3-5張自己隨意拍攝的某一物體的圖片，就能得到不同背景下的該物體的新穎再現，同時又保留了其關鍵特征。
當然，作者也表示，這種方法并不局限于某個模型，如果DALL·E2經過一些調整，同樣能實現這樣的功能。
具體到方法上，DreamBooth采用了給物體加上“ 特殊標識符”的方法。
也就是說，原本圖像生成模型收到的指令只是一類物體，例如[cat]、[dog]等，但現在DreamBooth會在這類物體前加上一個特殊標識符，變成[V][物體類別]。
以下圖為例，將用戶上傳的三張狗子照片和相應的類名（如“狗”）作為輸入信息，得到一個經過微調的文本-圖像擴散模型。
該擴散模型用“a [V] dog”來特指用戶上傳圖片中的狗子，再把其帶入文字描述中，生成特定的圖像，其中[V]就是那個特殊標識符。

至于為什么不直接用[V]來指代整個[特定物體]？
作者表示，受限于輸入照片的數量，模型無法很好地學習到照片中物體的整體特征，反而可能出現過擬合。
因此這里采用了微調的思路，整體上仍然基于AI已經學到的[物體類別]特征，再用[V]學到的特殊特征來修飾它。
以生成一只白色的狗為例，這里模型會通過[V]來學習狗的顏色（白色）、體型等個性化細節，加上模型在[狗]這個大的類別中學到的狗的共性，就能生成更多合理又不失個性的白狗的照片。
為了訓練這個微調的文本-圖像擴散模型，研究人員首先根據給定的文本描述生成低分辨率圖像，這時生成的圖像中狗子的形象是隨機的。
然后再應用超分辨率的擴散模型進行替換，把隨機圖像換成用戶上傳的特定狗子。

研究團隊
DreamBooth的研究團隊來自Google，第一作者是Nataniel Ruiz。
Nataniel Ruiz是波士頓大學圖像和視頻計算組的四年級博士生，目前在Google實習。主要研究方向是生成模型、圖像翻譯、對抗性攻擊、面部分析和模擬。

                         
關鍵詞：      
          
       Google 
              
       谷歌用新AI超越自己讓Imagen能夠指定生成 
       


          
		 

        
推薦

        
    

    

        

             	 
        

         
直播更多》

        
        

            關閉
                        

            
資訊更多》

        

        
焦點

        
    

    


    
    
    



国产精品亚洲综合久久|
97se亚洲综合在线|
亚洲精品第一国产综合精品|
国产亚洲成av片在线观看|
国产精品亚洲mnbav网站
|
亚洲?V乱码久久精品蜜桃|
亚洲AV永久无码精品放毛片|
亚洲精品美女久久久久久久|
亚洲精品美女久久久久久久|
亚洲日韩一区精品射精|
亚洲熟妇无码AV不卡在线播放
|
亚洲综合色在线观看亚洲|
亚洲精品无码99在线观看|
亚洲另类少妇17p|
久久亚洲AV永久无码精品|
国产亚洲色婷婷久久99精品91|
国产精品亚洲综合专区片高清久久久|
亚洲国产精品无码久久九九|
亚洲成人一区二区|
中文字幕亚洲日本岛国片|
亚洲一区二区三区偷拍女厕|
国产亚洲综合成人91精品|
久久夜色精品国产亚洲AV动态图
|
亚洲AV无码久久精品成人
|
国产精品亚洲一区二区三区久久|
妇女自拍偷自拍亚洲精品|
亚洲不卡无码av中文字幕|
亚洲中文字幕无码专区|
亚洲精品自产拍在线观看|
亚洲av无码一区二区三区不卡
|
久久亚洲伊人中字综合精品|
久久99亚洲网美利坚合众国|
亚洲国产精品一区二区久|
亚洲第一区二区快射影院|
亚洲精品天堂成人片AV在线播放|
jzzijzzij在线观看亚洲熟妇|
亚洲精品无码久久不卡|
亚洲五月综合缴情在线观看|
亚洲bt加勒比一区二区|
亚洲理论片在线中文字幕|
中文字幕亚洲男人的天堂网络|