環(huán)球微動態(tài)丨研究人員嘗試用穩(wěn)定擴散方法壓縮圖像 結果竟然優(yōu)于JPEG
上周,瑞士軟件工程師 Matthias Bühlmann 發(fā)現(xiàn) —— 流行的圖像合成模型“Stable Diffusion”,可實現(xiàn)較現(xiàn)有的 JPEG 或 WebP 格式更高的位圖圖像壓縮比、且視覺偽影也更少。即便如此,Stable Diffusion 也不是那么完美。作為一種 AI 圖像合成模型,其通常根據(jù)文本描述(所謂的“提示”)而生成圖像。
訪問:
(資料圖片)
Parallels Desktop 18 今年首次促銷:限時75折
用鋸齒彩塊來描繪的圖像壓縮概念(via ArsTechnica)
AI 模型通過研究從互聯(lián)網上提取的數(shù)百萬張圖像來學習這種能力,在訓練過程中,模型在圖像和相關詞之間建立了統(tǒng)計關聯(lián)。
然后對每張圖像的關鍵信息添加更小的“表示”和賦予“權重”,后者代表了 AI 圖像模型所掌握的數(shù)學值。
當穩(wěn)定擴散分析、并將圖像“壓縮”為權重形式時,它們就處在了所謂的“潛在空間”中 —— 它們以一種模糊潛力的形式存在,且能夠在解碼時于圖像中復現(xiàn)。
這項研究中用到的 Stable Diffusion 1.4,其權重文件大小約為 4GB —— 代表了該 AI 模型掌握的數(shù)億張圖像的知識。
使用穩(wěn)定擴散壓縮圖像的示例
盡管大多數(shù)人使用了帶文本提示的穩(wěn)定擴散,但 Bühlmann 還是斬斷了文本編碼器、而是強制通過穩(wěn)定擴散圖像編碼器來處理。
該過程將低精度的 512×512 圖像、轉換為更高精度的 64×64 潛在圖像空間表示。此時圖像存在的數(shù)據(jù)量較原始文件小得多,但仍可將之解碼擴展回 512×512 圖像、并獲得相當良好的結果。
測試期間,Bühlmann 發(fā)現(xiàn)使用穩(wěn)定擴散壓縮的新圖像,可在更高的壓縮比(更小的文件大小)下,主觀上看起來較 JPEG 或 WebP 更佳。
以這張美洲鴕的照片為例,其原始文件大小為 768 KB 。盡管 JPEG / WebP 格式分別可壓縮到 5.68 和 5.71 KB,但穩(wěn)定擴散方法可進一步壓縮到 4.98 KB 。
與對照的圖像壓縮格式相比,穩(wěn)定擴散似乎具有更多可分辨的細節(jié)、以及明顯更少的壓縮偽影。
不過 Bühlmann 也指出了現(xiàn)階段的一個很大局限性 —— 它不太適合面容或文本,且在某些情況下會讓解碼圖像中的細節(jié)特征產生“幻象”。
這些特征可能在源圖像中并不存在,更別提解碼需要動用高達 4GB 的穩(wěn)定擴散權重文件、以及額外的解碼時間。
即便如此,這種非常規(guī)穩(wěn)定擴散用例,還是較實際的解決方案更加有趣,甚至有望開辟圖像合成模型的未來新用途。
感興趣的朋友,可移步至 Google Colab 查看 Bühlmann 的示例代碼,或在有關 Towards AI 的帖子中找到實驗中的更多技術細節(jié)。
推薦
-
我國在西昌衛(wèi)星發(fā)射中心發(fā)射長征二號丁運載火箭 成功將遙感三十六號衛(wèi)星送入預定軌道
從中國航天科技集團獲悉,9月26日21時38分,我國在西昌衛(wèi)星發(fā)射中心發(fā)射長征二號丁運載火箭,成功將遙感...
來源:科技日報 -
東南亞電商巨頭大規(guī)模要求被裁員工賠償電腦損傷 蘋果電腦2500起
網傳東南亞電商巨頭 Shopee 公司大規(guī)模要求被裁員工賠償電腦損傷,蘋果電腦都是 2500 起,Shopee ...
來源:鳳凰科技 -
-
-
與亞馬遜Audible展開競爭 Spotify在美國推出有聲讀物服務
已在美國推出有聲讀物服務,此舉欲與亞馬遜的 Audible 展開競爭。Spotify 稱,用戶可在 Spotify Ap...
來源:TechWeb -
YouTube視頻網站中“不感興趣”按鈕幾乎沒有任何作用 類似相關視頻還會出現(xiàn)
有一項新的研究發(fā)現(xiàn),即使用戶對 YouTube 中某些類型視頻選擇了不感興趣,但是類似相關的視頻還會出現(xiàn)...
來源:鳳凰科技 -
阿里巴巴將在核心科技上持續(xù)投入 助力全球產業(yè)鏈供應鏈韌性與穩(wěn)定
阿里巴巴集團董事會主席兼首席執(zhí)行官張勇表示,國際地緣政治沖突加劇、逆全球化思潮涌現(xiàn)等因素給全球產...
來源:網易科技 -
-
Instagram短視頻功能發(fā)展正趨于停滯 觀看時長不及TikTok十分之一
幾個月來 Instagram 一直在努力發(fā)展其短視頻項目 Reels,但據(jù)一份內部報告顯示,短視頻功能的發(fā)展正...
來源:TechWeb -
5G高空瞭望智能“監(jiān)督員”24小時在崗 鶴壁打造5G智慧社區(qū)
守在大屏前,小區(qū)各處安全狀況一覽無余;不用跑醫(yī)院,5G健康小屋幫你體檢;在公園座椅休息時,可以同時充...
來源:人民郵電報
直播更多》
-
美國麻省理工學院開發(fā)出無電池無線水下相機 能效比其他海底相機高出約10萬倍
科學家估計,超過95%的地球海洋從未被觀...
-
美國麻省理工學院開發(fā)出無電池無線水下相機 能效比其他海底相機高出約10萬倍
科學家估計,超過95%的地球海洋從未被觀...
-
新建改造通信宏基站95座 廣西南崇高鐵5G網絡建設忙
連日來,中國鐵塔廣西分公司的工作人員...
-
龍族大戰(zhàn)指環(huán)王 流媒體邁入大片時代
當流媒體邁入大片時代,拼實力的時候到...
-
2022無錫(北京)科技合作洽談會74個重大項目簽約 總金額達到202.34億
在近日舉行的2022無錫(北京)科技合作洽...
-
構建網絡安全保障體系 天津濱海高新區(qū)在信創(chuàng)安全領域持續(xù)發(fā)力
9月上旬,天津濱海高新區(qū)內企業(yè)麒麟軟件...
資訊更多》
焦點
- 罕見鉆石“講述”水的故事 地球660公里深處或存在礦物結合態(tài)水
- 培育數(shù)據(jù)要素市場 河南省發(fā)布大數(shù)據(jù)產業(yè)發(fā)展行動計劃
- 如果能夠重新來過 馬斯克或不會將首家歐洲工廠設在德國
- 補齊訓練短板 科學組訓助力獵鯊海天
- 廈門國家火炬高新區(qū)專精特新企業(yè)培育項目開班 50名備企業(yè)高管開啟研學之旅
- 為禁捕退捕裝上“數(shù)字眼” 中國聯(lián)通助力長江黃河流域水域治理
- 順豐同城寄丟20克黃金保價8000元只賠2000元 當事人質疑保價意義何在
- SK明年將在韓國投資73萬億韓元提升產能 未來5年還將投入25萬億韓元
- 大理州首個文旅行業(yè)5G應用 5G智慧文旅項目落戶銀都水鄉(xiāng)
- 德國柏林國際消費電子展全面恢復線下舉辦 大量“智慧家居”類產品吸引眼球