天天視訊!小米新技術落地:能將圖片中的表格轉化成Excel文件
今天下午,小米創(chuàng)辦人雷軍介紹了小米自研的一套表格識別算法,該算法高效準確地將圖片中的表格轉化為可編輯的Excel文件,大幅提升使用體驗。表格識別是指將圖片中的表格結構和文字信息識別成計算機可以理解的數(shù)據(jù)格式,在辦公、商務、教育等場景中有著廣泛的實用價值,也一直是文檔分析研究中的熱點問題。
(資料圖)
訪問:
阿里云1核2G云服務器低至1折 最高可得500元滿減優(yōu)惠券
訪問:
小米有品
圍繞這個問題,小米研發(fā)了一套表格識別算法,該算法高效準確地提取圖片中的表格,轉化為可編輯的Excel 文件。目前算法已經(jīng)成功落地于小米10S系列、MIX Fold 2等旗艦機型,大家可以從相冊-更多-表格識別,或者掃一掃進入體驗。
表格檢測算法
小米表示,表格檢測算法主要是從圖片中準確的提取表格區(qū)域,并對表格進行矯正,得到平整的表格圖片以便下一步的表格識別;
表格識別算法主要是從圖片中提取表格結構和表格文字內(nèi)容,然后將這些信息有效的結合在一起,輸出可編輯的Excel表格。
表格檢測有以下難點:一方面是手機上的算法和內(nèi)存有限,另一方面是對表格檢測結果要求非常高,表格周圍往往包含其他文字,如果檢測結果不準,會對后面的識別結果造成負面影響。
小米的表格檢測算法會同時檢測到表格區(qū)域和表格的四個角點,通過透視變換和我們自研的抗扭曲算法得到只有表格區(qū)域的平整表格,效果如圖所示。
由于算法運行在手機端,需要保證運行速度和模型大小,小米采用了一個非常輕便的一階段檢測框架,backbone采用shuffleNetV2;
在檢測出表格框的同時,回歸出關鍵點信息,便于表格的透視矯正,并用Wing loss代替L1 loss讓關鍵點回歸更加準確;
數(shù)據(jù)方面,用算法低成本地從公開數(shù)據(jù)中挖掘大量表格檢測數(shù)據(jù),顯著性地提高表格檢測效果。最終模型大小為1M左右,順暢地運行在小米手機上。
表格識別算法
表格識別算法在服務端運行,主要包含的模塊有:文本檢測、文本識別、表格結構預測、單元格匹配、對齊算法、Excel導出。
目前主流的方法是將表格用HTML的超文本表示,然后對HTML進行編碼,預測HTML序列和對應的坐標信息。
該方法在開源數(shù)據(jù)集上取得了不錯的效果,中國平安科技和百度也采用了這種方案,但是HTML 的標簽過多導致表格結構識別容易出錯。
針對該方法的不足,我們對表格采用全新的編碼方式,僅用四個標簽就能表示任意結構的表格,極大地提高了表格結構識別準確率。
表格識別在部署過程中,采用Fastertransformer推理框架進行加速,官方稱小米的推理速度提升了大約20倍,明顯改善用戶體驗。
總結
該算法能高效方便地從圖片中提取表格,極大地提高辦公效率。小米表示,工程師們將持續(xù)提升小米手機中文檔類圖片的識別體驗。
推薦
-
-
提升城鎮(zhèn)一體化醫(yī)療服務能力 安溪升級智慧醫(yī)療云
近日,福建安溪電信在成功打造全縣醫(yī)療云服務的基礎上,依托EC產(chǎn)業(yè)園醫(yī)療云平臺,聯(lián)手安溪衛(wèi)健局開展醫(yī)...
來源:人民郵電報 -
AT&T投資600萬美元推出數(shù)字素養(yǎng)計劃 預計有超過65000人受益
美國電信運營商AT&T計劃捐贈600萬美元,用于推動覆蓋全美范圍的數(shù)字素養(yǎng)計劃,預計有超過65000人受益于...
來源:人民郵電報 -
-
SpaceX用戶發(fā)出通知 將根據(jù)當?shù)厥袌鰻顩r下調(diào)費用最多可打五折
埃隆?馬斯克(Elon Musk)旗下太空公司 SpaceX 已經(jīng)向世界各地的太空互聯(lián)網(wǎng)服務星鏈用戶發(fā)出通知,宣...
來源:網(wǎng)易科技 -
放棄老式登錄方式 Facebook母公司正式推出Meta賬戶
社交網(wǎng)絡巨頭 Meta正式推出了所謂的 Meta 賬戶和 Meta Horizon 個人資料。它們將被用來取代曾經(jīng)用...
來源:網(wǎng)易科技 -
今年全球半導體資本支出將達1855億美元 再次實現(xiàn)兩位數(shù)增長
據(jù)知名半導體分析機構 IC Insights 發(fā)布的最新數(shù)據(jù),顯示 2020-2022 這三年,將是自 1993-1995 ...
來源:愛集微 -
抖音測試新功能“發(fā)文助手” 開放給粉絲10萬以上創(chuàng)作者測試使用
近日,抖音測試新功能發(fā)文助手,針對用戶發(fā)布內(nèi)容的不規(guī)范表達進行提醒。目前,該功能先期開放給粉絲 1...
來源:TechWeb -
-
國產(chǎn)操作系統(tǒng)通用新增市場規(guī)模 將在2024年達到34.1億元
近日,億歐智庫針對國產(chǎn)操作系統(tǒng)通用市場發(fā)布了《2022年中國操作系統(tǒng)發(fā)展研究報告》。報告顯示,國產(chǎn)操...
來源:人民郵電報
直播更多》
-
福建省工業(yè)和信息化廳召開專題會議 對全省無管機構下一步工作提出五點要求
近期,福建省工業(yè)和信息化廳召開專題會...
-
福建省工業(yè)和信息化廳召開專題會議 對全省無管機構下一步工作提出五點要求
近期,福建省工業(yè)和信息化廳召開專題會...
-
落實“一崗雙責”主體責任 新疆鐵塔構建安全生產(chǎn)管理體系
新疆鐵塔堅持管行業(yè)必須管安全、管業(yè)務...
-
保護個人信息沒有“討價還價”余地 工信部對227款APP提出整改要求
近日,依據(jù)《個人信息保護法》《網(wǎng)絡安...
-
在競標中擊敗LG 三星電機獲得特斯拉攝像頭模組大單
上月初曾有消息人士透露,三星旗下的電...
-
賦能農(nóng)業(yè)現(xiàn)代化 5G為鄉(xiāng)村振興筑基注智
數(shù)字鄉(xiāng)村既是鄉(xiāng)村振興的戰(zhàn)略方向,也是...
資訊更多》
焦點
- 中俄邊境地區(qū)無線電頻率協(xié)調(diào)工作組及專家組會談 近日以線上視頻形式召開
- 浙江移動物聯(lián)網(wǎng)連接數(shù)突破1億 率先邁入萬物智聯(lián)時代
- 全力構建數(shù)據(jù)出境的“安全屏障” 9月1日起《數(shù)據(jù)出境安全評估辦法》正式施行
- 侵犯mRNA技術平臺核心專利 莫德納對輝瑞和BioNTech提起訴訟
- T-Mobile因泄密損失5億美元 其中3.5億美元將用于用戶賠償
- 數(shù)字政府市場規(guī)模保持高速增長 我國數(shù)字政府建設跑出“加速度”
- 中國信息通信研究院發(fā)布《中國存力白皮書》 梳理全球存儲產(chǎn)業(yè)發(fā)展現(xiàn)狀
- 取消讀秒設計 “新版”紅綠燈被罵上熱搜
- 電動汽車被排除出《通脹削減法案》 韓國政府通過多個渠道向美方表示擔憂
- 發(fā)揮央企“穩(wěn)定器”作用 安徽電信翼支付平臺助力提振消費