首頁 > 頭條 > 火爆 GitHub!這個神器開源了!

火爆 GitHub!這個神器開源了!

發布: 2021-08-09 19:42:33
轉載
3470 人瀏覽過

最近全球各大新勢力造車公司簡直不能再火紅!小編看著蹭蹭飆升的股價實在是眼紅的不要不要的。而懂行的人都知道,以特斯拉為首,各大公司都採用電腦視覺作為自動駕駛的技術底座,而其中正是透過影像分割技術,汽車才能分清楚哪裡是路,哪裡是人。

那影像分割重不重要還需要我強調麼?而今天我要跟大家介紹的這個開源套件,就涵蓋業界最前沿的影像分割演算法,並且效果超群,這就是 PaddleSeg! ! OMG,還在等什麼? !盤他!盤他!盤他!

640 (5).gif

如期舉行的全球電腦視覺頂會 CVPR2021 上,PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰賽是近年來自動駕駛場景理解領域極具影響力的賽事,非常考驗參賽者在非結構化環境中的語意分割演算法能力。百度 PaddleSeg 團隊最終擊敗其餘參賽隊伍,在 Level 1, Level 2, Level 3 三項測試指標上均以第一名的成績摘獲冠軍。

火爆 GitHub!這個神器開源了!

著急的朋友可以直接去看比賽詳情:

https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSegsentation_PaddleSegsentation_PaddleSeg .pdf

 

那麼PaddleSeg 到底是個啥呢?小編去GitHub 上去扒了一下官方的解釋:

PaddleSeg 是基於飛槳開發的端到端影像分割開發套件,涵蓋了高精度和輕量級等不同方向的大量高品質分割模型。透過模組化的設計,幫助開發者完成從訓練到部署的全流程影像分割應用。以下就跟大家講講PaddleSeg 的特點和近期更新的內容:

 

#全新升級了人像分割功能,提供了web 端超輕量模型部署方案;

推出了精細化的分割解決方案PaddleSeg-Matting;

開源了全景分割演算法Panoptic-DeepLab,豐富了模型種類;

發布了互動式分割的智慧標註工具EISeg。極大的提升了標註效率。

火爆 GitHub!這個神器開源了!

Web 視訊會議  

火爆 GitHub!這個神器開源了!

#Matting

火爆 GitHub!這個神器開源了!

全景分割

4 (2).gif

互動式分割

提供了產業級的部署方式。如今又增加了這麼多的新功能。可以說 PaddleSeg 已經可以全方位、立體式地滿足開發者各個維度的需求。不得不大說:、

火爆 GitHub!這個神器開源了!

這麼好的產品,還不快上車?

上車網址:

https://github.com/PaddlePaddle/PaddleSeg

 

##產業級人像分割方案PPSeg 

人像分割是影像分割領域非常常見的應用,在實際應用過程中人像的資料集來源多種多樣,資料可能來自手機、相機、監控等,圖片尺寸可能是橫屏、垂直屏或方屏。部署場景多樣,有的應用在伺服器端,有的應用在行動端,還有的應用在網頁端。為此 PaddleSeg 團隊推出了在大規模人像資料上訓練的人像分割 PPSeg 模型,滿足在服務端、行動端、Web 端(Paddle.js)多種使用場景的需求。

 

火爆 GitHub!這個神器開源了!

PPSeg 模式在產業中得到了廣泛的應用。近期「百度視訊會議」也上線了虛擬背景功能,支援用戶在視訊會議時進行背景切換。其中人像換背景模式採用 PaddleSeg 團隊開發的 PPSeg 系列模式中的超輕量級模式。透過 Padddle.js 實現了在 web 端部署,直接利用瀏覽器的算力進行圖片分割,分割效果受到一致好評。

5 (2).gif

產業級解決方案詳解:

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg

夥伴們也可前去百度首頁體驗百度視訊會議,直覺體驗PaddleSeg 和Paddle.js 為大家提供的人像分割功能。

 精細化的分割解決方案 PaddleSeg-Matting 

隨著分割技術的發展,人們對分割的精細化的要求也越來越高。例如在一些影視產業,綠幕作為拍攝的換背景常用的工作,但目標不在綠幕前拍攝,是否還能達到很好的背景分割功能?

答案是:能!

最近 PaddleSeg 團隊開源的精細化分割解決方案 PaddleSeg-Matting 就很好的解決了這個問題。將目標的髮絲實現了精準的分割。

火爆 GitHub!這個神器開源了!

PaddleSeg 透過內建 trimap 產生機制實現 alpha 預測,無需任何輔助資訊的輸入即可完成預測,大大減少了人力成本。透過共享 encoder 權重減少網路的參數量,並在 decoder 階段利用 attention module 實現 trimap 資訊流對 alpha 預測的指導。接著利用 error map 擷取錯估區域的 patch,透過 refinement 子網路進行 refine 得到最終的 alpha。

火爆 GitHub!這個神器開源了!

 互動式分割智慧標註工具 

業界對於人工智慧有這麼一句話:「深度學習有多智慧、背後就有多少人工」。這句話直接說出了深度學習從業者心中的痛處,畢竟模型的好壞數據佔據著很大的因素,但是數據的標註成本卻讓很多從業的小伙伴們感到頭疼。

為此 PaddleSeg 團隊重磅推出的互動式分割智慧標註軟體EISeg 那具體什麼是互動式分割呢?透過下面的動態圖來了解一下。

640 (1).gif

640 (2).gif

#不難發現,互動式分割透過一系列的綠點(正點)和紅色點(負點)實現了對目標物件的邊緣分割,互動式分割主要的應用方向是影像編輯和半自動標註,可以應用於精細化標註,摳圖,輔助影像後製(例如PS)等場景。

PaddleSeg 團隊聯合 PaddleCV-SIG 成員基於 RITM 演算法,推出了業界首個高效能的互動式分割工具 EISeg,我們支援 RITM 模型的訓練、預測及互動的全流程。 PaddleSeg 互動式分割模型不僅支援從頭訓練強大的通用場景模型,還支援對特定場景資料進行 Finetune。我們利用百度自建人像資料集對模型 Finetune,得到預測速度快,精度高,交互點少的人像互動分割模型。

6 (2).gif

軟體提供多種安裝方式,支援使用者使用 pip 和 conda 安裝,另外 windows 下提供了可執行的 exe 文件,雙擊.exe 即可執行程式。

 全景分割 Panoptic-DeepLab 

全景分割是影像分割領域在近年來興起的一個新領域,由 FAIR 與海德堡大學在2018年首次提出。

 什麼是全景分割呢?

圖像的資訊可以分為 thing 和 stuff,其中 thing 表示可數對象,例如車、動物等等,stuff 表示不可數對象,例如沙灘、天空等等。語意分割任務不關注圖像中的是 stuff 還是 thing,只關注每個像素所屬的語意類別,因此無法實現實例物件的區分。而實例分割關注的是 thing 的分割,將圖像中的 thing 識別出來,區分出不同的實例個體以及相應的語義訊息,對於 stuff 區域,則統一表示為背景。全景分割是融合了語義分割和實例分割的技術,對於 thing,識別出不同的實例個體以及對應的語義訊息,對於 stuff,識別出對應的語義資訊。

火爆 GitHub!這個神器開源了!

Panoptic DeepLab 首次以bottem-up 和single-shot 演算法形式達到state-of-the-art 性能,相比於top-down 演算法Panoptic DeepLab 以簡單的網路結構實現了精度、速度雙超越,開創了全景分割演算法新方向,目前Cityscape 全景分割榜首即基於此演算法。

 

火爆 GitHub!這個神器開源了!

 PaddleSeg 全貌 

  • 全明星演算法陣容

20 全面領先同類框架的高精度語意分割演算法,50 預訓練模型新增全景分割演算法,豐富了應用場景。提供了高精度的人像分割演算法 HumanSeg,滿足多端部署。

 

  • 全產業鏈部署

不僅全面支援動態圖開發,可以順暢的完成動靜轉換;還從資料預處理、演算法訓練調優、壓縮、多端部署等全流程、各環節順暢打通,大大提升了使用者開發的易用性,加速了演算法產業應用落地的速度。尤其是透過 Paddle.js 支援在 web 端部署,賦予了網頁端部署的更多可能性。

 

你還在等什麼? !如此用心研發的高水準產品,還不趕緊 Star 收藏上車!

傳送門:

https://github.com/PaddlePaddle/PaddleSeg

#
相關標籤:
來源:OSC开源社区
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板