不用綠幕輕鬆後製!Google 人工智慧技術在 YouTube 上即時去背

人工智慧運用在 YouTube 除了優化推薦和內容審核, Google 人工智慧推出即時去背功能,利用神經網路影片分割(Neural network video segmentation)讓換背景和換濾鏡ㄧ樣簡單!
評論
評論

人工智慧運用在 YouTube 除了優化推薦和內容審核,為創作者提供更便利的影片工具也是他們重要的計畫,日前 Google 宣布在 YouTube App 推出即時去背功能,利用神經網路影片分割(Neural network video segmentation)就能即時更換背景。

一般創作者在影片拍攝時常需要租借綠幕攝影棚,後製時再手動進行背景更換,Google 最新的機器學習成果,不用額外的裝置就能讓人物及背景即時分層,創作者不需要專業設備也無須耗費時間,也能製作出具備個人風格背景的影音內容。

Google 工程師在官方部落格公布詳細的技術內容,他們 利用機器學習來完成卷積神經網路的語義分割,設計適用於手機的網路架構和訓練程式,在行動裝置上需要以輕量級運作速度,至少要 比現有最先進照片分割模型快 10-30 倍,提供每秒 30 幀的推論結果。

目前此卷積神經網路在 iPhone 7 可播放每秒超過 100 個以上畫面(100+ FPS)之速度,在 Pixel 2 上的也有 40+ FPS,精準度高達到 94.8%。

 

為了讓機器學習提供高品質的數據,他們標記了成千上萬個圖像資料,這些來自圖像捕捉前景姿勢和背景畫面。標記的元素包括的前景人物會出現的元素如頭髮、眼鏡、脖子、皮膚、嘴唇等,和一般的背景標籤相比達 98%的像素精確度。更多詳細的內容已公開在 Google 研究部落格

Photo Credit:Google

在訓練過程他們讓每秒的畫面更連慣,人像和背景間的交界更平滑,目前還在測試階段,背景的樣式並不多,早晨、黑夜、工作室燈光、霓虹等等場景,就像在其他社群軟體即時動態更換濾鏡ㄧ樣簡單的操作,Google 團隊表示未來他們將分析更多資料,標記更多的數據,同時也計劃將此技術整合到 Google 的 AR 功能上。



精選熱門好工作

新市場行銷 New Markets Marketing

Hahow 思哈股份有限公司
臺北市.台灣

獎勵 NT$15,000

iOS工程師

Omlet Arcade 美商歐姆雷特
臺北市.台灣

獎勵 NT$15,000

專案經理(2C)

英屬維京群島商幫你優股份有限公司台灣分公司
臺北市.台灣

獎勵 NT$15,000