近即時串流影像物件偵測與識別系統

技術摘要

為了提供即時串流影像物件偵測,使用SRS (Simple Realtime Server)為核心的串流平台,串流平台可以同時支援多種影像辨識的結果畫面包含偵煙偵火、車牌辨識、物件辨識等,為了能在更多平台上進行直播還加入了WebRTC、HLS等直播協定提供多元的串流服務以支援多種設備,最後透過WordPress、HTML5、Video JS或是各式JS的套件進行結果影像的呈現。

現有技術描述、問題及其缺陷

由於Edge端上進行即時影像辨識,會因為邊緣設備的效能不足,造成延遲嚴重等問題,因此我們預計使用OpenVINO與DeepStream技術,將神經網路模型輕量化,加速運作效率並減少延遲。

本技術發明之目的及達成功效

近年來各式智慧裝置普及,時時刻刻在記錄這生活中各項數據,傳統的物聯網及雲端運算的架構,變得無法滿足這類的需求,因此「邊緣計算」的技術相應而生。本技術將結合兩者,透過即時串流影像物件偵測並在Edge端進行辨識,使用Pytorch作為建構神經網路的工具,再配合OpenCV以及YOLO兩種影像處理及辨識的工具,對傳輸回來的即時畫面進行影像識別,透過Kubernetes與Docker來快速佈署環境Edge端,並在Edge端進行即時串流影像物件偵測與識別。本技術對國內AI物件辨識及串流直播等學術研究或企業發展有一定參考價值,使未來發展出更具有前瞻性的系統,提升AI物件辨識系統研發能量。

圖1

圖1

圖2

圖2