本研究では,背向する2台の魚眼カメラの全天球映像の一部を切り出してHMD(Head Mounted Display)に没入提示するシステムにおいて,その映像のネットワーク伝送について検討したものである.
研究概要
本研究ではカメラ映像をネットワークで伝送する.そのため並列処理の可能な小型ボードコンピュータとしてNVIDIA社のJetson Nanoを搭載しカメラ側の処理を担当させる.
2台の魚眼カメラの映像を非圧縮でコンピュータに取り込み,並列処理機能を活かして映像の加工や圧縮を行い,ネットワークへストリーミングする.
提示側では,Unityでストリーミング映像を受信し,球面に貼り付け,HMDで没入提示できるようにする.
映像圧縮のコーデックにはH.264,ストリーミング伝送のプロトコルにはRTSPを使っている.また,パイプライン処理を実現するために,マルチメディアフレームワークのGStreamerを基盤とし,NVIDIA社が提供する並列処理で強化されたエレメントを利用している.
コメント