Shunkeiではドローン、ラジコンカーといった移動体向けの低遅延IP映像伝送装置 Shunkei VTXを開発してきました。カメラに光が入ってから遠隔地にIP伝送されディスプレイに再び光として現れるまでのすべての遅延（Glass-to-Glass遅延）の削減について取り組んでいます。

このたびShunkeiでは株式会社NHKテクノロジーズと共同研究を行い、同社が実施するIPリモートプロダクション実証実験に参画しました。本実証実験では六本木のライブ会場BillBoard TokyoのライブをフルIPによるリモートプロダクションを行い、Web配信とイマーシブオーディオを用いた8Kライブビューイングをするものです。

IPリモートプロダクションとは

IPリモートプロダクションでは、音声・映像をIPネットワーク経由で伝送することで、従来現地に常駐する必要があったカメラマンやサウンドエンジニアなどを別の拠点に配置することができます。これにより運搬や設営コストなどを大きく省力化、仮設ではない設備での音声・映像エンジニアリングでの体験品質向上が期待できます。

IPリモートプロダクションにおける課題

リモートプロダクションではカメラマンのパン・チルト・ズームといったPTZ操作も遠隔から行います。また、送出する映像の切り替え（スイッチング）やミックスも遠隔から行います。この際、課題となるのが映像遅延です。遅延のある映像を用いてカメラ操作を行うと、動きの素早いダイナミックな操作やズームしながら被写体を追う操作、急停止する操作などがやりづらいという問題があり、現地にカメラマンがいる場合と比べてカメラワークが保守的になり緩慢にな課題がありました。

また、映像スイッチングでは、映像に何か問題が生じたときに素早く映像を切り替える必要があり、映像遅延が課題となります。

Shunkei VTXの活用

本実証実験では瞬景が持つ低遅延映像伝送技術を生かし、スイッチャーやカメラマン向けのリターン（返し）映像の低遅延IP伝送を行いました。

スイッチャーを操作してから遠隔のスイッチャー映像が切り替わり手元の画面に表示されるまでのMotion-to-Photon遅延はおおよそ20msでした。Shunkei VTX内の符号化・復号遅延は1ms以下であり、スイッチャー内のフレームバッファによる遅延、ディスプレイ内のバッファリング、ミキサーのバッファ遅延と考えられます。

カメラマン用のPTZの操作・アクチュエータ遅延含めた映像のMotion-to-Photon遅延は150～200ms程度でした。

今回のネットワーク遅延については数十kmの網内折り返しのため数ms程度です。

操作を担当したカメラマンからは、「今までではできないようなカメラワークができるようになった。現地にいるのと変わらないレベルで操作できる。」、「これを知ってしまうともう他の物には戻れない。」「従来のものよりも格段に快適に操作できる。」といったポジティブなご意見をいただきました。

同様にスイッチャーのオペレータからは「操作した瞬間に切り替わる。局内と操作感は変わらない。」というご意見をいただきました。

瞬景では100km/h以上で飛行するレースドローンのような高速移動体の遠隔操縦を想定した映像伝送システムを開発しています。同様にリアルタイムに人間がフィードバック操作を行う必要のあるユースケースである、リモートプロダクションにおけるカメラ操作・スイッチングでも同様に適用できたと考えられます。

瞬景ではこれからも、その100msの遅延削減による価値のご提供を目指して参ります。