本取り組みでは、モバイルネットワーク5G実験局を用いてレースドローンを完全見通し外・目視外飛行（NVLoS環境）を行いました。Shunkei VTXによる低遅延なIP映像伝送と、5Gの低遅延かつ広帯域なネットワークを組み合わせることにより、難易度が極めて高いレースドローンの角速度制御による完全見通し外飛行を世界で初めて成功させました。
慶應義塾大学湘南藤沢キャンパス内教室から屋外のドローンを操縦し、遅延内訳の評価を行いました。コントローラー（プロポ）のスティックを動かしてからIP伝送されモーターに電流が流れるまでの遅延（DL）は13.9ms、カメラに光が入ってからIP伝送されディスプレイが光るまでのGlass-to-Glass遅延（UL）は41.7msで、すべての合計遅延はわずか67msでした。
Stick-to-Motion遅延
13.9ms
Glass-to-Glass遅延（UL）
41.7ms
合計遅延（往復）
67.0ms
概要
ドローンレースはFPV映像を見ながら高速でコースを周回する競技で、150km/h超の速度域になることもあり、映像と操縦の「遅延」が勝敗と安全性に直結します。従来は5.8GHzのアマチュアバンドを用いた低遅延なアナログ映像伝送と、2.4GHzを用いたISMバンドのRCリンクが主流でした。
しかしこの方式は、電波の回り込みやマルチパスによる画質劣化、利用人数のスケール、基本的にドローンが見渡せる範囲のみの操縦に限られる（LVoS）などの課題があります。
今日では4G、5Gといったモバイルネットワークを用いた通信が当たり前となっています。そこで「5GなどのIPネットワークを使えれば、ネットが繋がる場所からレースドローンを操縦できる」ことを目指しました。
一方で、レース用途の「超低遅延」を満たすIP操縦プロトコルや、遅延内訳をどう測るかの知見がほとんどありませんでした。今回は、低遅延なIP経由のレースドローン操縦を実現するシステムの設計実装と、低遅延IP映像伝送することができるShunkei VTXを用いた、フルIPでの操縦、映像伝送を検証しました。
一般的なレースドローンの動画
FPV映像を見ながら高速でコースを飛行するレースドローンの例
ドローンのIP操縦の事例
ドローンのIP操縦は様々なところで試みられており、実証実験段階まで進んでいる企業もあります。また、大手DJIでもMatrice 300、400シリーズに4G Dongle[1]を使うことでネットワーク経由で操縦を実現しています。
ソフトバンクはクラウドGCS[2]を開発し、ネットワーク上からドローンのウェイポイント管理、ミッション管理を実現しました。また、運行管理を行うUTM[3]でも同様の事例が報告されています。国内ではドコモ、KDDIを始めとしてキャリア各社がドローン向けSIMサービス[4,5]を提供しており、今後ますますの活用が期待できます。
レースドローンの難しさ
既存のソリューションの多くは点検・測量などが主目的であり、基本的にミッションを管理しウェイポイントを制御するものです。つまり、基本的に自律して動くドローンをネットワーク側から制御しようというものです。このため、レースドローンのように完全手動による遠隔操縦は想定されていません。
レースドローンにはGPSが搭載されておらず、基本的にその場に留まることはできません。風で流されたり、プロペラの僅かなバランスの差やフレームの僅かな歪みなどによる揚力の差で勝手に流れていきます。また、角速度を取得するMEMSジャイロセンサは製造の仕組み上、僅かにドリフトが発生します。こうした影響により、常に修正舵を当て続けなければその場にとどまることすらできません。このため、レースドローンにおいては遅延の少ない操縦伝送と映像伝送が欠かせません。
通常、ドローンでは角度制御（いわゆるANGLEモード）がされており、スティックを倒すと倒した分だけ機体が傾きます。手を離せば中立に戻り水平に戻ります。レースドローンでは角度制御ではなく、角速度制御（いわゆるACRO）による飛行が一般的で、スティックを倒している間機体の角度が積分されていきます。つまり、倒し続けると空中で一回転します。角速度制御では角度制御よりも無理な軌道ができるため、スピードを求めるレースドローンに適しています。
このACROでの飛行ではスティックが倒す時間が重要で、倒しすぎると機体が大きく傾きすぐに墜落につながります。この点においてもレースドローンは最も遅延に敏感なアプリケーションと言えるでしょう。
ドローンのIP操縦
レースドローン向けのIP操縦プロトコルは存在しません。自律ミッションを前提としたテレメトリ伝送プロトコルとして、Ardupilot系で使われるMavlink、Betaflight系で使われるMSPが存在しておりここに操縦信号を載せ操縦することもできます。
しかし、パケットのオーバーヘッドやFC側のパース負荷が存在し、数kHzといったより高い送信頻度を実現するため独自のプロトコルを実装しました。本プロトコルでは、ヘッダ4Byte + ペイロード8Byte = 12Byteであり14ch相当の操縦信号を格納します。モバイル網で発生しうる電界強度変化によるスループット変動による遅延や、re-orderingを検知するためのtimestampを備えます。
遠隔地のプロポ信号をIP伝送するために、IP to S.BUS変換を実装する必要があります。Raspberry Piに通常のSBUSレシーバーを接続し、ネットワーク経由で受信した操縦信号に基づきSBUS出力を行いFCに指令値を伝えます。ネットワーク切断時には自動的にRCレシーバーに切り替わるよう実装しました。
ドローンの映像伝送
通常であればアナログ映像伝送が用いられますが、今回はIP経由での低遅延映像伝送のためShunkei VTXを用いて映像伝送を実施しました。映像は5Gネットワーク経由で伝送されます。
アーキテクチャ
モバイル網は途切れる可能性があります。IP操縦のみとすると即ノーコンとなり非常に危険です。そこでIP系が切れたらすぐに通常のプロポにフェイルオーバーする仕組みを実装しました。現地にいる人と遠隔にいる人を用意し切り替えられる体制をつくります。
操縦だけでなく映像もShunkei VTXを用いたものと、従来のアナログ映像伝送を用意しました。
ドローンのFC FWにはBetaflightを使用しました。
ネットワーク
ネットワークは慶應義塾大学湘南藤沢キャンパス内の5G実験局を用いて実施しました。
操縦している様子
見通し外の屋内からドローンをフルIPにより操縦・映像伝送している様子です。GPSによる位置の保持によらず角速度制御による手動操縦で飛行できました。この操縦は遅延のある環境だと実現困難で、カメラ-ネットワーク-操縦まで含めた一連のフィードバックループが低遅延に回っているため実現できたことです。
遅延評価
スティックを動かしてからドローンに操縦が伝達され、映像が5G伝送され、操縦者のモニタに映像が表示されるまでのアクチュエータ遅延を含めた遅延時間の合計は67.0msでした。
遅延の内訳と測定手法は以下の通りです。
ShunChecker-Remoteを用いてドローンを操縦する屋内と飛行する屋外の間の一方向のGlass-to-Glass映像遅延を測定しました。複数地点で測定したところおおよそ53.2-53.3msでした。
また、操縦側の遅延も測定しました。スティックを動かしてからモーターに電流が流れ始めるまでの遅延（Stick-to-Motion）を測定しました。DLとULの遅延が異なるのはモバイルネットワークにおけるタイムスロットの違いより発生しているものと考えられます。
今回はSBUSを用いましたが、SBUSは140Hzごとに信号を送信するため平均3.5msの遅延が生じます。ELRSのような1kHzまで対応できるプロトコルを用いることで遅延を平均0.5msまで削減し、IP操縦遅延をさらに3ms程度縮めることができます。
| 項目 | 測定値 |
|---|---|
| Glass-to-Glass映像遅延（ネットワーク除く） | 41.7ms |
| ULネットワーク遅延（片道・無線区間、Linux IPスタック処理込み） | 11.5ms |
| IP操縦遅延（スティック→電流） | 9.18ms |
| DLネットワーク遅延 | 4.69ms |
| 合計 | 67.1ms |
まとめ
Shunkei VTXによる映像伝送と新たに実装したレースドローン用IP操縦プロトコルにより、レースドローンを角速度制御かつモバイルネットワーク5GによるフルIPで見通し外飛行（BVLoS）することに成功しました。
遅延評価をした結果、IP操縦遅延は13.9msとIP映像伝送遅延は53.2msで合計遅延は67msでした。通常のIPによる操縦では映像伝送だけでも100-200ms、さらに操縦遅延がかかります。Shunkei VTXと低遅延な5Gネットワークにより低遅延が求められるレースドローンの飛行が実現できました。
瞬景ではこれからも低遅延による価値の創出を目指していきます。
本実験は東京航空局に許可を得て行っています。本研究は慶應義塾大学と行いました。