触覚情報と診察動画を統合・伝送し、遠隔で触感の再現に成功～医療手技の定量化や教育利用など、医療の高度化に貢献～

2024-01-10

2024-01-10 新エネルギー・産業技術総合開発機構,北海道大学,BIPROGY株式会社,株式会社テクノフェイス

NEDOが委託する「ポスト5G情報通信システム基盤強化研究開発事業」(以下、本事業)の一環で、国立大学法人北海道大学、BIPROGY株式会社、株式会社テクノフェイス(以下、本研究グループ)は、触覚情報と診察動画を統合し、遠隔の医師間で共有する遠隔触診システム(以下、本システム)を開発しました。今般、北海道大学病院(北海道札幌市)、帯広厚生病院(北海道帯広市)、函館中央病院(北海道函館市)の3拠点を結んだ遠隔触診の実証に成功しました。

本システムは、画像、音声、触感などのデータを統合的に解析するマルチモーダル信号を動画のフレーム単位で統合・同期し、5Gで伝送するものです。マルチモーダル信号が、動画ストリーミングの既存フォーマットに統合されることで、通信品質を決める要素が帯域と遅延のみに単純化されます。これにより、マルチモーダル信号をリアルタイムに扱うだけでなく、データベース化して蓄積・配信・再現でき、医療手技の定量化や教育用途など、新しい利用機会をもたらすことが見込まれます。本研究グループは、本システムの普及促進やユーザーとの価値共創を目指し、本格運用や関連技術の展開を2024年度以降に予定しています。

図1　本システムの社会実装のイメージ

1.背景

ポスト5G環境下では、多数の機器が接続した状態でマルチモーダルなセンシング情報が行き交い、それらの情報を活用した各サービスに対して、最適なネットワークの提供が必要となります。ポスト5Gは今後、医療や工場、自動運転といった多様な産業用途への活用が見込まれており、日本の競争力の核となり得る技術と期待されています。

ポスト5Gでは、各接続サービスに対して、さらなる高速・大容量、高信頼、低遅延など、幅広い要求条件に対応する必要があります。そこでサービス要件に合わせて単一のネットワークを複数のスライスに分けて提供するネットワーク・スライシングが提案されています。ネットワーク・スライシングは、継続的に拡張がなされていますが、最適化にはサービスごとに接続された膨大な機器群の監視や各サービスの性能要求の判別、経済性を考慮した機器開発、複数の規格の扱いなどの課題を解決する必要があり、ネットワーク事業を担う企業だけではこれらの課題を解決することが難しい状況です。

そこで、NEDOは、本事業^※1においてポスト5Gに対応した情報通信システムの中核となる技術の開発を強化しており、その一環として本研究グループは、マルチモーダル情報サービスにおけるネットワークの最適化と、その技術応用に取り組んできました。

今般、本研究グループは、動画・音声配信の中核技術であるコーデック^※2に着目し、それにマルチモーダル信号を埋め込み、統合することで、コーデックの持つ性能基準とスライシング基準をひも付ける手法を開発しました。その技術の応用として、触覚情報と診察動画を遠隔の医師間で共有する遠隔触診システムを構築し、北海道大学病院、帯広厚生病院、函館中央病院の3拠点を結んだ遠隔触診の実証に成功しました。

2.今回の成果

本事業で触覚をはじめとしたマルチモーダル信号の統合・活用を5Gネットワークで行うにあたり、応用領域を遠隔触診に定め、「触診向けセンシング機器および遠隔における触覚情報の再現機器とシステム全体の制御技術」と「マルチモーダル情報の5G遠隔伝送に不可欠な、触覚情報と視診向けの高精細動画との連動技術」の2テーマに取り組み、開発に成功しました。

遠隔触診は、DtoD(医師間伝送)を想定しており、他拠点との医師とも情報を共有することで、医療資源の偏在の改善、治療の効率性向上などを期待しています。送信側医師によりセンサー群で取得した触診情報は、多チャンネル応力情報として深さに応じた弾性値へ、情報の逐次変化から粘性値へと変換します。それらのデータを視診向け動画のフレームに応じて埋め込むことで、触覚情報と動画内の時空間が完全に同期し、マルチモーダル情報を含むコンテンツとなります。この時、動画の5G伝送に必要なパラメーターは、動画伝送時の既存コーデックに関連するパラメーターのみとなり、動画データの帯域とサービスが要求する遅延に簡略化され、ネットワーク・スライシングの設定を容易にします(図2)。

また、この動画コンテンツは、視診用とともに触診位置などの属性を含んだデータベースとしても利用でき、受信側医師は逐次触診情報にアクセスして触覚を能動的に再現できます。同時に、触診履歴の蓄積保存とカルテなどとの情報共有、触診の定量化など、治療効果の経時的分析や教育用途にも展開できます。

図2　本事業におけるポスト5Gマルチモーダル信号伝送のイメージ

実証実験では、コーデックの規格を「H.265」とし、市販のカメラで取得した4K解像度で30フレーム/秒(fps)の動画を5Gで接続された道内中核病院の2拠点間および3拠点間で共有しました(5Gネットワークの構築はNTTコミュニケーションズ株式会社の協力による)。

上腕部の触診では、カメラで画像を取得して触診センサー情報と統合させ、5G伝送を経て遠隔で触覚再現までを行うエンドツーエンドによる計測を実施したところ、2拠点間を同時接続した場合は0.8秒の遅延で、札幌、帯広、函館の3拠点間の同時接続(統合情報をクラウドで蓄積しながら配信)した場合は1.7秒の遅延でそれぞれ遠隔触診可能なことを実証しました(図3)。

いずれにおいても、取得画像とセンサー情報のタイミングは完全に同期しており、遠隔医師からの指示音声と、それに応じた現場医師から送られる触診再生画像のズレが2.0秒程度あった場合でも影響が出ないことを確認し、診察する上で医師のストレスにならない遠隔触診サービスを実現する見通しが得られました。

本成果により、遠隔触診を一例として、サービスに応じた最適ネットワークのパラメーターの簡略化がなされ、ネットワーク・スライシングへの指針^※3を明確化できることが示されました。

図3:　札幌、帯広、函館3拠点遠隔触診実験
(左:受信側、中央:送信側、右上:センサーデバイス、右下:触覚再現器)

3.今後の予定

本研究グループでは、本システムの拡張性や信頼性の向上を図ることで、マルチモーダル信号を扱うサービスの技術展開・実用化を進めていき、本格運用や関連技術の展開を2024年度以降に予定しています。併せて医療分野で本技術を用いた高度先進医療と診療コンサルティングの提供、医学部生や研修医などの教育への利用に道筋をつけるとともに、非医療分野への展開に向けた研究開発も進めていきます。