本研究では、医療現場において幅広く用いられている超音波検査について、検査精度を著しく低下させる原因となる「影」を、人工知能（AI）技術を用いて高精度に自動検出する新技術を開発しました。超音波検査に対する影の影響を評価することで、再検査の指示や異常検知性能の向上が期待されます。また、本技術は検査対象を選ばず、実装する労力やコストも大幅に削減されるため、がん検診や成人循環器など領域横断的に活用されることが期待されます。本研究において、国立がん研究センター研究所がん分子修飾制御学分野の浜本隆二分野長は、メディカルAI研究の専門家として、国立がん研究センター研究所に設置された最先端の閉鎖系計算研究環境を用いた医用画像情報統合・解析に大きな貢献を果たしました。
2019-07-26 理化学研究所,富士通株式会社,昭和大学,国立がん研究センター
理化学研究所（理研）革新知能統合研究センター（AIP）がん探索医療研究チームの小松正明研究員、理研AIP-富士通連携センター[1]の原裕貴副連携センター長（株式会社富士通研究所代表取締役副社長）、昭和大学医学部産婦人科学講座の松岡隆准教授、国立がん研究センター研究所がん分子修飾制御学分野の浜本隆二分野長らの共同研究グループ（注）は、超音波検査に人工知能（AI）技術を適用する上で、大きな課題の一つである「影」の検出に関して、効率的な新技術を開発しました。
本研究成果により、超音波画像に映り込んだ影が異常検知に与える影響を自動的に評価できるようになり、胎児心臓超音波スクリーニング技術[2]の臨床応用に向けた研究がさらに前進しました。
超音波検査では、超音波ビームが骨などの構造物に反射し、それより遠い場所の画像情報を取得できないために、その箇所が影として映ることがよくあります。これは「音響陰影」と呼ばれ、画像の質を劣化させるだけでなく、検査そのものの精度を著しく低下させる最大の原因です。
今回、共同研究グループは、機械学習[3]の一つである深層学習（ディープラーニング）[4]によるラベルなしデータ[5]での学習により、影を自動検出する新手法を開発し、従来手法に比べて高精度に影を検出できることを確認しました。また、本手法は、ラベルなしデータで学習することから、技術を実装する労力が大幅に削減されるというメリットがあります。
本研究は、医用画像へのディープラーニング技術適用に関する国際学会であるMIDL 2019（the 2nd International Conference on Medical Imaging with Deep Learning）で発表（7月10日付け：日本時間7月10日）しました。
(注)共同研究グループ
理化学研究所 革新知能統合研究センター 目的指向基盤技術研究グループ
がん探索医療研究チーム
研究員 小松 正明（こまつ まさあき）
研究員 浅田 健（あさだ けん）
理研AIP-富士通連携センター
客員研究員 安富 優（やすとみ すぐる）
（株式会社富士通研究所 研究員）
客員研究員 酒井 彬（さかい あきら）
（株式会社富士通研究所 研究員）
客員研究員 丸橋 弘治（まるはし こうじ）
（株式会社富士通研究所 主任研究員）
客員研究員 佐野 久幸（さの ひさゆき）
（富士通株式会社 担当部長）
副連携センター長 原 裕貴（はら ひろたか）
（株式会社富士通研究所 代表取締役副社長）
昭和大学 医学部 産婦人科学講座
教授 関沢 明彦（せきざわ あきひこ）
准教授 松岡 隆（まつおか りゅう）
助教 小松 玲奈（こまつ れいな）
講師 新垣 達也（あらかき たつや）
講師 徳中 真由美（とくなか まゆみ）
国立がん研究センター 研究所 がん分子修飾制御学分野
分野長 浜本 隆二（はまもと りゅうじ）
（理研 革新知能統合研究センター 目的指向基盤技術研究グループがん探索医療研究チーム チームリーダー）
ユニット長 金子 修三（かねこ しゅうぞう）
研修生 町野 英徳（まちの ひでのり）
研修生 生水 貫人（しょうず かんと）
研修生 同前 愛（どうぜん あい）
研究支援
本研究は、文部科学省「次世代人工知能技術等研究開発拠点形成事業費補助金」による支援を受けて行われました。
1．背景
超音波検査では、超音波ビームが骨などの構造物に反射し、それより遠い画像情報を取得できないために、その箇所が「影」として映ることがよくあります。これは「音響陰影」と呼ばれ、画像の質を劣化させるだけでなく、検査そのものの精度を著しく低下させる最大の原因です。
共同研究グループは2018年度から、機械学習、深層学習（ディープラーニング）を用いて、胎児心臓超音波画像の解剖学的構造をリアルタイムに検知することで疾患による構造変化を検出する診断支援人工知能（AI）技術を中心に研究開発を進めています。手動走査により取得し、また骨などによる影が入りやすい超音波検査画像に特有の課題を克服するために、これまで少量・不完全なデータからでも的確な予測が可能な「ロバストな機械学習技術[6]」を研究してきました注1。
しかし今後、臨床応用を進めていくには、さらに多様な超音波検査画像を処理する必要があります。そのような検査画像の中には、診断支援AIにとって重要な臓器を隠してしまう影など、そのまま解析すると誤った検知結果を導くものが含まれる可能性があります。そのため、不適切なデータに対しては、再取得を促す機能の開発が求められていました。
注1：理化学研究所 2018年9月18日プレスリリース「AIを用いた胎児心臓超音波スクリーニング」（外部サイトへ移動します）
2．研究手法と成果
超音波検査画像に映り込む影を検出する方法として、従来二つの手法がありました。一つは影の性質を詳細にモデル化し、ルールに基づいて影を検出するという伝統的な画像処理のアプローチ、もう一つはディープラーニングを用いて、影の有無をラベル（正解）付けしたラベル付きデータ[7]を学習（教師あり学習[7]）させて影を検出するというものです。
一つ目の手法は、超音波検査画像に映り込む多様な影に対応できるモデルを作る必要があるため、精度を高めることが難しいと考えられています。二つ目の手法は、ディープラーニングにより学習させるのに十分な量の「影あり／影なし」ラベル付きデータを準備する必要があります。しかし、影ありと影なしの境界を統一した基準でラベル付けすることが難しく、またこの境界以下の薄い影には原理的に対応できないという弱点がありました。
そこで、共同研究グループは、これら従来手法の弱点を克服するための新たなアプローチとして、ラベルなしデータで学習し、影を検出する新技術を開発しました。具体的にはまず、次の1から3によりラベルなしデータから影を学習させます（図1）。
- 元画像と専門医の知見に基づいてランダムに作成した「人工影」を合成したものを入力画像とする。
- その入力画像を、影のみを含んだ画像（影のみ画像）とそれ以外の構造物のみを含んだ画像（構造物のみ画像）に一旦分離した後、それらを合成することで入力画像を再構成するオートエンコーダ[8]を構成する（再構成画像）。
- 人工影を合成した入力画像と再構成画像との誤差と、人工影と分離した影のみ画像との人工影が存在する領域での誤差が、同時に小さくなるように学習させる。
学習後に影を検出する際には、入力画像を超音波検査画像とし、影のみ画像を検出結果とします。影のみ画像の画素値[9]の合計の比較などにより、影あり/影なしを自動的に判定することができます。
図1 ラベルなしデータで超音波画像の影を学習するモデル
まず、元の超音波画像と人工影を合成し、人工影を合成した入力画像を作成する。その入力画像をオートエンコーダにより、影のみ画像と構造物のみ画像に分離した後、それらを合成して入力画像を再構成する。赤枠の部分がオートエンコーダを示しており、エンコーダが入力画像から特徴量を抽出し、デコーダが特徴量から入力画像を復元する役割をする。学習後に影を検出する際には、入力画像を超音波検査画像とし、影のみ画像を検出結果とする。
本技術を、昭和大学病院産婦人科での通常の妊婦健診において取得した胎児心臓の超音波検査動画に適用して評価しました。動画93本（約16分）から作成した画像37,378枚を学習用データとして学習させ、7本（約1分）から抜き出して臨床医が影の部分をラベル付けした画像52枚（評価用データ）を使用して、影画像の検知精度（IoU[10]とDICE[11]）を評価しました。その結果、伝統的な画像処理手法（単純な2値化[12]）、および従来型のディープラーニング手法（SegNet）と比較して、開発した新手法は高精度に影を検出できることを確認しました（図2）。
図2 従来手法と本手法とを比較した評価結果
上段は伝統的な画像処理手法、中段は従来のディープラーニング手法、下段が本研究で提案した手法。物体認識の認識精度を評価する指標のIoU、機械学習の検知制度を評価する指標のDICEともに、提案手法が最も高いことが確認された。
これにより、検出した影が胎児心臓の異常検知に悪影響を及ぼす可能性を見いだすことで、検査者に対して「再走査の指示」を出し、誤った異常検知を防ぐことが可能となります（図3）。
図3 超音波検査画像の処理可否を判定する方法の例
超音波検査画像を学習済みモデルに入力し、影の検出結果として影のみ画像を得る。得られた影のみ画像を2値化し、検査対象の臓器部分に影が含まれるかどうか判定する。影が閾値以上あれば（含まれていれば）、異常検知の対象として不適とみなして再走査を指示する。
3．今後の期待
今後は、本技術を2018年度に開発した胎児心臓超音波スクリーニングの基盤技術と統合することで、異常検知性能を向上させるとともに、条件を満たさない入力を判定して再走査を指示する仕組みの構築を目指します。
さらに本技術は、検査対象などが変化しても、手法やモデルを変える必要がなく、危険性の高い影がどこにあるかのラベル付けも不要であることから、従来手法に比べて、技術を実装する労力やコストが大幅に削減されるという長所があります。従って、成人循環器やがん検診など、超音波検査が用いられている幅広い領域で横断的に活用されることが期待できます。
4．発表情報
タイトル
Shadow Detection for Ultrasound Images Using Unlabeled Data and Synthetic Shadows
発表者名
安富 優、新垣 達也、浜本 隆二
学会名
MIDL 2019, the 2nd International Conference on Medical Imaging with Deep Learning
発表（7月10日付け：日本時間7月10日）
5．補足説明
[1] 理研AIP-富士通連携センター
理研の産業界との連携センター制度に基づいて、理研AIPと富士通株式会社が2017年4月に開設した連携センター。環境の不確実な変化に対しても、的確な未来予測に基づいて人のより良い判断を支援する「想定外を想定するAI技術」の実現を研究テーマとした共同研究を進めている。
[2] 胎児心臓超音波スクリーニング技術
胎児の超音波診断において先天性心疾患のスクリーニングを支援する技術。その基盤技術として、機械学習・深層学習を用いて胎児心臓超音波画像の解剖学的構造をリアルタイムに物体検知し、疾患によるその構造変化を検出する技術を中心に研究開発を進めている。
[3] 機械学習
人間の学習能力と同様に、機械（コンピュータ）に学習能力を持たせる手法。データから機械自身が反復的に解析し、ルールを見つけ出すという特徴がある。
[4] 深層学習（ディープラーニング）
機械学習の計算手法の一つで、多層（狭義には4層以上）のニューラルネットワークのこと。画像や動画、テキスト、音声などの分類・識別問題に用いられている。ニューラルネットワークとは、脳機能にみられるいくつかのネットワークを計算機上のシミュレーションで表現することを目指した数学モデルである。
[5] ラベルなしデータ
機械学習において、人間がラベル（正解）を与えないデータのこと。
[6] ロバストな機械学習技術
従来の機械学習は、膨大なデータ量や質の高い完全データがなければ十分な予測能力を発揮できない。この課題を克服し、少量のデ－タや不完全なデータであっても、的確に未来を予測できる（=ロバストな）機械学習の革新的基盤技術。例えば、正常例だけを訓練データとする異常検知技術では、何が異常かを明示的に与えることができないため、的確に異常を検知するためには膨大で多様な正常データを収集し学習する必要がある。理研AIP-富士通連携センターの研究課題の一つ。
[7] ラベル付きデータ、教師あり学習
ラベル付きデータとは、人間がラベル（正解）を与えたデータのこと。機械学習において、ラベル付きデータからその特徴を学習する方法を教師あり学習と呼ぶ。
[8] オートエンコーダ
深層学習における代表的な教師なし学習手法。エンコーダ、デコーダと呼ばれるニューラルネットワークからなり、入力データをエンコーダにより特徴量へ変換し、特徴量をデコーダにより入力データへと再構成（復元）する。
[9] 画素値
画像における、ある画素（画像を構成する最小単位）の明るさ。
[10] IoU
物体認識分野における認識精度を評価するための指標で、認識した領域が正解の領域とどれくらい重なっているかを評価する。IoUはIntersection over Unionの略。
[11] DICE
機械学習分野における検知精度を測定するための指標。
[12] 2値化
グレースケール（多くの場合、256階調）の画像を、白と黒の2階調へと変換すること。
6．発表者・機関窓口
発表者
注：研究内容については発表者にお問い合わせください
- 理化学研究所
革新知能統合研究センター 目的指向基盤技術研究グループ
がん探索医療研究チーム
研究員 小松 正明（こまつ まさあき）
理研AIP-富士通連携センター
副連携センター長 原 裕貴（はら ひろたか）
（富士通研究所 代表取締役副社長）
- 昭和大学 医学部 産婦人科学講座
准教授 松岡 隆（まつおか りゅう）
- 国立がん研究センター 研究所がん分子修飾制御学分野
分野長 浜本 隆二 （はまもと りゅうじ）
機関窓口
理化学研究所 広報室 報道担当
富士通株式会社 広報IR室
学校法人 昭和大学 総務課（広報担当）
国立研究開発法人国立がん研究センター 企画戦略局 広報企画室
