正しい手洗い動作を判定する映像認識AI技術を開発

2020-05-26

2020-05-26 株式会社富士通研究所,富士通研究開発中心有限公司

株式会社富士通研究所（注1）（以下、富士通研究所）と富士通研究開発中心有限公司（注2）（以下、FRDC）は、カメラで撮影した映像から、複雑な手洗い動作を認識するAI「行動分析技術 Actlyzer（アクトライザー）手洗い動作認識」を開発しました。

近年、細菌やウイルス感染から人々の健康を守る対策として手洗いの重要性が再認識されています。食品事業者においては、2020年6月に施行される予定の「食品衛生法等の一部を改正する法律」により、HACCP（ハサップ）（注3）に沿った衛生管理を実施することが義務付けられ、手洗いが正しい方法で実施されているかを確認できる体制づくりが急務となっています。

今回、映像から人の様々な行動を認識するAI「行動分析技術 Actlyzer」（注4）に手指動作の認識機能を拡張させ、手洗い時の複雑な手指の動作を両手の全体形状と手洗いの一連の動きから自動で認識するAI「行動分析技術 Actlyzer手洗い動作認識」を新たに開発しました。

本技術により、厚生労働省が推奨する正しい手の洗い方6ステップの実施と、各ステップにおける手をこすった回数を正確かつ自動で認識することができます。また、本技術の活用により、食品事業者など衛生管理が必要な現場における手洗いの実施漏れ防止や監視員による目視確認の工数削減を実現するとともに、人々の食の安全確保や感染症予防に貢献します。

正しい手の洗い方6ステップとこすり回数の合否を判定

開発の背景

近年、細菌やインフルエンザ、新型ウイルスなどの感染から人々の健康を守る対策として手洗いの重要性が世界的に再認識されています。厚生労働省では、食中毒や感染症の予防に効果的な正しい手の洗い方6ステップの実施を推奨しています（図1）。

図1 正しい手の洗い方6ステップ

現在、食品事業者においては、正しい手の洗い方6ステップの実施と、ステップごとにあらかじめ規定した回数以上の手のこすり実施を確認する方法として、チェック表記入による自己申告や監視員による目視確認を行っています。しかし、人手による確認のため、漏れや監視員のリソース確保など管理コストが大きいといった問題が発生しています。また、近年、食品事業者を含む多くの製造現場では、目視による様々な検査を機械学習やディープラーニングを用いた自動検査へ移行しており、この手洗い動作の確認についても自動化のニーズが高まると予測されます。

課題

近年発展している手や指の動作を認識する技術として、ディープラーニングを使ったハンドジェスチャ認識技術があります。この従来の技術は、手が写った画像から指の関節や指先といった手に含まれる複数の特徴点を検出し、その特徴点の位置関係をもとにハンドジェスチャを判定します（図2左）。しかし、手洗い動作は両手が重なる・手の上に泡があるという条件下で行われるため、手指の特徴点が正確に検出できず、動作の認識が正しく行えない課題がありました（図2右）。

図2 従来のハンドトラッキング技術（左：ジェスチャの認識結果、右：手洗い動作に適用した結果）

開発した技術

今回、富士通研究所およびFRDC独自のAI「行動分析技術 Actlyzer」に手指の動作認識機能を拡張し、手洗い動作を正確に認識することができる「行動分析技術 Actlyzer 手洗い動作認識」を新たに開発しました。

開発した技術の特長は以下のとおりです。

両手の複雑な手指動作を両手の全体形状と動きの反復パターンを組み合わせて認識

手洗いの複雑な手指動作を、両手の形状とこすりの反復動作の組み合わせとして捉え、両手形状認識と動き認識の2つのディープラーニングエンジンにより検出します（図3）。

両手形状認識エンジンは、両手を重ねる手指動作の代表的な形状である、両手基本形状を規定し、それらをあらかじめ学習した学習済みモデルを用い、映像の各フレームに対して手形状を判定します。全体の形状に着目することで、手の重なりや泡で指先や関節の特徴点が正しく検出できない問題を解決します。また、データ変化を追跡できる富士通独自のAI技術「High Durability Learning（ハイデュラビリティラーニング）」（注5）を適用し、現場での運用中に変化するカメラ位置や照明に対しても両手基本形状の認識を高い精度で保ちます。動き認識エンジンは、連続フレームから周期的に変化する動きを検出する学習済みモデルを利用し、反復パターンとその周期から、反復回数をこすり回数としてカウントします。

さらに、これら2つの認識エンジンによる結果を相互にフィードバックすることで認識精度を向上させます。動き認識エンジンは、両手形状認識エンジンで認識されたステップに合わせて、判定すべき動きの大きさの閾値を設定し、泡の動きやこすりに関係しない手の揺れなどの誤った周期の検出を防止します。両手形状認識エンジンは、動き認識エンジンで検出した反復パターンの周期を用い両手形状判定結果をフィルタリングすることで検出精度を向上させます。

図3 複雑な両手指の動作を両手の全体形状と動きパターンの組み合わせとして認識
拡大イメージ

効果

人やカメラ位置、石鹸の種類など約2000のバリエーションを持つ手洗い映像データセットを独自に撮影・収集して学習と評価を行い、正しい手の洗い方6ステップにおいて95%以上の平均判定精度で動作認識でき、手をこすった回数の判定精度が90％以上であることを確認しました。現場で運用する際には、ステップごとに規定のこすり回数が実施され完了と判定されるまで手洗いを実施し、システム側で実施時刻などの情報と合わせて自動で記録することで、実施漏れをなくすことができます（図4）。

本技術により、衛生管理が必要な現場における手洗い実施確認を自動化し、目視確認と手作業による記録の工数をゼロにすることができます。また、誤った手洗い方法では正しい手洗い動作として認識されないため、誰もが同じく正しい手洗いを確実に身につけられる教育効果や平準化効果も期待できます。

さらに、本技術を活用することで、食品業界に限らず、医療や教育現場、宿泊・イベント施設など様々な現場における人々の衛生管理や、インフルエンザや新型ウイルスなどの感染症予防にも貢献が可能です。

図4 手洗い動作認識画面のイメージ
拡大イメージ

今後

様々な現場での実証を進めていくとともに、富士通株式会社のAI技術「FUJITSU Human Centric AI Zinrai（ジンライ）」の重要な技術として、今後も研究開発を進めていきます。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

以上

注釈

注1 株式会社富士通研究所：: 本社神奈川県川崎市、代表取締役社長原裕貴。
注2 富士通研究開発中心有限公司：: 本社中国北京市、董事長原裕貴。
注3 HACCP：: 事業者が食中毒菌汚染等の危害要因を把握した上で、原材料の入荷から製品出荷までの全工程の中で、危害要因を除去または低減させるために特に重要な工程を管理し、安全性を確保する衛生管理手法。先進国を中心に義務化が進められている。
注4 「行動分析技術 Actlyzer」：: 映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発（2019年11月25日プレスリリース）
注5 富士通独自のAI技術「High Durability Learning（ハイデュラビリティラーニング）」：: 世界初！AIを高い精度のまま維持し安定運用可能な技術を開発（2019年10月25日プレスリリース）