当研究室では医学部や薬学部の先生と共同研究を行って、次世代の教育システムや外国人向けの薬ナビゲーションアプリ開発を行っています。実際の人の肺の形状をコンピュータ上で、仮想現実のVRシステムを用いて吸気や排気時の動きをリアルタイムアニメーションを行なう事ができます。その際に様々な個所に、必要な音情報を配置することによって、なぜそのような音がするのか？なぜそこに聴診器を当てないといけないのかを理解するための支援を行います。
下記は実際には「息を大きく吸って下さい」など、声によってインタラクティブに動作する次世代教育用問診システムの画面一例になります。
図をクリックするとデータのVR画像がWebブラウザで表示されます（次の画面でWebGLがサポートされていないと表示されますが、OKを押すと通常は問題無く表示されます。音声認識は非対応です）。
ほとんどの歩行者用信号機は、視覚障がい者対応ではありません。盲導犬の供給は全く追い付かず、常に足元の段差や階段で転倒するリスクと向き合って生活しています。そこで視覚障がい者が自ら自由に行動できる社会へ向けて、人工知能AIを活用した歩行ナビシステムの研究を行っています。次の画像は、人間を認識したり、歩行者用の赤信号を認識した結果が示されています。
この結果は一番左側が信号の色情報を基に認識した結果で、赤信号以外に少しでも赤色成分が混じっている箇所等を全て認識している状況です。AI・機械学習の一つであるカスケード分類器やYOLO(You Look Only Once)を使って、多くの画像を利用して信号機の形状を学習させると、右のように正しく信号を認識できるようになります。
実際に商品化を踏まえると片側３車線以上の道路では、上の写真のように歩行者用信号は非常に小さくなり、通常のAIでは認識出来なくなります。またLEDは非常に高速に点滅を繰り返しており、半分の確率で灯火が消えて赤か青か分からなくなります。この問題は事故時のドライブレコーダーでも問題になっています。そこでその直前の複数枚の画像を合成して信号を点灯させ、画像認識領域を細かく分割して探索する技術によって、片側３車線の大きな道でも歩行者用信号を認識できるようになります。
視覚障碍者の多くは必ず段差で転んでケガをされているそうで、段差認識の技術を開発する必要があります。当研究室では左右２台のカメラを用いて距離を計算して、周囲との距離の変化を基に、視覚障がい者に危険な段差を認識する研究を行っています。写真はその実装例で、赤色が遠くで青色が近くの距離を表しています。
MRI画像をアニメーションで表示させて全体像を把握しやすくしたシステムの画面の一部です。クリックするとシステムの一部がWebブラウザで表示されます。
これは外国人向けの薬局でのスマホ向け薬ナビアプリです。例えば私達が外国に行って具合が悪くなった際に薬局に入るとどれも知らない製品ばかりで、表記を見ても日本語は無く、英語も専門用語ばかりで、どれを買えば良いのか大変に困るでしょう。いまこれが外国人が日本で感じている問題なので、これを解決するためのスマホ・アプリ開発を、薬学部の先生や学生と共同開発しています。
・Yuki Saito, Yuto Omae, Saki Mizobuchi, Hidesato Fujito, Masatsugu Miyagawa, Daisuke Kitano, Kazuto Toyama, Daisuke Fukamachi, Jun Toyotani, Yasuo Okumura, Prognostic significance of pulmonary arterial wedge pressure estimated by deep learning in acute heart failure, ESC Heart Failure, 2022.12. doi: 10.1002/ehf2.14282
Yuto Omae, Yuki Saito, Yohei Kakimoto, Daisuke Fukamachi, Koichi Nagashima, Yasuo Okumura, Jun Toyotani, GUI System to Support Cardiology Examination Based on Explainable Regression CNN for Estimating Pulmonary Artery Wedge Pressure, IEICE Transactions on Information and Systems, 2022.12. doi:10.1587/transinf.2022EDL8059
Yuto Omae, Makoto Sasaki, Jun Toyotani, Kazuyuki Hara, Hirotaka Takahashi, Theoretical Analysis of the SIRVVD Model for Insights into the Target Rate of COVID-19/SARS-CoV-2 Vaccination in Japan, IEEE Access, vol.10, pp.43044-43054, 2022.04. doi:10.1109/ACCESS.2022.3168985.
Yuki Saito, Yuto Omae, Daisuke Fukamachi, Koichi Nagashima, Saki Mizobuchi, Yohei Kakimoto, Jun Toyotani, Yasuo Okumura, Quantitative Estimation of Pulmonary Artery Wedge Pressure from Chest Radiographs by a Regression Convolutional Neural Network, Heart and Vessels, vol.37, no.8, pp.1387-1394, 2022.02.
Yuto Omae, Yohei Kakimoto, Makoto Sasaki, Jun Toyotani, Kazuyuki Hara, Yasuhiro Gon, Hirotaka Takahashi, SIRVVD model-based verification of the effect of first and second doses of COVID-19/SARS-CoV-2 vaccination in Japan, Mathematical Biosciences and Engineering, vol.19, issue 1, pp.1026-1040, 2022. doi: 10.3934/mbe.2022047.
研究者データベースresearchmap