Header image  
ウェアラブル・ユビキタス・エンタテインメント
の研究を推進しています
 
   最終更新日 2013年11月10日
 
 
 
 


 
ウェアラブルセンシングの課題・応用

  1. はじめに
  2. ウェアラブルコンピューティングと行動認識技術
    1. 行動認識技術に基づくサービス
    2. ウェアラブルセンサを用いた行動認識技術
  3. センシングを活用した情報提示技術
  4. センシングを活用した情報入力技術
  5. ウェアラブルセンサを用いた行動認識の研究動向
  6. おわりに
   

1 はじめに

コンピュータの小型化・軽量化により,コンピュータを持ち歩いて出先で利用するモバイルコンピューティングは一般的なものとなった.小型化がさらに進み,コンピュータやセンサが服に収まるほど小さくなれば,人々は朝起きて,顔を洗ったらまずコンピュータを着て・・・・という生活が当たり前のものになるかもしれない.このようにコンピュータを常時装着して利用するスタイルをウェアラブルコンピューティングと呼び,近年活発に研究及び実用化への取組みが行われている.

ウェアラブルコンピューティングの典型的なスタイルは,ユーザが頭部装着型ディスプレイ(HMD: Head Mounted Display)によって情報を常時閲覧し,入力が必要なときには腰に装着したマウスなどの入力機器を利用する.一方,アンビエントな情報提示や情報入力を実現するためには,服に埋め込まれたり腕時計に内蔵されたセンサがユーザの行動を認識して必要なサービスを的確に提供したり,ジェスチャ動作によって入力機器を使わなくてもコンピュータに対して情報の入力を行うといった機能を実現することが重要となる.例えば,曲がり角に来たときに自動的に次に曲がる方向を指示してくれるナビゲーションシステムなどは行動認識の典型的な活用例である.

このページでは,そのようなウェアラブルセンサを用いた行動認識の基本について述べた後,情報提示・入力に関するさまざまな応用例,現状の課題とその解決について解説する.

2. ウェアラブルコンピューティングと行動認識技術

2.1 行動認識技術に基づくサービス

ユーザの日々の行動が認識できたり,ユーザのジェスチャ動作が認識できると,これまでのコンピュータでは難しかった便利なサービスが提供できるようになる.また,使用者の個人情報や,装着型センサから得られる使用者の生体情報によって,個人に密着したきめ細やかなサービスが提供できる.したがって行動認識技術の応用範囲は広く,軍事(兵隊,整備士),業務(営業マン,消防,警察,飲食店,コンビニ,警備,介護),民生(情報提示,記憶補助,コミュニケーション,エンタテインメント,教育)などあらゆる場面での利用が想定されている.以下,有望な応用領域と状況に依存したサービスの実例を列挙する.

整備・修理

米ボーイング社では,整備士にウェアラブルコンピュータを着用させ,整備マニュアルやチェックリストを閲覧できるシステムを運用し,1日あたり1時間の労働時間短縮を実現した.また,シースルー型(ディスプレイの向こうに現実世界が見える)HMDを用いて,現実世界にコンピュータ情報を重ね合わせる拡張現実感技術を利用することで,現実世界の機器に直接アノテーションを重ね合わせて整備が行えるシステムも開発されている(下図),ワイヤフレームや文字が現実空間に重畳表示されている).メンテナンスサポートシステム[1]では,加速度センサと超音波センサを用いて,自転車メンテナンス時のネジ回しや空気入れなど詳細な動作を認識し,作業部分の設計図をHMDに自動表示したり,間違った作業を行った場合に警告するシステムを実現している.

engine
エンジン組み立て支援の例

障害者支援

頭部装着型カメラと網膜に像を直接投射するHMDを用い,弱視者が実世界を見えるようにするウエアビジョン社の電子めがね[2]や,周囲の危険状況を超音波センサで読み取って危険性を音声や振動で通知するシステム[3]が開発されている.ウェアラブルコンピュータは各使用者が自分に合った機器を組み合わせて使うため,自分の弱点を補う機能をもつ機器を装着することが有効である.例えば筆者らは,盲目の人には音声,聾唖者には手話ビデオといったように,利用者の機器構成を認識し,障害の部位に応じてコンテンツを切り替え,GPSと地磁気センサを用いて状況依存コンテンツを表示するウェアラブル公園案内システムの実証実験を行った[4].このシステムでは,ユーザがパビリオン跡に近づいて,パビリオンのあった方向を向いたときに自動的にその場所に応じた説明がHMDを通して再生され,さらにクイズなどのアミューズメントコンテンツや現在地の提示を行う.

健康管理

生体センサを装着することで,ユーザの健康管理が可能になる.東芝が開発したLifeMinder[5]は,脈拍センサや皮膚温センサ,加速度センサを用いてユーザ状況を監視し,薬の飲み忘れや運動不足の指摘を行う.ウェアラブルコンピュータは生体情報の蓄積・管理に適しており,病気の検出からフィットネス利用まで生活に密着したサービスが可能である.ATRのeナイチンゲールプロジェクト[6]では,看護師の行動を高度に認識することで,看護師のヒヤリハットの原因を突き止め,医療事故の防止を行うシステムを構築している.生体センサ情報をもとに,遠隔診断を行うネットワーク化された健康管理システム[7]などもさかんに開発されている.

コミュニケーション

外国人と話すときに,外国語をリアルタイムで翻訳してHMDに提示したり,会話の関連情報を自動的に検索してHMDに表示するといったシステム[8]がすでに開発されており,このようなシステムを用いることでコミュニケーションが活性化される.また,知人が近くにいるときにその情報を提示したり,趣味の合う人がいる場合に知らせるといったように出会いを支援するシステムとしても利用できる.

ライフログ

装着型カメラや各種センサを用いることで,利用者が体験した事柄をそのままコンピュータに記憶させようという取り組みが盛んに行われている[9].蓄積データをもとに,過去の重要な部分だけを提示するシステムや,赤外線カメラと画像処理技術を用いて,どこかに置き忘れたものを検索できるもの探し支援システム[10]が開発されている.

エンタテインメントやパフォーマンス

ビデオや文章,ウェブページを歩きながら閲覧して楽しんだり,拡張現実感技術を用いてHMDを通すと見えるバーチャルペットと一緒に散歩したり,仮想的な敵と屋外で戦闘する,といったように,ウェアラブルコンピュータを活用することでいつでもどこでも日常生活を豊かにするエンタテインメントコンテンツが利用できるようになる.また,装着型センサを用いることで,演劇やダンスと映像効果を組み合わせた新たなパフォーマンスが実現できる.加速度センサを用いてダンスの動きを認識し,動きに合わせてLEDを光らせたり音を出す服[11]や,仮想空間上での動作をもとに映像効果を加えるシステムなどが実現できる.下図に示す例では,パフォーマがあたかも空間上にシャボン玉を吹いているかのような動作を行うと,実際にシャボン玉が表示されている[12].

ikeda
シャボン玉を飛ばすパフォーマンス

ファッション

ウェアラブルコンピュータやセンサを用いることで高度な衣服が実現できる.自分の感情に合わせて光る服や,向いている方向に応じて色が変わるアクセサリ[13],さまざまな情報を表示するディスプレイ付き服,ピアノの演奏ができる楽器内蔵服(下図)などこれまでに存在しなかった機能や表現力をもった服が実現できる.

piano
ピアノ機能をもった服

観光

現在地や状況,見ているものに応じた情報提示を行う平城宮跡ナビ[14]や,博物館での情報提示支援[14]が提案されている.拡張現実感技術やセンシング技術を用いることで,展示物や観光名所の詳細情報を閲覧しながらの観光[16]や,個人にあった順序での展示閲覧[17]が行える.観光をゲーム化する取組み[18]や,ユーザの観光満足度が下がらないように支援を行うウェアラブルシステム[19]の実運用も行われている.

その他情報閲覧

HMDは他人に覗き込まれることがないため,秘匿情報の閲覧に有効である.例えば,バイクレースにおいて,戦略の中心となる秘匿情報である給油タイミング等の情報をチーム内だけに常時閲覧させることも可能である[20].また,イベントの司会者が,聴衆に知られることなくディレクタからの指示を受けたり,進行表を確認しながら司会進行を行える.これらのシステムにおいてもユーザの状況を取得して適切な支援を行うことが重要である.例えば,音声情報提示サービスにおいても,ユーザ状況を認識して適切に音量や提示方法を変更することでユーザの情報認知率が高まることが明らかになっている[21].

2.2 へ (続きを読む)

参考文献

[1] T. Stiefmeier, G. Ogris, H. Junker, P. Lukowicz, and G. Troster: Combining Motion Sensors and Ultrasonic Hands Tracking for Continuous Activity Recognition in a Maintenance Scenario, Proc. of the 10th IEEE International Conference on Wearable Computers (ISWC 2006), pp. 97--104 (2006).
[2] Wear Vision, Inc.,http://www.wearvision.co.jp/
[3] A. Cassinelli, C. Reynolds, and M. Ishikawa: Augmenting Spatial Awareness with Haptic Radar, Proc. of the 10th IEEE International Conference on Wearable Computers (ISWC 2006), pp. 61--64 (2006).
[4] M. Miyamae, Y. Kishino, T. Terada, M. Tsukamoto, and S. Nishio: An Event-driven Navigation Platform for Wearable Computing Environments, Proc. of the 9th IEEE International Conference on Wearable Computers (ISWC 2005), pp. 100--107 (2005).
[5] K. Ouchi, T. Suzuki, and M. Doi: LifeMinder: A Wearable Healthcare Support System Using User's Context, Proc. of the 2nd International Workshop on Smart Appliances and Wearable Computing (IWSAWC 2002), pp. 791--792 (2002).
[6] H. Noma, A. Ohmura, N. Kuwahara, and K. Kogure: Wearable Sensors for Auto-Event-Recording on Medical Nursing - User Study of Ergonomic Design, Proc. of the 8th IEEE International Conference on Wearable Computers (ISWC 2004), pp. 8--15 (2004).
[7] A. Durresi, M. Durresi, A. Merkoci, and L. Barolli: Networked Biomedical System for Ubiquitous Health Monitoringl, Mobile Information Systems, Vol. 4, No. 3, pp. 211--218 (2008).
[8] N. V. Pham, T. Terada, M. Tsukamoto, and S. Nishio: An Information Retrieval System for Supporting Casual Conversation in Wearable Computing Environments, Proc. of 5th International Workshop on Smart Appliances and Wearable Computing (IWSAWC 2005), pp. 477--483 (2005).
[9] J. Gemmell, G. Bell, and R. Lueder: MyLifeBits: A Personal Database for Everything, Communications of the ACM, vol. 49, Issue 1, pp. 88--95 (2006).
[10] T. Ueoka, T. Kawamura, Y. Kono, and M. Kidode: I'm Here!: a Wearable Object Remembrance Support System, Proc. of the 5th International Symposium on Human Computer Interaction with Mobile Devices and Services (MobileHCI '03), pp. 422--427 (2003).
[11] M. Fujimoto, N. Fujita, Y. Takegawa, T. Terada, and M. Tsukamoto: A Motion Recognition Method for a Wearable Dancing Musical Instrument, Proc. of the 13th IEEE International Symposium on Wearable Computers (ISWC '09), pp. 9--16 (2009).
[12] J. Ikeda, Y. Takegawa, T. Terada, and M. Tsukamoto: Evaluation on Performer Support Methods for Interactive Performances Using Projector, iiWAS2009 Special issue in Journal of Mobile Multimedia (JMM), Vol. 6, No. 3, pp. 207--226 (2010).
[13] Y. Kishino, H. Fujiwara, T. Tanaka, A. Shimosuka, T. Yoshihisa, M. Tsukamoto, T. Itao, M. Oe, and S. Nishio: Bloom Accessory: Accessories Using LEDs with Remote Control, Proc. of 8th IEEE International Symposium on Wearable Computers (ISWC '04), pp. 180--181 (2004).
[14] R. Tenmoku, Y. Nakazato, A. Anabuki, M. Kanbara, and N. Yokoya: Nara Palace Site Navigator: Device-independent Human Navigation using a Networked Shared Database, Proc. of 10th International Conference on Virtual Systems and Multimedia (VSMM 2004), pp. 1234--1242 (2004).
[15] T. Okuma, M. Kourogi, N. Sakata, and T. Kurata: A Pilot User Study on 3-D Museum Guide with Route Recommendation Using a Sustainable Positioning System, Proc. of International Conference on Control, Automation and Systems 2007 (ICCAS 2007), pp. 749--753 (2007).
[16] K. Cheverst, N. Davies, K. Mitchell, A. Friday, and C. Efstratiou: Developing a Context-aware Electronic Tourist Guide: Some Issues and Experiences, Proc. of the 18th Conference on Human Factors in Computing Systems (CHI 2000), pp. 17--24 (2000).
[17] A. Maruyama, N. Shibata, Y. Murata, K. Yasumoto, and M. Ito: P-Tour: A Personal Navigation System for Tourism, Proc. of the 11th World Congress on ITS, pp. 18--21 (2004).
[18] R. Ballagas, A. Kuntze, and S. P. Walz: Gaming Tourism: Lessons from Evaluating REXplorer, a Pervasive Game for Tourists, Proc. of 6th International Conference on Pervasive Computing (Pervasive 2008), pp. 244--261 (2008).
[19] T. Katayama, M. Nakamiya, M. Yamashita, K. Murao, K. Tanaka, T. Terada, and S. Nishio: Development of a Navigation System with a Route Planning Algorithm Using Body-Worn Sensors, Proc. of the 6th International Conference on Advances in Mobile Computing and Multimedia (MoMM 2008), pp. 88--93 (2008).
[20] T. Terada, M. Miyamae, Y. Kishino, T. Fukuda, and M. Tsukamoto: An Event-Driven Wearable Systems for Supporting Pit-Crew and Audiences on Motorbike Races, iiWAS2008 Special issue in Journal of Mobile Multimedia (JMM), Vol. 5, No. 2, pp. 140--157 (2009).
[21] S. Yataka, K. Tanaka, T. Terada, M. Tsukamoto, and S. Nishio, A Context-aware Audio Presentation Method in Wearable Computing, Proc. of the 26th Annual ACM Symposium on Applied Computing (SAC 2011) (2011).

連絡先

mail

tsutomu[[at]]eedept.kobe-u.ac.removehere.jp