息の吹きかけ動作の認識とARへの応用

概要

 昨今ARアプリが広く普及してきていますが,一般向けARアプリのほとんどがスマートフォンでの動作という関係上,仮想空間への入力は画面タッチなどの2次元的なものが主流となっています. しかし,ARにおける仮想オブジェクトの実在感の向上のためには,仮想と現実のインターフェースとなる部分も人にとって自然であることが望まれます.


 そこで本研究では,現実から仮想へのインターフェースとして息(風)に注目し,仮想物体への息の吹きかけの認識と,認識した息の仮想空間での再現を行うシステムを構築しました. 認識に際して,風量計等で実際の風を観測するのではなく,汎用性を考慮してマイク音声と画像認識のみで息の判別,息のベクトル(強さ・向き)推定を行っています.


図:システム構成

動作ムービー