6月末に仙台であった「Sendai Micro Maker Faire 2022」に出したリアルタイムな360度全周ドーム内投影システムからどう進化させるか?考えた結果、@ROBOさんのportalgraphの立体視の効果に影響を受けて、ドーム内投影に3D立体視を導入し、さらに3D動画をライブで配信して投影する仕組みを作ってみました。
上記システム構成図は、コロナ化の感染対策で口頭説明を削減するために当日の朝に頑張って作ったものです。大きく見たい人はコチラからPDFをダウンロードください。
このシステムを組みために用意したものは以下の5つ
1)ステレオ魚眼カメラ
本当はinsta360 EVOを探したのですが、既に新品が手に入らない上に中古でも7万近くすることから入手を諦め以前から持っているデジイチと同じものものを、ヤフオクでカメラ本体を1台、メルカリで全周魚眼レンズLOAWA4.5mmを入手して、それぞれが右眼左眼となる様に配置できる様に位置関係が変わらないアダプターを3Dプリント。2台のカメラをさも1台の様に扱えるようクイックリリースを付けて取り扱いしやすくしました(上記写真右)。
最初は手元にあったFiMi Palm2台使えばステレオ魚眼ぽく撮れるのでは?と思いましたが(上記写真左)、左右のジンバルスピードが微妙に異なり酔っぱらったというかグニャグニャ気持ち悪い映像になり「使えない」と即断。一眼を使ったプロト(上記写真中)で試して結果が良かったので、これに三脚座が取り付けられるように直前に改造して現場に持ち込みました。
2)HDMIキャプチャデバイス
カメラがせっかく4Kで出力できるので、4KでUSBに出せるキャプチャデバイスを探して、結局「HDMI キャプチャーボード – SOOMFON 4K」を2つ入手しました。※もう廃版になった製品かもですが、結構長時間使えて便利です。この分野はゲーム配信が盛んな昨今進化が著しいので、何らか入手しやすいかと思います。
3)OBS studio:ゲーム動画配信用ソフトとして有名
ゲーム動画配信(ゲームしている様子をリアルタイムにライブストリーミングする)のに用いられるオープンソースソフトウエアで、とても有名なモノだそうです。今回はこのソフトを用いて2つのカメラからくる映像をデスクトップに左右に並べて表示し、その様子を1画面にしてライブストリーミングすることで、いろいろ大変じゃなくしています。凄い便利な癖のあるソフトです。このソフトは配信に用いるPCにインストールします。
4)OBS用NDIプラグイン
NDIというネットワーク越しに映像や音を伝送するための仕組みをOBSで使える様にするプラグインです。配信に用いるPCにOBSをインストールした後にコチラからダウンロードして使います。
5)Amateras Paperdome Player(α版)
年内リリースを目指して株式会社オリハルコンテクノロジーズさんが開発中のドーム映像プレイヤー「Amateras Dome Player」のペーパードーム専用版(α版)をお借りしています。※今回の投影方法では現在入手できるAmateras Dome Playerでも投影できます。
プロジェクタに繋いだ投影用PCで動かし、配信用PCからOBSでNDIを使って送られてくるステレオ3D動画をNDIキャプチャで受信して、サイドバイサイド方式で3D立体投影するために活用しています。
もっと簡易に投映する場合は、よりドームの中心に近い位置にプロジェクタを配置すれば同playerを用いなくても投影可能ですが、少しでもその位置(ドームの中心位置)から外れた位置にプロジェクタを配置して投影する場合には、本ソフトはほぼほぼ必須です。
6)プロジェクタスタンド
前回のSendai Micro Maker Faire 2022では四角い箱みたいな簡単構造だったのですが、車に乗せるのが難しかったので分解してコンパクトになる組立式&高さ調整ができる方式に作り直しました。
7)3D対応プロジェクタ
本業のデモ用プロジェクタXGIMI HORISON PROが3D対応だったので、そのまま活用しています。購入したままだと3D対応ではありませんが、プロジェクタ単体でネットに接続するとファームウェアのアップデートが自動的に適用されて3D対応に進化します。
8)全周広角レンズコンバーター
ほぼ現在唯一普通の人が購入できる全周広角レンズコンバーター「Raynox 187 PRO」を使っています。このレンズより安いものは急に数千円の中華レンズに行きつきますが、何個も試してみましたが今までまともに映ったモノはほぼありません(1つ有りましたが廃版)。かと言ってこのレンズより高いものは3桁万円になってしまい普通には買えません。というスゴイ隙間を突いた唯一のレンズです。
9)Raynox187PRO用DIYレンズアダプター=野良アダプター
本業でデモ用に使っている上記「全周広角レンズコンバーターRaynox187PRO」専用の、レンズの角度をプロジェクタの投影口に合わせて配置調整するためのアダプターです。3Dプリントするレンズサポーターと、ミスミなどで手に入る20mm角のアルミフレームを組み合わせて、使用するプロジェクタに取り付けて用います。3Dプリント用のデータはコチラからダウンロードできます。※自己責任&ライセンスに沿ってご利用ください。
プロジェクタとの組み合わせ方法などは前回のSendai Micro Maker Faire 2022の記事が参考になるかもしれません。
10)ペーパードーム「FPV130HC」
本業で開発&販売している段ボール製のドーム型スクリーンFPV130のプロ用のデモ機を車で持ち込みました。今回勉強になったのは、黒い外枠フレームを外してスクリーン部分を丸めれば普通の車の運転席と助手席の間のスペースの上の方に縦に入る事が分かりました。※ファンカーゴに普通に4人乗って帰れたので。。。
以上のモノたちを以下のシステム構成図の様に利活用しています。
今回このシステムを展示してみた理由は「コレ何に使えるだろう?」と思ったからです。作れるけど、何に使える(アプリケーションは?)が定かではなかったので(想像はしていますが)実際に体験してみて、いろいろな人の意見を聞いてみよう~という事でした。
結果、以下の様なことが分かりました。
1)子供が楽しそうだった!
カメラ側、ドーム側の視点高さを同じにしてみたところ、結構目の前に居る感が増して子供通しでジャンケンしあったり、握手しあったり、あっち向いてホイしあったり、「目の前にいる(様に見える)」友達や兄弟と普通に遊んでいました。一見気軽な遠隔3D遊びツールという感じ。
子供たちが積極的に体験&遊んでくれた理由としては「3Dグラス掛けるだけ」の気軽さ&方向感覚が実際の空間とほぼ一緒、という事かと思われます。(HMDタイプのVRデバイスは小さなお子さんは装着させて貰えないかも?というのもあります。)初日は負荷が稼働に与える影響が分からなかったのでカメラ側の出力をFHD(1080)にしていたのですが、2日目の日曜日は朝から4K(2160)で動かして問題なかったので、そのまま4Kで動かしみました。4Kだと3Dグラス越しだと多分半分のFHD(1080)になりますが、そこそこキレイに見えて「そこに居る感」が増していたかもしれません。
2)アプリケーション例「ドームでバーチャル握手会」誕生!
同じブースでWSをしていただいた@ヒゲキタさんとかと「これ何に使うのがいいかな~」と色々話していたら、推しとのバーチャル握手会とかできるんじゃない?と言う話になると同時にヒゲキタさんが「ちょっと連れてくる」と言ってスゴイ服着た女性と即席バーチャル握手会を実施!(このスピード感よ!)
この凄いドレスの女性の方忙しそうでスグに居なくなってしまったのですが、ここでもう一つのアイデアが誕生します。「録画しておけば何度でも握手できる!」という事に。。
後から@ヒゲキタさんが教えてくれましたが、この凄いドレスは来日中のレディ・ガガさんが日本でのライブで着たモノだそうで、この人もすごい人だった恐れがありました。※お忙しいのに凄いドレスの方ありがとうございました!
と、いろいろお試ししてみましたが、結局のところまだまだ何に使えるものなのか?分からない状況です。
実は今回このシステムの運営は、人に説明したりプレゼンすることに少しでも慣れて貰おうと思い、すべて子供たちに任せて、自分は同じブースのワークショップの方に集中していました。まだまだ人に伝える~という部分や感想や意見をを聞き取る部分で力不足だった感があって今回は体験して~のご意見があまり拾えていない状態です。これを何回か経験する内に(または自分の作り物を出展する)色々な声が聞こえてくる様になると期待しているのですが…まだまだ時間が掛かりそうです。
アレに使えるのでは?こんな使い方は?などご興味ご関心ありましたら、気軽にお声がけいただければ幸いです。今回のMFTでは、まずは作ってみた~的な展示になりましたので、この後いろいろ試してみて使いどころを見つけていきたいと思います。
まずはMaker Faire Tokyoで見て&体験してくれた皆さま、ありがとうございました!