Cognitive Services Video Indexerについて

Build 2017の中で発表されたものの中に、Video Indexerというのものがあります。

単なるビデオアップロードサイトのように見えますが、なぜCognitive Servicesに分類されているかを知るとなるほど。と思える機能なので紹介いたします。

このVideo Indexer、自動翻訳が行える機能を備えているのです。
すなわち音声入力と言語翻訳の複合技を動画に対して実施するというとんでもない代物なのです。

Microsoft Video Indexer - Unlock Video Insights

vi.microsoft.com

まずログインから。GET STARTEDでログインです。

f:id:mohessu:20170527202021p:plain

アカウントは様々選べます。私はいつものOutlook account(Hotmail)でつなげます。

これ、とても分かりにくいのですが、URLドメインが変更になるので気を付けておきましょう。Video Indexerの実態は以下URLで提供されています。

www.videoindexer.ai

f:id:mohessu:20170527202242p:plain

情報許可の画面。ここに出てくるURLは「vi.microsoft.com」ではなくなりますが、「www.videoindexer.ai」であれば問題ありません。

しかし、Live.comの情報アクセス許可画面、ちょっと微妙ですね。
これだとどのアカウントが紐づくのかわからない、、、汗

f:id:mohessu:20170527202907p:plain

接続されると以下画面に遷移されます。シンプルでわかりやすい構成です。

f:id:mohessu:20170527203518p:plain

サンプルを見るとこんな感じに。Build 2017のkeynoteの翻訳はこれを利用していたんですねぇ。。。これは期待が持てます。

f:id:mohessu:20170527203641p:plain

カーソルを合わせるとPlayマークに。再生も手ごろです。

f:id:mohessu:20170527203825p:plain

Play押下でプレビュー画面に。

左側に画像。右側に解析された結果が表示されるようです。

f:id:mohessu:20170527204652p:plain

サンプルを見ると、右側に表示されたPeopleに、しゃべっているタイミングがタイムラインとして表示され、その音声からとっているのか、ポジティブシンキングなのか、ネガティブシンキングなのかがわかるUIを備えています。その他、キーワードなどが表示されています。

f:id:mohessu:20170527205927p:plain

Transcriptタブに移ると、音声解析した結果が表示されます。
動画を再生しながらだとタイムラインが流れるため、この機能だけで何言っているか判断することができるので英会話の勉強に最適です。笑

f:id:mohessu:20170527211919p:plain

Searchのタブでは、音声解析の結果から、一覧が表示されます。

ただ、時間などが出ないので、どこがヒットしたかはわかりません。

そのうち改善するのかなぁ。

f:id:mohessu:20170527212538p:plain

そのほか、左側のペインではEditボタンや<>(共有URLを取得するボタン)、メール貼り付けボタンなどが用意されています。

f:id:mohessu:20170527222237p:plain

共有URLを取得するボタン

f:id:mohessu:20170527222354p:plain

なんだかこれだけ見るとPCアプリにしか見えませんね。
Webのすごさも垣間見ることができます。

音楽:先軸のなぞるもの