音声コマンドと文字起こし
音声コマンドと文字起こしに使えるVoiceは、Ai FlowiのAI Flowi Workflowで音声をテキストに変換し、アプリ内の操作を音声で指示できる機能です。マイクに向かって話すと、アプリが聞き取った言葉を確認でき、応答を受け取れます。コマンドでページを開く、ワークフローを探す、ワークスペースの情報を表示するといった操作ができ、変更には確認が必要です。
話して、確認して、操作する
マイクをタップし、マイクへのアクセスを許可して、音声でリクエストを伝えます。Voiceパネルには、聞き取った言葉、応答、操作の結果が表示されます。コマンドに確認が必要な場合は、「確認」または「キャンセル」を選択します。
音声コマンドでは、名前を指定してワークフローを開く、ワークフローやMarketplaceの項目を検索する、ワークスペースのトークン残高を表示するといった操作ができます。ダッシュボードでは、使用量の表示や公開済みアプリの一覧表示もできます。空のワークフローの作成や、その公開手順を開く操作には確認が必要です。
公開コマンドは公開手順を開き、以降の手順はお客様自身で完了してください。金銭に関するコマンドには確認が必要で、請求または出金の画面が開き、そこでお客様が操作を完了します。
文字起こしで対応する音声形式
ウェブアプリはマイクの音声を録音し、WAVに変換してから音声サービスに送信します。文字起こしサービスは、コンテンツタイプがaudio/wavの非圧縮16 kHzモノラル、16ビットWAV音声を受け付けます。音声の長さは60秒以下、サイズは2 MiB以下でなければなりません。
文字起こしは、テキスト、検出された言語または指定された言語、および音声の長さを返します。非対応の音声は拒否されます。文字起こし処理が混み合っている場合やモデルが利用できない場合はエラーが返されるため、再試行できます。
音声とコマンドが処理される場所
ウェブの文字起こしは、ローカルに読み込まれた音声モデルを使用し、音声サービス上で実行されます。モデルのダウンロードは無効になっており、モデルはローカルディレクトリから読み込まれます。ブラウザは録音データをそのサービスに送信します。文字起こしはブラウザ内では実行されません。
コマンドの解釈は別の工程です。音声サービスは、文字起こしされたテキスト、利用可能なツール、および提供された会話の文脈や操作結果をAPI Hubを通じて送信します。コマンドの呼び出しにはワークスペースのトークンが使用されます。文字起こしがローカルで行われても、コマンドの解釈がオフラインのまま行われるという意味ではありません。
応答とアクセス制御
Voiceはテキストで応答を表示し、Voiceの音声応答が有効な場合は読み上げることもできます。Voiceを利用できるかどうかは、機能スイッチの設定によって決まります。文字起こしとコマンドには、ユーザーのサインインとワークスペースへのアクセス権が必要です。
コマンドサービスは、アプリの画面と有効な機能に応じて利用可能な操作を絞り込み、その後、操作の引数を検証します。アプリは、変更や金銭に関する操作を実行する前に確認を求めます。
ハンズフリー音声操作と音声認識への対応
AI Flowi Workflowの設定でハンズフリーのVoice設定をオンにすると、Voiceが待機中で、確認待ちの操作がないときに音声の聞き取りを開始します。ハンズフリーのコマンドは、設定された製品名で始め、その後にリクエストを続ける必要があります。ウェブでは、ハンズフリーのVoiceはマイクによる録音と音声サービスを使用し、ページが非表示になると聞き取りを停止します。ネイティブアプリでは、Voiceの利用に、端末上での音声認識に対応したデバイスとマイクの使用許可が必要です。ハンズフリーの聞き取りは、初期設定ではオフです。
関連ページ
AI Flowi Workflowについて詳しく見る。 API Hubについて詳しく見る。 Marketplaceを見る。 公開機能について詳しく見る。 ワークスペースについて詳しく見る。