MediaStreamTrack コンテンツヒント

音声および音楽を処理するために使用されるアルゴリズムは大きく異なります。 音声タイプのコンテンツ向けに開発されたエコーキャンセルアルゴリズムは、 音楽ではうまく機能しない可能性があり、ノイズ抑制アルゴリズムはドラムの スネアやその他の「ノイズの多い」コンテンツを除去してしまう可能性があります。 これは音声をより明瞭にしますが、音楽信号にはあまり適していません。

映像については、Web カメラのコンテンツは多くの場合ノイズ除去を必要とし、 ダウンスケールされた場合や高い量子化レベルの場合でも、多くの場合 判別可能です。テキストコンテンツが多いプレゼンテーションまたは Web ページの スクリーンキャストコンテンツは、量子化レベルが高すぎる場合、または コンテンツがダウンスケールされるか、その他の方法でぼやける場合、 完全に判別不能になります。

メディアコンテンツの自動検出がない場合、MediaStreamTrack コンシューマーは、経験に基づく推測しかできません。この推測は、 chrome.desktopCapture のようなスクリーンキャストコンテンツには テキストコンテンツが含まれており、低い量子化レベルを使用し、 ビットレート要件を満たすために大幅にフレームをドロップする必要がある、 という仮定に基づく場合があります。別の仮定として、通常の USB 映像デバイスは Web カメラ映像を提供し、より高い量子化レベルとダウンスケーリングが 許容可能である、というものがあります。

この経験に基づく推測は通常は適切ですが、誤っている場合には最適でない 設定につながります。これは、映画やビデオゲームのストリーミングなどの 高モーションコンテンツをスクリーンキャストし、それをテキストとして扱う場合に、 高いフレームドロップとして現れます。一方で、非常に詳細なコンテンツを通常の Web カメラ映像として扱うと、ビットレート要件を満たすために可読性を超えて 量子化またはダウンスケールされたときに、コンテンツがぼやけすぎます。 この不一致は、HDMI 映像キャプチャカードが USB Web カメラとして認識されるが、 実際には Web ページのテキストをスクリーンキャストしている場合にも発生する可能性があります。

場合によっては、Web アプリケーションがより精度の高い推測を行うか、 ユーザー入力を受け取って、どの種類のコンテンツがエンコードされているかを コンシューマーに通知できます。ビデオゲームコンテンツをストリーミングする Web アプリケーションは、個々のフレームの詳細を犠牲にして、デスクトップキャプチャの 動きを保持できます。音楽スタジオアプリケーションは、ノイズ抑制が音楽トラックから スネアを除去することを防ぐことができます。

これらの設定は、エンコーダーレベルの設定を完全に置き換えることを意図したものではなく、 映像エンコーダー、音声処理ステップ、またはより広範なチューニングについての 幅広い知識を必要としない、より単純なヒントで補完することを意図しています。

この仕様の別のセクションでは、MediaStreamTrack を処理する特定の コンポーネントに期待される動作を説明します。

非規範的としてマークされたセクションと同様に、この仕様内のすべての作成ガイドライン、図、例、および注記は非規範的です。それ以外のすべては規範的です。

この文書におけるキーワード MAY、MUST、SHOULD、 および SHOULD NOT は、 ここに示すようにすべて大文字で出現する場合に限り、 BCP 14 [RFC2119] [RFC8174] で説明されているように解釈されます。

WebIDLpartial interface MediaStreamTrack {
  attribute DOMString contentHint;
};

この仕様は MediaStreamTrack を拡張し、[GETUSERMEDIA] で定義される その kind 属性を利用します。

各 MediaStreamTrack には、関連付けられた アプリケーション設定 コンテンツヒント があり、これは初期状態では "" であり、未設定であることを示します。 この アプリケーション設定コンテンツヒント は、 MediaStreamTrack の contentHint 属性に対応し、トラック内に 含まれるコンテンツの種類についてのヒントを提供し、 MediaStreamTrack コンシューマーによってどのように扱われるべきかを導くために、 Web アプリケーションによって使用できます。

アプリケーション設定コンテンツヒントの有効な値は、含まれる MediaStreamTrack の kind に依存します。 contentHint を value に設定する際は、

1. この MediaStreamTrack の kind 属性が "audio" であり、かつ value が ""、 "speech"、"speech-recognition"、または "music" のいずれでもない場合、これらの手順を中止します。
2. この MediaStreamTrack の kind 属性が "video" であり、かつ value が ""、 "motion"、"detail" または "text" のいずれでもない場合、これらの手順を中止します。
3. この MediaStreamTrack の アプリケーション設定コンテンツヒントを value に設定します。
4. 実装は、この MediaStreamTrack のコンテンツをどのように扱うかについての判断を、そのアプリケーション設定 コンテンツヒントの新しい値に従って適応させるべきです。この適応は、合理的に 可能な限り迅速に、たとえば次の数個のキャプチャされた映像フレームまたは 音声バッファー内で行われるべきです。

contentHint を取得する際は、

1. この MediaStreamTrack の アプリケーション設定コンテンツヒント を返します。

アプリケーション設定コンテンツヒントの初期値は "" であり、これはヒントが提供されていないことに対応する点に注意してください。 含まれるコンテンツの種類についての実装の最善の推測が既定値になるわけではありません。

この仕様は、ユーザーがユーザーエージェントに情報を送信できる API を追加します。 この情報は他の場所には通信されず、永続的な場所にも保存されません。

この API を調査することで、クライアントはユーザーエージェントがこの仕様を どのように実装しているかについていくらかの情報を得る可能性があり、 それによりその構成についての何らかの洞察が得られる可能性があります。 これを除けば、この API を通じてユーザーエージェントの情報またはデータが クライアントに公開されることはなく、この API はブラウザー UI へのアクセス、 ユーザーエージェントのセキュリティ特性への影響、または一時識別子の生成を 可能にするものではありません。

この API は、ファーストパーティ、サードパーティ、またはシークレットコンテキストを 区別しません。これらすべての場合に同一に動作します。

個人を識別可能な情報、またはその他の機微な情報は、 この API の使用を通じて扱われません。