出力ファイルが「スムーズ」であるにもかかわらず、私のDirectShowフィルターのレンダリング中にst音が出ます
-
26-10-2019 - |
質問
DSPACKコンポーネントライブラリを使用して、Delphi 6にDirectshowアプリケーションが書かれています。互いに協力する2つのフィルターグラフがあります。
主要な フィルターグラフにはこの構造があります。
- 100ミリ秒のバッファーサイズでフィルターをキャプチャします。
- (接続)サンプルグラバーフィルター。
「セカンダリ」フィルターグラフには、この構造があります。
- 管理するオーディオバッファーストアハウスに直接オーディオを受け入れるカスタムプッシュソースフィルター。
- (接続)レンダリングフィルター。
プッシュソースフィルターは、イベントを使用してオーディオの配信を制御します。そのfillbuffer()コマンドはイベントで待機します。新しいオーディオデータがバッファに追加されると、イベントが合図されます。
フィルターグラフを実行すると、オーディオで小さな「ギャップ」が聞こえます。通常、私はその条件を、それらに「ギャップ」が入っていない、または「ギャップ」がある不適切に構築されたオーディオバッファーに関連付けます。しかし、テストとして、ティーフィルターを追加し、WAV DESTフィルターを接続し、その後ファイルライターフィルターを接続しました。出力WAVファイルを調べると、完全に滑らかで隣接しています。言い換えれば、スピーカーから聞いたギャップは、出力ファイルでは明らかではありません。
これは、キャプチャフィルターからのオーディオが正常に伝播しているが、オーディオバッファーの配信が定期的な干渉を受けていることを示しています。私が聞いた「ギャップ」は、1秒に10倍ではなく、2倍または3倍のように、時にはギャップがまったくないこともあります。そのため、すべてのバッファーが発生していないか、1秒に10回のギャップが聞こえます。
私の最初の推測では、ロックの問題ですが、150ミリ秒のイベントにタイムアウトセットがあり、それが発生した場合は例外がスローされます。例外は投げられていません。また、40ミリ秒のタイムアウトが設定されています 毎日 アプリケーションで使用される重要なセクションと なし それらのうち、どちらもトリガーしています。 outputdebugstring()ダンプとの間の時間を確認しました 非シグナル (ブロック)と 信号 (ブロックされていない)発生は、94ミリ秒から140ミリ秒の間に交互に並ぶかなり一定のパターンを示しています。言い換えれば、プッシュソースフィルターのFillbuffer()の呼び出しは、94ミリ秒、その後140ミリ秒、繰り返しブロックされたままです。期間は少しドリフトしますが、かなり規則的です。このパターンは、Windowsスレッドの切り替えを考慮して、キャプチャフィルターを待機してオーディオバッファーを100 ms間隔でプッシュソースフィルターにダンプするスレッドと一致しているようです。
私 考える プッシュソースフィルターでダブルバッファリングを使用しているので、ロックメカニズムがどれも200ミリ秒以上の合計時間を取得していない場合、オーディオストリームを中断するべきではないということです。しかし、これらの症状を引き起こすロックの問題以外は何も考えられません。私は何か間違ったことをしている場合に備えて、下のプッシュソースフィルターにdevenyBufferSize()メソッドのコードを含めました。やや長いですが、以下のFillbuffer()コールも含めて、効果がある場合に備えて、タイムスタンプの生成方法を示しています。
すべてのオーディオバッファーがそのまま配信されているにもかかわらず、私のオーディオストリームをレンダリングフィルターにst音に引き起こす可能性がありますか?
質問: :自分でダブルバッファリングを実装する必要がありますか? Directshow Render Filtersはあなたのためにそれを行うと考えました。そうしないと、カスタムプッシュソースフィルターなしで作成した他のフィルターグラフは正しく機能しませんでした。しかし、おそらく私はフィルターグラフで別のロック/ロック解除状況を作成しているので、ダブルバッファリングの独自のレイヤーを追加する必要がありますか?もちろん、追加の遅延を避けるためにそれを避けたいので、私の状況に別の修正がある場合は知りたいです。
function TPushSourcePinBase_wavaudio.DecideBufferSize(Allocator: IMemAllocator; Properties: PAllocatorProperties): HRESULT;
var
// pvi: PVIDEOINFOHEADER;
errMsg: string;
Actual: ALLOCATOR_PROPERTIES;
sampleSize, numBytesPerBuffer: integer;
// ourOwnerFilter: TPushSourceFilterBase_wavaudio;
begin
if (Allocator = nil) or (Properties = nil) then
begin
Result := E_POINTER;
// =========================== EXIT POINT ==============
Exit;
end; // if (Allocator = nil) or (Properties = nil) then
FFilter.StateLock.Lock;
try
// Allocate enough space for the desired amount of milliseconds
// we want to buffer (approximately).
numBytesPerBuffer := Trunc((FOurOwnerFilter.WaveFormatEx.nAvgBytesPerSec / 1000) * FBufferLatencyMS);
// Round it up to be an even multiple of the size of a sample in bytes.
sampleSize := bytesPerSample(FOurOwnerFilter.WaveFormatEx);
// Round it down to the nearest increment of sample size.
numBytesPerBuffer := (numBytesPerBuffer div sampleSize) * sampleSize;
if gDebug then OutputDebugString(PChar(
'(TPushSourcePinBase_wavaudio.DecideBufferSize) Resulting buffer size for audio is: ' + IntToStr(numBytesPerBuffer)
));
// Sanity check on the buffer size.
if numBytesPerBuffer < 1 then
begin
errMsg := '(TPushSourcePinBase_wavaudio.DecideBufferSize) The calculated number of bytes per buffer is zero or less.';
if gDebug then OutputDebugString(PChar(errMsg));
MessageBox(0, PChar(errMsg), 'PushSource Play Audio File filter error', MB_ICONERROR or MB_OK);
Result := E_FAIL;
// =========================== EXIT POINT ==============
Exit;
end;
// --------------- Do the buffer allocation -----------------
// Ensure a minimum number of buffers
if (Properties.cBuffers = 0) then
Properties.cBuffers := 2;
Properties.cbBuffer := numBytesPerBuffer;
Result := Allocator.SetProperties(Properties^, Actual);
if Failed(Result) then
// =========================== EXIT POINT ==============
Exit;
// Is this allocator unsuitable?
if (Actual.cbBuffer < Properties.cbBuffer) then
Result := E_FAIL
else
Result := S_OK;
finally
FFilter.StateLock.UnLock;
end; // try()
end;
// *******************************************************
// This is where we provide the audio data.
function TPushSourcePinBase_wavaudio.FillBuffer(Sample: IMediaSample): HResult;
// Given a Wave Format and a Byte count, convert the Byte count
// to a REFERENCE_TIME value.
function byteCountToReferenceTime(waveFormat: TWaveFormat; numBytes: LongInt): REFERENCE_TIME;
var
durationInSeconds: Extended;
begin
if waveFormat.nAvgBytesPerSec <= 0 then
raise Exception.Create('(TPushSourcePinBase_wavaudio.FillBuffer::byteCountToReferenceTime) Invalid average bytes per second value found in the wave format parameter: ' + IntToStr(waveFormat.nAvgBytesPerSec));
// Calculate the duration in seconds given the audio format and the
// number of bytes requested.
durationInSeconds := numBytes / waveFormat.nAvgBytesPerSec;
// Convert it to increments of 100ns since that is the unit value
// for DirectShow timestamps (REFERENCE_TIME).
Result :=
Trunc(durationInSeconds * REFTIME_ONE_SECOND);
end;
// ---------------------------------------------------------------
function min(v1, v2: DWord): DWord;
begin
if v1 <= v2 then
Result := v1
else
Result := v2;
end;
// ---------------------------------------------------------------
var
pData: PByte;
cbData: Longint;
pwfx: PWaveFormat;
aryOutOfDataIDs: TDynamicStringArray;
intfAudFiltNotify: IAudioFilterNotification;
i: integer;
errMsg: string;
bIsShuttingDown: boolean;
// MSDN: The REFERENCE_TIME data type defines the units for reference times
// in DirectShow. Each unit of reference time is 100 nanoseconds.
Start, Stop: REFERENCE_TIME;
durationInRefTime, ofsInRefTime: REFERENCE_TIME;
wfOutputPin: TWaveFormat;
aryDebug: TDynamicByteArray;
begin
aryDebug := nil;
if (Sample = nil) then
begin
Result := E_POINTER;
// =========================== EXIT POINT ==============
Exit;
end; // if (Sample = nil) then
// Quick lock to get sample size.
FSharedState.Lock;
try
cbData := Sample.GetSize;
finally
// Don't want to have our filter state locked when calling
// isEnoughDataOrBlock() since that call can block.
FSharedState.UnLock;
end; // try
aryOutOfDataIDs := nil;
intfAudFiltNotify := nil;
// This call will BLOCK until have enough data to satisfy the request
// or the buffer storage collection is freed.
if FOurOwnerFilter.bufferStorageCollection.isEnoughDataOrBlock(cbData, bIsShuttingDown) then
begin
// If we are shutting down, just exit with S_FALSE as the return to
// tell the caller we are done streaming.
if bIsShuttingDown then
begin
Result := S_FALSE;
// =========================== EXIT POINT ==============
exit;
end; // if bIsShuttingDown then
// Re-acquire the filter state lock.
FSharedState.Lock;
try
// Get the data and return it.
// Access the sample's data buffer
cbData := Sample.GetSize;
Sample.GetPointer(pData);
// Make sure this format matches the media type we are supporting.
pwfx := AMMediaType.pbFormat; // This is the format that our Output pin is set to.
wfOutputPin := waveFormatExToWaveFormat(FOurOwnerFilter.waveFormatEx);
if not isEqualWaveFormat(pwfx^, wfOutputPin) then
begin
Result := E_FAIL;
errMsg :=
'(TPushSourcePinBase_wavaudio.FillBuffer) The wave format of the incoming media sample does not match ours.'
+ CRLF
+ ' > Incoming sample: ' + waveFormatToString(pwfx^)
+ CRLF
+ ' > Our output pin: ' + waveFormatToString(wfOutputPin);
OutputDebugString(PChar(errMsg));
postComponentLogMessage_error(errMsg, FOurOwnerFilter.FFilterName);
MessageBox(0, PChar(errMsg), 'PushSource Play Audio File filter error', MB_ICONERROR or MB_OK);
Result := E_FAIL;
// =========================== EXIT POINT ==============
exit;
end; // if not isEqualWaveFormatEx(pwfx^, FOurOwnerFilter.waveFormatEx) then
// Convert the Byte index into the WAV data array into a reference
// time value in order to offset the start and end timestamps.
ofsInRefTime := byteCountToReferenceTime(pwfx^, FWaveByteNdx);
// Convert the number of bytes requested to a reference time vlaue.
durationInRefTime := byteCountToReferenceTime(pwfx^, cbData);
// Now I can calculate the timestamps that will govern the playback
// rate.
Start := ofsInRefTime;
Stop := Start + durationInRefTime;
{
OutputDebugString(PChar(
'(TPushSourcePinBase_wavaudio.FillBuffer) Wave byte index, start time, stop time: '
+ IntToStr(FWaveByteNdx)
+ ', '
+ IntToStr(Start)
+ ', '
+ IntToStr(Stop)
));
}
Sample.SetTime(@Start, @Stop);
// Set TRUE on every sample for uncompressed frames
Sample.SetSyncPoint(True);
// Check that we're still using audio
Assert(IsEqualGUID(AMMediaType.formattype, FORMAT_WaveFormatEx));
{
// Debugging.
FillChar(pData^, cbData, 0);
SetLength(aryDebug, cbData);
if not FOurOwnerFilter.bufferStorageCollection.mixData(@aryDebug[0], cbData, aryOutOfDataIDs) then
}
// Grab the requested number of bytes from the audio data.
if not FOurOwnerFilter.bufferStorageCollection.mixData(pData, cbData, aryOutOfDataIDs) then
begin
// We should not have had any partial copies since we
// called isEnoughDataOrBlock(), which is not supposed to
// return TRUE unless there is enough data.
Result := E_FAIL;
errMsg := '(TPushSourcePinBase_wavaudio.FillBuffer) The mix-data call returned FALSE despite our waiting for sufficient data from all participating buffer channels.';
OutputDebugString(PChar(errMsg));
postComponentLogMessage_error(errMsg, FOurOwnerFilter.FFilterName);
MessageBox(0, PChar(errMsg), 'PushSource Play Audio File filter error', MB_ICONERROR or MB_OK);
Result := E_FAIL;
// =========================== EXIT POINT ==============
exit;
end; // if not FOurOwnerFilter.bufferStorageCollection.mixData(pData, cbData, aryOutOfDataIDs) then
// ------------- OUT OF DATA NOTIFICATIONS -----------------
{
WARNING: TBufferStorageCollection automatically posts
AudioFilterNotification messages to any buffer storage
that has a IRequestStep user data interface attached to
it!.
}
if FOurOwnerFilter.wndNotify > 0 then
begin
// ----- Post Audio Notification to Filter level notify handle ---
if Length(aryOutOfDataIDs) > 0 then
begin
for i := Low(aryOutOfDataIDs) to High(aryOutOfDataIDs) do
begin
// Create a notification and post it.
intfAudFiltNotify := TAudioFilterNotification.Create(aryOutOfDataIDs[i], afnOutOfData);
// ourOwnerFilter.intfNotifyRequestStep.triggerResult(intfAudFiltNotify);
PostMessageWithUserDataIntf(FOurOwnerFilter.wndNotify, WM_PUSH_SOURCE_FILTER_NOTIFY, intfAudFiltNotify);
end; // for()
end; // if Length(aryOutOfDataIDs) > 0 then
end; // if FOurOwnerFilter.wndNotify > 0 then
// Advance the Wave Byte index by the number of bytes requested.
Inc(FWaveByteNdx, cbData);
Result := S_OK;
finally
FSharedState.UnLock;
end; // try
end
else
begin
// Tell DirectShow to stop streaming with us. Something has
// gone seriously wrong with the audio streams feeding us.
errMsg := '(TPushSourcePinBase_wavaudio.FillBuffer) Time-out occurred while waiting for sufficient data to accumulate in our audio buffer channels.';
OutputDebugString(PChar(errMsg));
postComponentLogMessage_error(errMsg, FFilter.filterName);
MessageBox(0, PChar(errMsg), 'PushSource Play Audio File filter error', MB_ICONERROR or MB_OK);
Result := E_FAIL;
end;
end;
解決
まず、オーディオ出力をトラブルシューティングするには、レンダラーのプロパティを確認する必要があります。高度なタブでそれらを取得し、あなたもそれらを介して照会することができます IAMAudioRendererStats
プログラムでインターフェイス。ファイル再生のプロパティとは異なることは、ストリーミングの正しさに関してはあなたにとって警告であるはずです。
ストックフィルターのオーディオプロパティページは、Driectshowビデオフィルターのものほど堅実ではないため、これをポップするためのトリックが必要かもしれません。ストリーミングがアクティブに使用されているときのアプリケーションで OleCreatePropertyFrame
GUIスレッドから、コードから直接フィルターの散らばりを表示するには(一時的なボタンを押すことへの応答など)。
再生の問題の典型的な原因については、以下をチェックしています。
- タイムスタンプのサンプルはなく、あなたはプッシュされるペースで再生され、以前のサンプル再生が完了するよりも遅く物事を押すことがあります
- あなたのタイムスタンプは正しいように見えますが、それらは現在の再生時間から後退しており、おそらく部分的にはレンダラーに遅れて表示されます
両方のシナリオには、いくつかの反映が必要です Advanced
タブデータ。
他のヒント
変更してみてください
// Ensure a minimum number of buffers
if (Properties.cBuffers = 0) then
Properties.cBuffers := 2;
の中へ
// Ensure a minimum number of buffers
if (Properties.cBuffers < 2) then
Properties.cBuffers := 2;
少なくとも2つのバッファーがあることを確認します。バッファが1つしかない場合は、ギャップが聞こえます。