コールバックで音声を受け取る SoraAudioStreamSink の追加 #32
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
|
SoraAudioSink2 という名前が良くないので変更をお願い。 |
tnoho
changed the title
|
SoraAudioStreamSink に改名しました！ |
|
@tnoho ドキュメントも PR ください。 |
sile
reviewed
Aug 28, 2023
| @@ -44,6 +47,22 @@ PyType_Slot audio_sink_slots[] = { | |||
| {Py_tp_traverse, (void*)audio_sink_tp_traverse}, | |||
| {0, nullptr}}; | |||
|
|
|||
| int audio_sink2_tp_traverse(PyObject* self, visitproc visit, void* arg) { | |||
There was a problem hiding this comment.
ここの sink2 は変更もれでしょうか？（stream_sink になるべき？）
sile
reviewed
Aug 28, 2023
| SoraTrackInterface* track_; | ||
| const int output_sample_rate_; | ||
| const size_t output_channels_; | ||
| // ACMResampler の前に std::unique_ptr がなんでも良いので無いと何故かビルドが通らない |
sile
reviewed
Aug 28, 2023
| @@ -0,0 +1,201 @@ | |||
| #ifndef SORA_AUDIO_SINK2_H_ | |||
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
現在用意されている SoraAudioSink は SoraAudioSinkImpl 内のバッファに受け取った音声データを溜め込み、任意のタイミングで音声を取り出すことができるようにしてあります。
これは、SoraVideoSink のように AudioTrack から音声データを受け取るたびにコールバックを呼び出す形で実装すると 10ms という非常に短い間隔でコールバックが呼び出されるために Python 側で実装に配慮が必要になることを想定しそのようにしました。
しかしながら SoraVideoSink 同様に AudioTrack から音声データを受け取るたびにコールバックで呼び出す形の SoraAudioSink もあった方がリアルタイム処理などでの利便性が高いと考えたことから、これを実装した SoraAudioStreamSink を追加したいと思います。
SoraAudioSink にも同じ形を実装しようとしたコードがあるのですが、 1 つのクラスに 2 つの機能は難しいと考え分けることとしました、これがマージされた後に SoraAudioSink の当該部分は削除したいと思います。
前述のコールバックが非常に短くなる点への配慮として、コールバックにより渡される SoraAudioFrame は pickle できるようになっており、 multiprocessing.Queue などで別プロセスへのオフロードが可能になっています。
必須ではない割と大きめの機能追加なので、フォークしたリポジトリからの PR としました。レビューいただければと思います。