DeltaWave

---

Audio Science Review のForumで、DeltaWaveというソフトを知りました。
2つのPCMを比較し、差異を検出してくれるソフトです。

DeltaWave
https://deltaw.org/

例えば、WAV再生時のDACの出力をADCでキャプチャしてWAVに保存し、両者を比較するといったことができます。

これはトランスポートによってDACの出力がどのように変化するのか捉えるのに適したソフトです。

通常、DACの出力をキャプチャしたデータは元のデータと様々な点で異なるため、データの比較は容易ではありません。

• 曲の開始がずれている(数ミリ秒〜数秒）
• 録音レベルがずれている(0.1dB〜数dB)
• 録音された音声の速度にずれがある（再生機材/録音機材のクロックの僅かなずれや、伝送経路上の遅延、ジッターなど。ピコ秒〜ナノ秒）
• 位相がずれている(フィルタに起因する群遅延など。数degree)

DeltaWaveにはデジタル再生系で生じる既知の事象を自動的に補正して取り除いてから差異の抽出を行ってくれるという、大変便利な機能が備わっています。

再生ソフトウェアの違いがDAC出力にどのような変化をもたらすのか、このDeltaWaveを使って調査を進めてみたいなと思っています。

手始めにSabreberry32の出力をADC(Fireface UCX)で192KHz/24bitでキャプチャし、DeltaWaveで検証してみました。

DeltaWaveで解析すると、波形の差分、スペクトルの差分、位相の差分などを視覚的に捉えることができます。
今回は以下の2つの指標に注目してみました。

Difference (RMS) ・・・元データとキャプチャデータの差の二乗平均平方根です。

DF metric・・・短い区間(400msec)毎に算出したRMSの中央値です。

これら二つの指標はとてもよく似ていますが、検証に用いる音源によって感度が異なるようですので、どちらも有用に思います。

検証したのは、以下の条件の違いによるDAC出力の差です。

• 再生ソフトの違い (Volumio / symphonic-mpd)
• SYNC Mode On/Offの違い
• Over Sampling Filter On/Offの違い

SYNC Modeの使いこなしに関して面白いことが分かりましたので、検証結果をまとめて明日にでもコメントしたいと思います。

テスト音源には"EN規格 50332-1 Program Simulation Noise"（ピンクノイズ）を使用しました。

キャプチャするごとに測定結果にはバラツキが生じます。
RMS, DFのばらつきは±0.5dB程度でした。複数回測定して中央値を取れば、相対的な比較には支障がなさそうです。
今回の測定は一発録りです。±0.5dBの差は誤差の範囲と考えてください。

もう一つ大きな問題点が、測定環境のセットアップに敏感ということです。
ケーブル同士が近かったり、ケーブルがループしていたり、ADCがガタついていたりすると最大で1.0dBほど悪化するようでした。
測定を開始したら測定環境を弄らずに一気に測定してしまうことで、測定環境のセットアップに起因する誤差は無視できるのではないかと思います。

測定結果についていくつか考察してみたいと思います。

rec44はSYNCモード有効時の測定ですが、他の設定にくらべて2〜3dBの悪化が見られます。
これはSoXによって192KHzにリサンプリングしたあとES9018Q2Cのオーバーサンプリングフィルタで再びリサンプリングするという、本来は避けるべき設定です。
DPLL/ASRC有効のrec40では大きな違いは見られません。SYNCモードでのみ大きな劣化(歪み)が生じているという点が面白いところ（注意しないといけないところ）です。

続いてrec58のVolumioの測定についてです。

rec58は、同じセットアップで3回測定していました。
RMS・・・-53.95dB, -53.82dB, -54.07dB
DF・・・-44.9dB, -44.8dB, -45.2dB
この内で最も測定結果の良かったものを表に記載しています。（他の測定は大抵一発録りです）

これとほぼ同じセットアップがsymphonic-mpdのrec42ですが、Volumioに比べて0.8dB程度の劣化(歪み)があります。
rec58のVolumioでは、NASをマウントせずにSDカード上に音源をコピーして再生しています。また、SoXを使わずALSAライブラリの自動変換機能によって32bitに変換しています。
試しにsmpd側でもmpdのIntetrnalリサンプラーで32bit変換をさせたり、SDカードやRAMディスクに音源を置いてみて測定値の変化を観察してみると面白そうです。

rec57はVolumioでSYNCモードを有効にしたものです。
DPLL/ASRCに比べて1.0dBの悪化が見られます。
symphonic-mpdでは、SYNCモードを有効にしても、ほぼ同等か0.5dB程度の改善があることと対照的です。
Volumioでは、DAC MasterであってもDPLL/ASRC/ジッタリダクションを有効にした方がSYNCモードよりも良いということですね。
SYNCモードが常に良いとは限らないという、よい事例かと思います。

最後に、rec61, rec62はVolumioでSoXによるリサンプリングを有効にしたときの計測結果ですが、19dBもの歪の増加が見られます。
これほどの違いがあると聴感でも明らかな変化(恐らく劣化)が感じられるのではないかと思います。
Volumioではリサンプリングを避けるのが賢明かと思います。

@パパリウス さん、興味深い結果のご報告ありがとうございます。

これは、diyAudioで大論争になった「測定値を出せ」という件に対する回答になっていると考えてよいのでしょうか。
比較はオリジナルのwaveとdacの出力をFireface UCXで録音したwaveで行っているので、diyA常連達の主張(ソフトで差は発生しない)に反論する論拠にはなりそうな気がします。
もちろん彼らが要求しているのはジッターの測定なので、多少意味合いが異なります。しかし、waveが変わっていることは証明されたわけですから、彼らの主張の一部は覆ったことになると思うのですが、どうなのですかね。
VolumioではDPLL/ASRCの方がSYNCより良いというのも、常連たちの考えとは逆の結果ですね。

何れにしても、非常に興味深い結果で

試しにsmpd側でもmpdのIntetrnalリサンプラーで32bit変換をさせたり、SDカードやRAMディスクに音源を置いてみて測定値の変化を観察してみると面白そうです。

このあたりも楽しみにお待ちします。

@yo さん

このようにDAC出力の比較ができるようになると、とても面白いですね。

DeltaWaveと同様のコンセプトのソフトウェアはあと2つあります。

Audio DiffMaker
https://www.libinst.com/Audio DiffMaker.htm

diffrogram
http://soundexpert.org/articles/-/blogs/visualization-of-distortion#part3

いずれも使い方が難しく、比較する2ファイルをうまくマッチさせることができませんでした。

その点、DeltaWaveはマッチングのアルゴリズムが大変優れていて、比較に失敗するということがほとんどありません。ストレスなく作業を進めることができます。大変気に入りました。

これらのソフトを使い始めて2週間ほどですが、測定に慣れてくればすぐにでも開発に役立てることができそうです。
検証手順を確立することができれば、客観的で再現性のある評価指標として活用することもできるだろうと思います。

DeltaWaveでは、比較対象のデータにローパスフィルタ(またはハイパスフィルタ)をかけてから差分の抽出を行うことができます。

試しに200Hz以下に帯域制限して比較してみると、symphonic-mpdとVolumioのRMS/DFには2〜3dBの差があることが分かります。この特徴は、SYNCモードのON/OFFやOSFのON/OFFといったコンディションには左右されず、全ての設定に共通していました。
この結果をそのまま解釈するなら、symphonic-mpdはVolumioに比べて低域の歪が少ないということができます。

測定結果の解釈については理解できていない部分が多くありますので、結論を急ぐのは早計です。ただ、このように数値に基づいた議論ができるというのは大きな前進だなと思っています。

@パパリウス さん

丁寧な解説ありがとうございます。僕も試してみるかなという気になりました。

問題はFireface UCXクラスのデジタル録音精度のデバイスを持っていないことですね。オンキョーのSE-200PCI LTDという古代のサウンドカードはあるのですが、Windows10ではサポート停止となっています。「お前、そんなもん、Linux」で使えと怒られそうですが、僕は隠れWindows派ですので、大変なのです 。
という訳で、手元にある、雑誌の付録の録音機能付きDDC(USB1.0対応、max96KHzというしろもの)を使ってためしてみました。

やはり、パパリウスさんの結果と比較すると、録音機のレベルが違うので、かなりの差が出ますね。
とりあえず普段使いのWindows環境(SurfaceWin10)でaudacityとWaveGeneを使い10秒間のピンクノイズを録音。これをマスターWAV(44KHz、16Bit)にして、TuneBrowserで再生し、audacityで録音したもの比較しました(再生、録音の両方のプログラムが同じWindows環境で動いていて、更にこの投稿を書いたりしているチューニングゼロの普段用環境ですので、自慢じゃないが、音楽用としては最悪の環境です)。DACはaitlaboの古いやつ(ES9018S/K2M)です。
結果は RMS = -46.73db、DF = -37.9db でした。まあ環境を考えれば、こんなものかなという値ですので、これは使えそうですね。もうちょっと録音機能がましなハードと環境を使えば、それなりの結果は出ると思いますので、どうしたものか思案中です。
確かにこのようなツールを使って、客観的なデータをベースにして、開発するというスタイルはベストでしょう。勿論、最終的な判断は人の耳だと思いますが、上手いやり方だと思いました。

あと、このソフトは元々ケーブルとかアンプの違いによる音の差を明らかにしようという目的で開発されたようですね。従って、別のスレッドで話題になった電源の比較とか、クロックの違いとかで、どいうい結果がでるか、試してみるのは面白そうです。グラフ付きで結果を出せるので、かなり遊べそうです 。

ESSのチップはDPLL/ASRC有効時にDPLLバンド幅によって音質が変化します。

Sabreberry32でDPLLバンド幅を変更しながら歪がどのように変化するか検証してみました。

HighestからLowestに向けて歪が単調減少していくのではないかという期待がありました。

symphonic-mpdは先日測定しており、Volumioは今日測定してみました。
スラッシュを挟んで左がRMS(dB)、右がDF(dB)です。いずれも一発録りです。

結果としてはRMS/DFの両メトリクスはDPLLバンド幅にさほど敏感では無いようです。
ADCの精度を上げたり、DeltaWaveで抽出できる他のデータ（波形の差やスペクトルの差、位相の差などなど）を確認していく必要があるかもしれません。

もう一つ明らかになった問題点は、テスト結果が測定環境のセットアップに敏感で、再現性を得難いという点です。
Volumioの測定値が、-41dB付近と-53dB付近に極端に別れてしまっています。その差は12dB(つまり400%!)もあり、測定手順に何らかの問題があることを示唆しています。
このあたりは試行錯誤しながら問題を潰していく必要がありそうです。

メモ

再生開始直後、一瞬だけ極端に負荷が高くなって歪の原因となるのではないか。
たとえば冒頭1秒と末尾1秒をトリムすれば安定再生中の区間だけを比較できるのでは。

@パパリウス さん

DPLLバンド幅による音質変化のチェック、興味深く拝見しました。

ご指摘のように、このシステムは使い方が難しいですね。音源ソース、ADC、録音ソフト、使用DAC、測定条件などでコロコロと結果が変わるようです。また、測定する目的に合せて、データ指標を適切に選択する必要があるようです。

LPレコードの録音用にKorgのDS-DAC-10Rを持っていますので、これを使ってみました。

という結果でした。パパリウスさんの結果と比較すると多少歪みが多いようですが、ADCの差が大きいかなと思います。DFの値は、使った音源がウェーベルンのピアノ曲だった為、こういう値になったということですかね。
DACはGastard DAC-X20です。最初、aitlaboのDACを使って測定したのですが、RMSが-20db程度の値となり変なので、Gastardに変えたら上表の通りとなりました。これも理由が不明で、謎です。

僕の所では測定値の再現性は高いのですが、音源、DACによる変化が非常に大きく、このあたりが何が何やらさっぱり分からん状態です。ただ、グラフィカルに表示される波形、スペクトル、位相などの差は確かに違っていて、なかなか面白いです。このあたりの分析が必要なようですね。

DeltaWaveを使ってv1.0.7とv1.0.8β3、そしてVolumioの比較を行ってみました。

結論から言えば、v1.0.7が最良、v1.0.8β3はVolumioとv1.0.7の中間の音質ということが分かりました。

測定環境

テスト音源・・・ 44.1KHz/24bit （カスタネット・ギター）
DAC・・・SB32+PRO DoP　(RCA出力)
ADC・・・Fireface UCX (44.1KHz/24bitで録音)

テスト音源・録音データ・DeltaWave解析レポート一式 (25MB)
http://www.symphonic-mpd.com/release/files/deltawave_comparison_20200918.zip

DeltaWaveの解析レポートから歪率の指標 (RMS, DF Metric)を抜粋したものがこちらです。

Volumio 2.806はsmpd v1.0.7との比較でRMSで約2dB(≒1.6倍)、DFメトリクスで約1dB(≒1.26倍)の歪みがあるということが言えます。

特筆すべきは解析レポートの最後にある「Fig 6. Delta Phase」です。
このグラフは位相差分の周波数特性と解釈すればよいのだと思いますが、smpd v1.0.7は低域(0Hz～200Hz)での位相の乱れが極端に少なく、とても滑らかな特性を持っていることが分かります。
v0.6系以降、バージョンアップを重ねるにつれて低域の再現性が徐々に改善され、他のディストリビューションの音と決定的に違う部分だと感じていました。
このような聴感上の違いがDAC出力の差分として測定可能になったのは開発を進めるうえでとても画期的なことです。

v1.0.8β3の位相差分グラフ(Fig 6. Delta Phase)はv1.0.7の滑らかさには大きく劣り、歪率も一段劣る水準です。
まだまだチューニングが不足していることが明らかになりました。しっかりチューニングを進めてからリリースしたいと思います。

Fig 6.Delta Phase

smpd v1.0.7

smpd v1.0.8β3

@パパリウス さま

ちなみにVolumioはデフォルトの状態でしょうか。
例えばSMPDのようにUSB入力やWifi、LEDをオフするだけでもかなり変わる気がしますので…。

@SpongeB さん

Volumioについては、Web UIから停止できる機能は全て止めてみました。
USBのON/OFF設定は無かったように思いますので、そのままの状態だと思います。LEDも点灯したままです。

今回はv1.0.7とv1.0.8βの比較に焦点を当てており、Volumioの測定データは目安程度に考えていただければと思います。

DeltaWaveを使い始めた当初は解析結果の一貫性の無さに悩まされましたが、ノウハウが溜まってきました。

問題点1

Volumioの測定で数回に1度の頻度で10dB以上悪化したデータが採れることがある

これは、テスト音源の冒頭に1秒の無音を挿入することで解決しました。

Volumioは再生開始直後の一瞬だけ大きな歪みが発生しやすいようで、それが録音データに混入することで解析結果が大幅に悪化する原因となっていました。
冒頭に無音を挿入しておけば、再生開始から1秒以降の安定再生されている部分がマッチングに使われるようになります。

問題点2

測定ごとのバラツキが大きく解析結果に一貫性が無い

これはマッチング前に行われる変換処理を抑止することで解決しました。

当初、44.1KHz/16bit音源を再生してADCで192KHz/24bitでキャプチャしていました。
この場合、DeltaWaveは録音データをテスト音源と同じフォーマットにダウンサンプリングし、ボリューム合わせをした上でマッチングします。
このリサンプリング処理によって加わる歪みによって、元々の録音データに含まれていた細かな差異がマスクされてしまい、解析結果の一貫性が失われてしまうようです。

最終的にはDeltaWaveによる前処理は全て省き、ボリューム合わせだけを有効にすることで、解析結果の再現性が大幅に向上しました。
テスト音源は44.1KHz/24bitとし、ADCでのキャプチャも44.1KHz/24bitで行います。

測定ごとに多少のブレはありますが解析結果には一貫性があり、再現性も十分です。4〜5回測定するだけでも傾向をかなり正確に掴むことができるようになりました。

これまで、大きな方式変更を行ったあとは帯域バランスの崩れに悩まされることが常でした。

性能改善によって中高音域は音質が向上しやすいのですが、低域の再現性は壊れてしまうことが多く、総合的には中高域寄りのバランスになってしまうというパターンを何度も何度も繰り返し経験してきました。
そこから聴感頼りでチューニングを進め、数週間から1ヶ月程度で低域の再現性を取り戻すという開発サイクルです。

DeltaWaveはこの開発サイクルに大きな変革をもたらしてくれるかもしれません。

@パパリウス さん、v1.08/v1.07のDeltaWareの結果の開示ありがとうございます。こういう具合に全てのデータを示していただけると、助かります。

DeltaWareの作者は天文学が趣味で、世界各国の天文台が公開している宇宙写真の解析を楽しんでいるのですね。オーディオ録音の解析も天文写真の解析も、如何にノイズを除去するかという意味では、同じことのようです。

DeltaWareですが、それなりに使えるという結論のようですね。このソフトは、測定条件により、結果が大きく変わります。従って、異なる環境の数値を単純に比較しても無意味だと思います。パパリウスさんのような、環境や比較対象を限定した使い方が適切なのでしょう。

以下に、パパリウスさんのお使いのテスト音源を使って、僕の環境で測定したソフト比較結果をお示しします。これは僕の環境に限定された結果で、それだけで全ての環境でのソフトやハードの優劣を示しているわけでは無いということを明記しておきたいと思います。DeltaWareの使い方の一つの例としてご覧ください。測定したのは、僕が普段音楽を聴いているサブシステム環境です。

テスト音源・・・ パパリウスさんと同じもの
DAC・・・Gastard DAC-X20(RCA出力)
ADC・・・Korg DS-DAC-10R (44.1KHz/24bitで録音)
それぞれ2回づつ測定しました。

測定方法ですが、パパリウスさんと大きく違うのはパパリウスさんがLのみの比較なのに対し、僕の方はL+Rの比較であることです。Lだけで比較すると値が30%程度悪化し、RMS値が-30db後半となります。多分、これは Korg DS-DAC-10R のアナログ変換が甘く、方チャネルだけでは綺麗な値が出せないためだと思います。L+Rで比較しても、パパリウスさんとは数dbの差はありますが、この辺りは電源、DAC、接続方法(SB32は直結で条件が良い)、ネットワーク条件、NASなどの環境の差に起因するものでしょう。

僕の結果に対する感想は
①SMPDラズパイ4でI2SとSPDIFの差がないのは意外だったな
②Windows勢は相当善戦しているな(direttaの実態はLinuxですが)
です。特にTuneBrowser(Windows10+Surface)は今この投稿を作成しているパソコンを使って、USB接続で再生しているわけですから、こんなに良い値が出るとは思いませんでした。

まあ全般的には聴感と一致する結果なので、こんなものなのかなと思っています。

参考までにDelta Phaseのグラフをご紹介しておきます。ベストとワーストの比較です。

SMPD 1.07(R-PI4 2MB) + AK4137 SRC Board + HDMI GLA B I2S接続の一回目

TuneBrowser(Windows10+Surface) USBの二回目

確かに差はよくわかります。また、パパリウスさんの結果と比較しても、かなり違いがあります。DACとHATの差ですかね。

@yo さん

DeltaWaveで追試いただきありがとうございます。

仰る通り、異なる測定環境での数値は比較できるものではありません。規格化された測定条件も存在しませんので、これをどう活用するかは利用者次第ということになりますね。

幸いなことに、smpdの開発に限って言えば測定環境は固定したままでよいので、ソフトウェア変更前後の相対評価には十分機能します。
これほど明快に数値化・可視化できるのは本当に素晴らしいですね。

測定の効率化のため、テスト音源を物色中です。
今回は@hiroget9 さんから提供いただいた96KHz/24bit音源を使って測定してみました。

提供いただいた音源を30秒程度切り出し、フェードイン・フェードアウト加工したうえで、冒頭と末尾のそれぞれに0.2秒ほどの無音区間を追加しています。
この無音区間は測定のばらつきを排除するためにとても重要なポイントになります。

smpd v1.0.9の再生停止処理では、1チャンクに満たないサンプルが残っていても後続データがこなければ処理を停止してそのまま捨ててしまいます。このような挙動もADCはうまく拾い上げてくれるのですが、キャプチャの度に測定値がばらつく要因となっていました。
v1.0.10では再生停止時の振る舞いを修正し、このようなばらつきが出ないようにしています。

定点観測における比較対象としてvolumioはとても有用ですが、再生開始・再生停止時の振る舞いに起因する測定のばらつきは悩みのタネでした。テスト音源の冒頭と末尾に無音区間を設けることで、ばらつきの頻度をグッと抑えることができます。（ゼロにはできませんが、実用レベルになります。）

テスト音源・録音データ一式 (約160MB)
http://symphonic-mpd.com/release/files/deltawave_comparison_20201018.zip

volumio

録音データ#1はRMSが明らかに悪化しています。録音データを確認すると冒頭付近に大きな歪が混入していることが分かりましたので、平均値の算出からは除外しました。
DFメトリクスはこのような一過性の歪に左右されにくい指標であることも見て取れます。

smpd v1.0.10

@パパリウス さん

最近、ddcとしてantelope discrete4を使い始めたのですが、これが優秀なadcしても使えると確認できたので、DeltaWaveに嵌まっています。電源ケーブルで数値は変わらないないが、電源で数値は変わるなどという当たり前のことが分かり、面白いです。

情報の開示ありがとうございます。hiroget9 さんのサンプルも試してみたいと思います。

テスト音源に関して。僕はクラシックばかりになりますが、候補です。

リヒャルトシュトラウス、ツァラトゥストラはかく語りき、冒頭20小節
バッハ、ロ短調ミサ、第1曲(キリエ) 冒頭30小節位
ベートーヴェン、交響曲第7番第4楽章、冒頭14小節位
ウェーベルン 弦楽四重奏のための5つの断章 第3曲

最初の曲は「2001年宇宙の旅」でサルが初めて道具を使った時のバックグラウンドミュージックですね。冒頭の部分は2分近いので、多少、編集が必要かもしれません。ウェーベルンは40秒位の曲。短いので、お勧めです。

@yo さん

電源の差異も検出できましたか！それはとても面白いですね。私もいずれ取り組んでみたいと思います。

拙宅ではDACの電源ケーブルを変えると音質に変化を感じます。
ラズパイの電源ケーブル(つまりUSBケーブル)による音質差は、これまであまり意識してきませんでしたが、、聞き取る自信はありません。
このあたりも測定できると面白いですね。

テスト音源のご紹介にも感謝いたします。
測定環境のセットアップに関しては少しずつノウハウが溜まってきましたので、次の段階としては様々なテスト音源を試しながら、差異を検出しやすい音源を探し出したいと思っています。
そろそろADCも欲しいなと思っています。Texas InstrumentsのPCM4222評価ボードが安価ながら高性能との評判で、ちょっと気になっています。