CICフィルタでサンプルレート変換

Index

• 概要
  • プログラムについて
• CICフィルタで変換
  • 試しにやってみる
  • アップサンプリングだけ
  • バッファ長を倍にする
  • 10kHzで試す
  • 15kHzで試す
  • 15kHzアップサンプリング後
  • 20kHzで試す
  • 20kHzアップサンプリング後
  • ホワイトノイズ
• 音を聞いてみる
  • 1kHz
  • 10kHz
  • 15kHz
  • 20kHz
  • 曲を変換してみる
• おまけ
  • とりあえずまとめ
  • どこまで聞こえるかな？
  • MP3は17kHz以上はカットされる？

概要

• プログラムでCICフィルタの記事で、微分・積分器を組み合わせたCICフィルタプログラムを作成、
• その特性を調べてみたので、今度はサンプルレートコンバータを試してみようと思う。

• サンプルレートコンバータは、デジタルオーディオで良く使われる回路で、
• 例えば、CDは44.1kHzのサンプルレートだが、DVDは48kHzのサンプリングレートになっている
• これを、相互に変換する際に使われる

• 何で統一しないんだってことなんだけど、
• ひとつには簡単にコピー出来ない様に、というつまらない理由らしい
• まぁそれだけが理由ではないと思うけれど。

• いずれにせよ、サンプルレート変換は、デジタル処理として面白そうなので、
• 以前からいろいろ試したいと思って、 fftwでいろいろ実験とか始めた経緯もある

プログラムについて

• プログラムは、基本的には fftwでいろいろ実験で用意したものを使っている。
• 整数化に使ってる imul と、整数出力のDDS idds は、 デルタシグマ変調器の記事で作ったもの

• CICフィルタの、微分・積分回路とアップダウンサンプラは、 CICフィルタの記事で作ったものを使っている。
• lcomb,lintg,lups,ldwsは、それを単に、longに拡張しただけのもの。

CICフィルタで変換

• まずは、自分なりにCICフィルタでサンプルレート変換する方法を試してみる

• 48kHz→44.1kHzのサンプルレートコンバータの場合
• 48000 → 2^7 x 3 x 5^3
• 44100 → 2^2 x 3^2 x 5^2 x 7^2
• 3 x 7^2 を掛けて、2^5 x 5 で割れば良い
• つまり、147倍アップサンプリングして、160倍ダウンサンプリングすれば良いことになる

試しにやってみる

• CICフィルタの記事で作った、微分・積分フィルタを使って、
• いきなり、147倍アップ、160倍ダウンのサンプルレートコンバータを、1kHzの正弦波で試してみる¹

  % idds 1000 48000 | comb 1 | comb 1 | comb 1 | iups 147 | intg | intg | intg \
  | intg | intg | intg | idws 160 | comb 1 | comb 1 | comb 1 | tail -100 | gp_wav > src_testw.png
  
  % idds 1000 48000 | comb 1 | comb 1 | comb 1 | iups 147 | intg | intg | intg \
  | intg | intg | intg | idws 160 | comb 1 | comb 1 | comb 1 | fftw | gp_fftl > src_test.png
  

• やっぱり、ダメでした。。。

アップサンプリングだけ

• それなら、アップサンプリング147倍だけなら、いけるかな

% idds 1000 48000 | comb 1 | comb 1 | comb 1 | iups 147 | intg | intg | intg | tail -14700 | gp_wav > src_test2w.png

% idds 1000 48000 | comb 1 | comb 1 | comb 1 | iups 147 | intg | intg | intg | fftw | gp_fftl > src_test2.png

• これはいけてるみたいだ。
• 最大値、最小値を確認してみる

  % idds 1000 48000 | comb 1 | comb 1 | comb 1 | iups 147 | intg | intg | intg | minmax
  -706565750.000000, 706565750.000000
  

• CICフィルタの記事で作ったプログラムのバッファの型はint、つまり4byte長だから、
• -2147483648〜2147483647 なので、本当にギリギリだった

バッファ長を倍にする

• これだと、ダウンサンプリングは無理なのは当たり前か。
• でも、バッファを倍にすれば、ギリギリ行けるということかもしれない。

• ということで、バッファ変数をlong、8byte長（64bit）にした、lcomb,lintg,lups,ldwsを作成

% idds 1000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg | lintg \
| lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | tail -100 | gp_wav > src_cicw.png

% idds 1000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg | lintg \
| lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | fftw | gp_fftl > src_cic.png

• なんとか、ギリギリ動いたようだ。
• 但し、実際の音声信号は、〜20kHzぐらいなので、1kHzはかなり低い周波数になる

10kHzで試す

• 10kHzでは、どうだろうか？

% idds 10000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | tail -100 | gp_wav > src_cic10kw.png

% idds 10000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | fftw | gp_fftl > src_cic10k.png

• ちょっとだけ波形が歪み始めているが、まぁOKのようだ

15kHzで試す

• では、15kHzではどうか？

% idds 15000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | tail -100 | gp_wav > src_cic15kw.png

% idds 15000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | fftw | gp_fftl > src_cic15k.png

• 波形にうねりがみられる。15kHzのレベルも落ちてきているし、
• 周波数特性で見ると、11k,18k辺りになにか出ている。。

15kHzアップサンプリング後

• アップサンプリング後だけ、見てみよう

% idds 15000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg | tail -1000 | gp_wav > src_cic15kw2.png
% idds 15000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg | fftw | gp_fftl > src_cic15k2.png

• 波形はそれなりだが、周波数特性はかなり酷い状態
• 元波形の似たような箇所²と較べてみる

  % idds 15000 480000 | tail -83 | head -68 | gp_wav > src_cic15kw3.png
  

• 単体でみると分かり辛いが、見較べてみると、アップサンプリング後の波形は歪んでいることがわかる
• 波形の山が左右対称じゃない。波形の上の方は太く、下の方は細めにみえる

• この周波数特性では、ダウンサンプリングで間引いた時に、変な周波数を拾ってしまうのも頷ける

20kHzで試す

• では、20kHzは？

% idds 20000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | tail -100 | gp_wav > src_cic20kw.png

% idds 20000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | fftw | gp_fftl > src_cic20k.png

• 波形のうねりが酷い。20kHzのレベルもかなり落ちているし、
• この16k辺りの信号はかなり強い。20k近くにも何かある

20kHzアップサンプリング後

• 20kHzでも、アップサンプリング後だけ、見てみよう

% idds 20000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg | tail -2000 | gp_wav > src_cic20kw2.png
% idds 20000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg | fftw | gp_fftl > src_cic20k2.png

• 周波数特性は酷いけれど、15kHzと意外と変わらないが、波形は明らかに歪んでいる

• やはり、ダウンサンプリングで間引いた時に、変な周波数を拾ってしまうのも頷けるし、
• 周波数が高くなった時、ノイズになる周波数の数が増えるというより、特定の周波数のレベルが大きくなるのかな？

ホワイトノイズ

• 20kHzまでの擬似ホワイトノイズを入れてみる

% white 48000 20000 | imul 100 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | tail -100 | gp_wav > src_cicwtw.png

% white 48000 20000 | imul 100 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
| lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | fftw | gp_fftl > src_cicwt.png

• これだけ見ると、高域のレベルはかなり落ちているが、ナイキスト周波数以上はキレイにカットされているように見える。
• でも、単体の正弦波を入れたときの挙動からみると、余計な周波数も発生³して波形は歪んでいるので、
  • 音質的には、かなり劣化していると思われる。

• ホワイトノイズの特性をみても、それだけではわからないこともあるってことか。。

音を聞いてみる

• サンプルレートコンバータは、音のデータを扱うことが多いので、やっぱり音を聞いてみたい。
• ということで、Waveに変換して、さらにMP3に変換⁴したもので音を聞いてみる

1kHz

• まずは、元データが 1kHz/48ks

% idds 1000 48000 | imul 0.8 > idds1000.dat
% txt2wav -48000 idds1000.dat
% lame idds1000.wav idds1000.mp3

• CICサンプルレート変換後は、1kHz/44.1ks

% idds 1000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
  | lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | imul 0.00000000001 > idds1000cic.dat
% txt2wav -44100 idds1000cic.dat
% lame --preset studio idds1000cic.wav idds1000cic.mp3

• これは、区別が付かない。

10kHz

• 次に、元データが、10kHz/48ksの場合

% idds 10000 48000 | imul 0.8 > idds10000.dat
% txt2wav -48000 idds10000.dat
% lame idds10000.wav idds10000.mp3

• CICサンプルレート変換後で、10kHz/44.1ks

% idds 10000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
  | lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | imul 0.00000000001 > idds10000cic.dat
% txt2wav -44100 idds10000cic.dat
% lame --preset studio idds10000cic.wav idds10000cic.mp3

• これも、区別が付かないなぁ。まぁ、波形が少し歪んでるだけだからね。

15kHz

• では、元データが、15kHz/48ksでは、

% idds 15000 48000 | imul 0.8 > idds15000.dat
% txt2wav -48000 idds15000.dat
% lame idds15000.wav idds15000.mp3

• CICサンプルレート変換後が、15kHz/44.1ks

% idds 15000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
  | lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | imul 0.00000000001 > idds15000cic.dat
% txt2wav -44100 idds15000cic.dat
% lame --preset studio idds15000cic.wav idds15000cic.mp3

• あれ、聞こえない⁵。
• でも変換後は、雑音がある所為か、なんか違う感じではある

20kHz

• ということは、元データが、20kHz/48ksで、

% idds 20000 48000 | imul 0.8 > idds20000.dat
% txt2wav -48000 idds20000.dat
% lame --preset studio idds20000.wav idds20000.mp3

• CICサンプルレート変換後が、20kHz/44.1ksでも

% idds 20000 48000 | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
  | lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | imul 0.00000000001 > idds20000cic.dat
% txt2wav -44100 idds20000cic.dat
% lame --preset studio idds20000cic.wav idds20000cic.mp3

• やっぱり、聞こえないか。。かなり劣化してるはずなんだけど。わからん。。。

曲を変換してみる

• 単体の音だと、分かり辛いのかもしれない。
• ということで、編集可能な曲の素材を探してみる。

• DOVA-SYNDROMEというサイトは、基本的に改変も認めてる⁶らしい
• 各音源の権利は、あくまで作曲者にあるので、作曲者の利用条件もちゃんと確認する必要がある

• とりあえず、明るい曲調のものから、 Kyaaiさんの「さあでかけよう」という曲を選んで使わせていただく。

• MP3フォーマットなので、Windowsのサウンド編集アプリ Audacityを使って、
• まず、ステレオ→モノラル変換、
• 48ks/sに設定して、WAVフォーマットで保存した（saadekakeyo.wav）

• Audacityは、スペクトラム解析も出来るので、変換前後のスペクトルの変化も見ることが出来る
• その後は、Unixのコマンドライン上で、データファイルに変換、
• CICフィルタで、48ks→44.1ksのサンプルレート変換 →約15分掛かりました⁷。。
• それを、WAVファイルに変換（saadekakeyo2.wav）
• あとは、Audio要素で再生できるようにMP3に変換しておく

  % dumpwave saadekakeyo.wav > saadekakeyo.dat
  % cat saadekakeyo.dat | lcomb 1 | lcomb 1 | lcomb 1 | lups 147 | lintg | lintg | lintg \
    | lintg | lintg | lintg | ldws 160 | lcomb 1 | lcomb 1 | lcomb 1 | imul 0.00000000001 | tee > saadekakeyo2.dat
  % txt2wav -44100 saadekakeyo2.dat
  % lame --preset studio saadekakeyo.wav saadekakeyo.mp3
  % lame --preset studio saadekakeyo2.wav saadekakeyo2.mp3
  

• サンプルレート変換前（saadekakeyo.wav、48ks/s）

• サンプルレート変換後（saadekakeyo2.wav、44.1ks/s）

• 元々、MP3だったものなので、そもそも高音がカットされていることもあるとは思うけど、
• 。。うーん。区別がつかない。。自分には⁸。。。

• スペクトル解析では、高音がかなり削られていることが、はっきり分かる。
• まぁ、でも変換前の -84dB以上の部分だけ見れば、それほど変化は無い。

• 低音部は、それなりに再現されているみたいだ。

おまけ

とりあえずまとめ

• CICフィルタだけによる、サンプルレート変換は、低音部はちゃんと再現されており、
• サンプリングレートの変換自体は成功した

• でも、高音では波形に歪みがあるし、
• 実際の曲データを変換してみた結果からも、高音がかなり失われていることが分かる

• これは耳で聞けば、はっきり分かると思っていたが、全然分からなかった。。
• 自分は区別つかないけど、他の人が簡単に区別つくのならショックだなぁ。。

• まぁ、CICフィルタによるサンプルレート変換は簡単な構成で出来るが、
• 周波数特性をみると、特に高音の劣化はハッキリ分かる。

• CICフィルタだけだと、特性の弄りようが無いので、実用に使うにはちょっと難しい感じだ。
• やはりもっと急峻な特性を持たせられる、FIRフィルタとかを使わないとダメなんだろう。

• でも、自分のポンコツの耳だと、意外にこれぐらいでも大丈夫なのかもしれない
• と思って、なんか、ちょっと悲しくなった。。

• FIRフィルタでサンプルレート変換という記事で、
• 同様にFIRフィルタのプログラムによるサンプルレート変換も試してみました。（170131追記）

どこまで聞こえるかな？

• おまけで、DDSで作った正弦波データで、どの周波数まで聞こえるか試してみた。
• ちなみに、自分が聞こえるのは、14kHzまででした。。
• 聞こえなくても、聞こえる人には五月蝿いので、音量には気をつけて！
  
  • ヘッドホンとかで聞くと、耳を傷めるかもしれないです
    

• 1kHz
• 2kHz
• 3kHz
• 4kHz
• 5kHz
• 6kHz
• 7kHz
• 8kHz
• 9kHz
• 10kHz
• 11kHz
• 12kHz
• 13kHz
• 14kHz
• 15kHz
• 16kHz
• 17kHz
• 18kHz
• 19kHz
• 20kHz

• 但し、自分の環境で、本当にちゃんと音が出ているのか、最初に確認した方が良いです
• Androidのアプリ、 Spectrum_Analyzerが、おススメ
• iPhoneでは、 SoundBeemが、シンプルだけど対数表示にすれば見やすい⁹。→これはもっと良いのありそう

• ちなみに、自分の環境では、モニターについてるスピーカだと、17kHz以上はそもそも音が出ていなかった。
  
• 仕方ないので、USB-Audio出力にしたら、とりあえず20kHzまで出るようになった

• だから、聞こえないからって諦めないで、まず、ちゃんと音が出ているか確認しましょう
• この高い音は、モスキート音とか呼ばれていて、若い人は普通に聞こえるらしい¹⁰。。

MP3は17kHz以上はカットされる？

• 実は最初、17kHz以上の音が出ていないことに、全く気がつかなかった。
• Androidや、iPhoneのツールが、全然反応しないので、やっと気がついた

• WAVファイルを再生しても、やはり出ていないので、
• モニタのスピーカ¹¹に問題があると分かって、USB-Audio出力にした

• それでWAVファイルの音は出るようになったが、自分の作ったMP3は、やはり17kHz以上はダメ。
• それで、やっとMP3の問題だと分かった。

• 調べてみると、MP3のエンコーダは、ビットレートが128kbpsぐらいが標準で、
  
• 普通は、16kHz前後でLPFを掛けてからエンコードしているらしい
  

• lameも、デフォルトのビットレートは128kbpsになっているようだ。
• -bでビットレートを指定できるらしいが、lame --preset help で確認すると、
• --preset studio とすれば、ビットレートを256kbpsにしてくれるらしい¹²

• それで、16kHz以上は、全部 --preset studio オプションをつけて変換し直した
• 記事内の、MP3生成も必要な箇所は、同様に変更したので、ちゃんと20kHzぐらいまで、出るようになってるはず

• ツールで、どこまで聞こえるか確かめなかったら、全然気がつかないままだったな〜。