AI音楽検出ツール5種類を徹底比較!! 何を見てAI判定しているのか実験で検証!!
前回の記事では、Sunoで制作した楽曲をベースに、ボーカルやギター、ドラムなどを段階的に人間の演奏へ置き換えながら、AI Music Detector Comparisonを用いて17パターンの検証を行いました。
となると、当然新たな疑問が湧いてきます。
「どのAI検出ツールも同じなのだろうか？」
「そもそもこれらのツールは信用に足るのだろうか？」
ということで今回は前回のAI Music Detector Comparisonに内蔵されている2つの解析エンジンに3つのAIツールを加えた、5つのツールでの検証比較をしていきます。
「ツールによって何がどう違うのか」
「結局どのパートがAI判定を左右しているのか」を横断的に見ていきます。
なお、ここで紹介する内容は、各サービスが公開している情報に加え、今回の実験結果から読み取れた傾向を組み合わせたものです。
アルゴリズムの詳細は公開されていないため、一部は実験結果に基づく考察であることをご理解ください。
検出データ
SubmitHub
BeatsToRapOn
AI Music Checker
検出ツールと分析結果
ACRCloud (AI Music Detector Comparison)
AI Music Detector Comparisonは前回の記事でしっかり検証しました。
ACRCloudは「特定のリード楽器・主旋律が人間かどうか」によって判定が大きく変わる解析エンジンです。
特にボーカルに重み付けがされており、重要視されています。
しかし、1パートだけAIを入れた時の検出（#7 #8）はすり抜けています。
SHLabs (AI Music Detector Comparison)
2つ目の解析エンジンである「SHLabs」は特定のパートというよりも「曲全体を占めるAIトラックの量」を重視しています。
ACRCloudの時は#2の時にAI確率が大きく下がり人間判定になりましたが、SHLabsは１パートの変化ではAI確率が覆る事はありません。
「ボーカルを含んだ2パート以上が人間化」した時のみ人間判定を下します。
しかし、#7のボーカルのみAIにした時は「AI判定」となっており、曲全体の比重や量を見ていつつ、ボーカルのような帯域が広く情報量が多いパートがAI化されると反応しやすいと考えられます。
SubmitHub AI Song Checker
新ツール1つ目の、SubmitHubは「総合判定」「Spectral analysis(周波数解析)」「Temporal analysis(時間軸解析)」という3軸で、それぞれ人間/ハイブリッド（人間＋AI）/純粋AIの3つの確率を出しています。
興味深いのは、#1の全パートAIでもハイブリット判定を出した事です。
前回の記事でも言及したように、ステム化をしてプラグイン等で簡易なミックス&マスタリングを施しているのが原因だと思われます。
人間判定が出ているものを見ると「ボーカル＋他1パート以上」が条件であると考えられます。
また、「Spectral analysis(周波数解析)」の判定がかなり支配的で、Temporalが#7は91％の人間判定を出していますが、Spectralがハイブリット判定を出したため、総合判定もハイブリットになっています。
BeatsToRapOn AI Detector
新ツール2つ目はBeatsToRapOn AI Detectorです。
このツールは他の4つと違い、単一の総合判定を出さず、8つの指標をそれぞれ10点満点で提示します。
驚いたのが、音源の内容に関わらず、8指標のうち、テクスチャループ・スペクトルロールオフ・ケプストラムアーティファクトの3つは、内容がまったく異なる14パターンすべてで完全に同じ値を返しました。
ダミーの数値なのか、何か14曲全てに同一の癖のようなものがあったのかは不明ですが、ツール全体の信頼性を低く感じてしまう結果となりました。
残りの5つの指標を見ていくと、説明が付くものと全く説明不能な挙動を示したものに大別できます。
位相エントロピー
値は6.5か7.5の2択でした。全14パターンを「DrとBaが両方とも人間か」で分けると、14パターン全てが例外なく一致しました。
特に#8(全部人間・ドラムだけAI)は、ベースは人間なのにドラムがAIなので「両方人間」の条件を満たさず、実際に6.5でした。
マクロ構造
この指標は「パートの量」にかなり素直です。
パート数が増えるほどおおむね右肩下がりです(0パート:7.55 → 8パート:2.34)。
しかし例外なのが、#3のDrのみ人間(8.62)がむしろ全体最高値になっている点です。
ドラムが重要なファクターかというと、#7と#8を比べると大きな差はないので、説明がつきにくい部分です。
リズミック・クオンタイゼーション
値は1か6.5の2択です。
「Vo・Dr・Baの3つが全部AI」という条件で分けると、14パターン中13パターンが一致しました。
しかしここでも例外が出てしまいました。
サンプルの少なさ故でしょうか。
声質の平坦さ
VoがAIのケースは、例外なく全て8.5(合成音声的)でした。
しかし難しいのはここからで、Voが人間のケースを見てみると、Vo＋3パート以上が人間になると全て8.5(合成音声的)の数値を返してきました。
非常に怖い結果です。
自分で全部作ったのにAI判定を出されてしまう可能性を示唆する結果となりました。
エンベロープの一貫性
ここは本当に分かりません。
ほとんど8.5(合成音声的)でしたし、人間的と評価されたのは「#2」「#3.1」「#3.2」の3つでした。
ここまでを見てわかる通り「マクロ構造」の数値以外は、2パターンの数値しか返してきません。
段階的にデータを作り、検証したにも関わらず、徐々に推移していくという挙動は見られず、どの方面で使用されるツールなのだろうと頭を抱えます。
AI Music Checker
新しいツール3つ目のAI Music Checker。
このツールは、「予測(人間かAIか)」「AIの確率」「最も可能性の高いAIタイプ」というシンプルな構成です。
そして非常に大きな発見がありました。
それは、前述した「SHLabs」のスコアと比較したところ、小数点以下の誤差程度しか差がなかったのです。
一部抜粋しましたが、全てのパターンでほぼ同じ数値を返してきます。
OEM供給されているのか裏側でしれっと使っているのかは分かりませんが、「最も可能性の高いAIタイプ」の指定まで同じでした。
実際はSunoを使っているのに「elevenlabs」という誤検出まで同じとなると…。
ここでの結果が示したのは、「見た目の違う複数のAI検出サイトが、実は裏側で同じエンジンを使い回している可能性がある」いう全く別軸の視点です。
横断的分析
5つのツール（実質的には4つ）を横断的に見比べてみると上記の表になります。
前回のブログでは「ボーカルが非常に大事」という結論でしたが、改めて見てみるとそうでもない、むしろ逆走の結果を示すことがあると分かります。
そして重要な切り口として「隠れAI」の検出テストがあります。
7パート人間＆1パートだけAI
#7と#8を見比べてみました。
5つ中2つ（SubmitHub、SHLabs系）のみが隠れたAIボーカルを検出しました。
「ドラムだけAI」というパターンに至っては、5ツール全部が見逃していて非常に面白い結果になりました。
しかし、逆に「#3のDrだけ人間化」を見ても、ACR CloudがAI確率を多少下げたものの、他のツールはびくともせず非情にAI判定を出しました。
「ちょっとならAIを使ってもバレない」と思うのか
「頑張って音源打ち込みをしても無意味なんだ」と思うのかは皆さん次第です。
発展途上でイタチごっこ
個人的に感じたことをまとめると、下記の通り。
・1つの検出ツールだけを過信するのは危ない
・そもそも信ぴょう性の低いツールや数値がある
・ボーカルの差し替えは多くのAI検出ツールに有効
・1トラックだけAIを混ぜるのは現時点では検出されにくい
当然、AI側も検出ツール側も発展途上であり壮大なイタチごっこはこれからも続いていきます。
そして、今回の検証で足りない部分、限界も記しておきます。
まず、圧倒的にサンプル数が足りませんでした。
永遠にn=1の話をしているので参考にはなるでしょうが、有効性がどこまであるかは不明です。
ジャンルやアレンジ、ボーカルの性別などが変わればまた結果は変わる可能性があります。
また、今回はSunoをベースにステム分離をして、再構築しましたが、Murekaなどの別のAIを使っての検証もする必要があります。
あとは、とても恥ずかしいのですが私の編曲クオリティの問題もあるかもしれません。
ミックスやマスタリングの質、歪みや位相の取り扱い方でも結果は変わる可能性は大いにあります。
ツール側のアップデートは今後も続いて、検証アルゴリズムはどんどん強化されていくことでしょう。
なので、この記事の数値はあくまで検証時点(2026年7月)のスナップショットである点にも留意してください。
