ホロメン背景切り抜き比較 | Anime-seg vs Cartoon-seg

2次元特化のセグメンテーションモデル、anime-segmentationとcartoon-segmentationを使ってホロライブメンバーの”背景”切り抜き動画を作ってをみます。

それぞれのインストール方法は下記リンクを参考にしてみてください。

• anime-segmentationのインストール記事　（公式はこちら）
• cartoon-segmentaionのインストール記事　（公式はこちら）

実行環境

windows 11
CPU i9-14900HX
RAM 64GB
VRAM 16GB (RXT4090 laptop, cuda version 11.8)

比較用動画

テスト1～テスト3は私の推しの実需からテストしてみました。。。

テスト4,テスト5はウサミミ＆人参という何処までがキャラクターか判定が難しそうなぺこらさん。

テスト6は角と鳥がどう判定されるのか気になり用意しました。

基本的にテスト番号が上がるにつれて難易度が上がるんじゃないのかという仮説で用意しました。

テスト1 | 沙花叉クロヱ 通常衣装

引用元 : 【 Pacific Drive 】沙花叉運転の危険なドライブ！超常現象もあるよ！【ホロライブ/沙花叉クロヱ】

• anime-segmentationの結果動画

• cartoon-segmentationの結果動画

感想：anime-segmentationの方は机や背景の衣装などが消し切れていませんが、cartoon-segmentationの方はほぼ完全に消し切っています。凄い。。。

テスト2 | 沙花叉クロヱ クリスマス衣装

引用元 : 【 #ホロクリスマス歌枠リレー 】ライブ衣装で歌っちゃうぞ～～～！【ホロライブ/沙花叉クロヱ】

• anime-segmentationの結果動画

• cartoon-segmentationの結果動画

感想：anime-segmentationはやはり背景のプレゼントBoxを消し切れていません。一方でcartoon-segmentationは背景を消せてはいるものの、衣装の左襟(?)の辺りも消してしまっています。

cartoonの方は生成されたマスクフィルタをOpenCVで弄れば少し改善しそうな感じもします。

テスト3 | 沙花叉クロヱ 正月衣装

引用元 : 【 風来のシレン６ 】ここからが本番です！人生初めて初心者シレンジャーの風来のシレン！ 不思議のダンジョン 風来のシレン６ とぐろ島探検録

• anime-segmentationの結果動画

• cartoon-segmentationの結果動画

感想：テスト１の結果とほぼ同じ感じですが今回はanime-segmentationも机を消しています。

テスト4 | 兎田ぺこら 通常衣装

引用元 : 【開封】ぺこらの日本人形フィギュア（約20万円）を初開封するのじゃ！！！！！！！！！！！ぺこ！【ホロライブ/兎田ぺこら】

• anime-segmentationの結果動画

• cartoon-segmentationの結果動画

感想：anime-segmentationは消せてないですがcartoon-segmentationはかなり健闘しています。流石魔王だけあって難易度が高い。。。

テスト5 | 兎田ぺこら 合成衣装

引用元 : 【バレンタイン】暗殺者のパスタ作るぞ！バレンタインだし！ぺこ！【ホロライブ/兎田ぺこら】

• anime-segmentationの結果動画

• cartoon-segmentationの結果動画

感想：テスト4の通常ぺこら通常衣装より上手に消せていますが、２つのモデルの傾向としてanime-segmentationは背景を消し切れていない、cartoon-segmentationはキャラの一部まで消してしまう傾向がこのテストでも見て取れます。

このテストだとシェフ帽子とエプロンはキャラと判定しない方が正解なぐらい位置がズレる時があるので、あくまで精度ではなくて雰囲気比較用です。

テスト6 | ラプラス・ダークネス 通常衣装

引用元 : 【雑談】いろいろ話す。【ラプラス・ダークネス/ホロライブ】

• anime-segmentationの結果動画

• cartoon-segmentationの結果動画

感想：予想に反してテスト４が一番難しかったようでこのテストでは２つのモデルともにある程度上手に背景を消せています。やはりcartoon-segmentationの方が全体的に綺麗に抜けている印象です。

まとめ

結局どっちが良いの？という話ですが、基本的にはcartoon-segmentationが上手に背景を切り抜いている印象です。

cartoon-segmentationが切り抜きすぎている部分があるので、もし手修正を覚悟で処理をするならFastSAMと併用がベストプラクティスかなぁと思いました。

参考：処理時間・負荷