Whisper

ローカル環境にWhiper WebUIをインストールして、動画に字幕を付けてみました。OpenAIは有料でWhisper APIでの文字起こしサービスも提供していますが、自分でローカルにオープンソースのWhiperをセットアップすると無料で使うことができます。最近、動画を作る機会があって、Filmoraをインストールしました。購入した後で気付いたのですが、Filmoraで、自動字幕生成機能を使うには別途月額使用料が掛かります。しかし、Whisperを使えば無料で文字起こしができます。Whisper WebUIをローカル環境にインストールして、実際に動画に字幕をつけてみて使い勝手を確認しました。

ReazonSpeechは日本のレアゾン・ヒューマンインタラクション研究所が開発した約19,000時間のラベル付き日本語音声コーパスで、そのコーパスから学習されたSpeech-to-TextのESPnetモデルが公開されています。日本語に特化して学習することで、少ないパラメータ数でもOpenAIのWhisperのlargeモデルに匹敵する文字起こしの精度を達成しているとのことです。Apache-2.0のライセンスで公開されており、商用利用や再配布可能な柔軟なライセンスのモデルが提供されています。

Pythonの音声認識ライブラリWhisperと話者識別ライブラリPyannote.audioで面倒な議事録の自動作成をしてみます。WhisperはOpenAIからMITライセンスで提供されています。Pyannote.audioもMITライセンスで提供されています。いずれも適切なライセンス表示下で改変、配布、商用利用が認められており、非常に使いやすいライブラリです。

会議などの議事録を作成するのに便利な話者識別ライブラリPyannote.audio（ピアノート・オーディオ）を使ってみました。GitHubでオープンソースとして公開されています。Whisperなどのspeak-to-textと組み合わせることにより、議事録を簡単に作成することができます。MITライセンスで公開されており、適切なライセンスと著作権表示をすることで、商用利用も可能です。

多言語AI音声認識モデルWhisperのインストールから、各パラメータの意味、WebUIを使った環境構築など、Whisperの使いこなしをまとめ見ました。オープンソースで商用利用可能な高性能な文字起こしをご自分のPCに入れてみましょう！