Whisper Pythonライブラリpydudで直感的なオーディオファイル加工 Pythonライブラリpydudでwavファイルやmp3などの様々な音声ファイルの加工をしてみます。ffmpegベースで作動するため、様々な音声コーデックに対応し、このライブラリで様々なことができます。音声ファイルの解析の前処理などでは欠かせないライブラリです。 2023.02.03 Whisper
自然言語処理 日本語特化GPT言語モデルJapanese-GPT-1bで簡単チャットボット Japanese-GPT-1bはrinna株式会社が公開している商用利用可能なMITライセンスで提供されている日本語言語モデルです。transformersの学習モデルに対して、適切な事前学習を実施することにより、前後の文脈に沿った自然な文章を作り出してくれます。今回は、Japanese-GPT-1bを使って簡単にチャットボットを作ってみます。パラメータ数は13億ということですので、今話題のGPT-3の先代のGPT-2レベルの日本語特化モデルという位置づけです。今回はそのモデルを直接使ってチャットボットを作成してみます。 2023.01.05 自然言語処理
PyTorch WSL2のUbuntu上にPyTorchとGPU環境構築 今回は、WSL2のUbuntu上にPyTorchとGPU環境構築の方法についてまとめてみました。 2022.12.30 PyTorch環境構築
環境構築 WindowsのUbuntu上にvirtualenvでPython仮想環境構築 Windowsのネイティブ環境では構築がうまくいかない場合もあります。今回はUbuntu上で新しいPython開発環境を設定する方法をまとめます。 2022.12.28 環境構築
環境構築 VOICEVOXエンジンを使ったPythonでの「高」品質音声合成API VOICEVOXは、商用利用が可能である無料のテキスト読み上げソフトです。ホームページ上では中品質と言われていますが、実際にはかなりの高品質の読み上げソフトです。今回はVOICEVOXエンジンを実装して、そのAPIを使ってみることにします。 2022.12.25 環境構築音声合成
Python基礎 Pythonでのファイル読み書きまとめ chatGPTにPythonでのファイルの読み書きについて詳しく教えてもらいましたので、その結果をまとめます。 2022.12.22 Python基礎
AtCoder 競プロ典型90問 自習2 競プロ典型問題「002 - Encyclopedia of Parentheses(★3)」のPython自習解答記録:「ビット表記」、「正しいかっこ列の条件」 2022.12.17 AtCoder
PyTorch WebUIでStable Diffusion 1からの手順 WebUI(AUTOMATIC1111)でStable Diffusionを動かしてみます。比較的軽い環境で動くので、folk版のStable Difuusionしか動かなくても使える可能性はあります。今回は1から導入の手順をまとめました。 2022.12.16 PyTorchStable Diffusion環境構築
Stable Diffusion Stable Diffusion Pipelineまとめ(1)text2img Stable Diffusion Pipelineを公式ページをChatGPTの解説にしてもらいながらかみくだきました。パラメータの意味などをしっかり理解すると生成する画像の意味もよく理解できます。 2022.12.11 Stable Diffusion
Stable Diffusion Stable Diffusionのモデルをローカルに保存 Stable Diffusionのモデルは、デフォルトでは実行時にwebからダウンロードされ、キャッシュに保存されます。2度目以降は、キャッシュから使用されますが、ローカルで安定してStable Diffusionを使用するために、特定の場所に保存する方法をまとめました。 2022.12.11 Stable Diffusion環境構築
PyTorch WindowsネイティブへのCUDA, PyTorchの環境構築 WindowsネイティブへのCUDA、Pytorchの環境構築をまとめます。PyTorchは今機械学習の世界で最も使われているフレームワークの一つです。導入難易度も、TensorFlowよりも低めとのことです。今回はWindowsネイティブへの環境構築を行っていきます。 2022.12.07 PyTorchStable Diffusion環境構築
Python基礎 Pythonで自作モジュール,パッケージを使いこなす モジュールやパッケージの使い方をまとめました。自作モジュールは大きなプログラムを書く上で重要になります。また、標準モジュールや配布されているスクリプトの理解にも非常に重要な知識です。 2022.12.06 Python基礎
TensorFlow WindowsのWSL上でGPUのTensorFlow環境構築 NVIDIAのGPUマシンにWindowsのWSL上にCUDA、cuDNNをインストールして、TensorFlowの機械学習の計算環境を構築します。 2022.12.04 TensorFlow環境構築
環境構築 WSL上にソースコードからMeCabをインストール Windows上で形態素解析エンジンMeCabを使うにはWindows版のMeCabをインストールする方法と、DocekerやWSLなどの仮想環境のLinux上でmecabをインストールする方法があります。今回は、WSLでソースコードからM... 2022.12.04 環境構築自然言語処理
Python基礎 Windowsで複数のバージョンのPythonをインストールする 普段のPythonの学習は最新バージョンのPythonでしたいけど、特定のライブラリを動かすためには別のバージョンのPythonを使いたいことはありますよね。例えば、TensorFlowではインストーラー毎に対応しているPythonのバージョンが決まっているため、最新バージョンが入っていればよいというわけではありません。ここでは、複数バージョンのPythonのインストールと使い分け方法を考えてみます。 2022.11.19 Python基礎環境構築
Python基礎 Pythonでのビット演算の基礎まとめ ビット演算子は個人的には普段ほとんど使うことはないのですが、知らないといざというときに使えません。今回はPythonでのビット演算と使いこなし方法を基礎からまとめてみました。 ビット演算子超基本シートシート(Python用) PDFダウンロ... 2022.09.29 Python基礎
Python基礎 Numpyの基本:生成関数 Numpyは様々な科学計算で必要な操作が様々パッケージされたPythonのライブラリです。今回はNumpyの基礎であるndarrayの「生成関数」についてまとめみました。本当に数多くの生成関数があります。ndarrayの箱を作る部分が充実しているのもnumpyの魅力です。 2022.08.10 Python基礎
Python基礎 Pythonのmatplotlibで様々な要素を組み合わせて平面ベクトル図を作成 matplotlibを使うと慣れれば複雑な図も簡単に作ることができます。今回は様々な要素を組み合わせて、XY平面にベクトルなどの様々な要素を組み合わせた図を作ってみました。ベクトルや角度、平行四辺形の領域の塗りつぶし、ギリシア文字の使用など、様々な要素をキャンパスに設置して、考えた通りの構成の図を作ることができます。 2022.08.08 Python基礎
Python基礎 Pythonのセット型まとめ Pythonのセット型についてまとめてみました。1枚に使い方の要点をまとめたPDFもダウンロードできます。要素の管理がしやすいセット型を使いこなしていきましょう。 2022.08.01 Python基礎
Python基礎 Pythonのリスト型を基本に立ち戻ってまとめてみた Pythonのリスト型を使いこなし方をまとめてみました。最近始めた競技プログラミングでリスト型でデータを整理する機会が増えたのですが、NumpyやPandasの知識とごちゃごちゃになって頭の整理ができていません。そこで今回、リスト型について、自分用にまとめてました。 2022.07.19 Python基礎
Python基礎 Pythonのイテレータについてまとめてみた Pythonでのイテレータについてまとめてみました。なかなか初心者には難しいイテレータですが、使い方を覚えるとちょっとしたところに使えそうです。いろいろなイテレータの書き方を解説します。 2022.07.16 Python基礎
環境構築 Pythonで自然言語処理ツールWordnetの辞書を使ってみる Wordnetを使って英語の自然言語処理(Natural Language Process; NLP)をやってみます。Wordnetはプリンストン大学で開発された自然言語処理(NLP)を行うためのシーソーラスという同義語や類義語のような関係を上位と下位との関係性で示した辞書のようなものです。 2022.07.15 環境構築自然言語処理
Python基礎 機械学習:Pandas DataFrameの前処理コマンド scikit-learnなどの機械学習ライブラリに入れる前にデータの前処理で、欠損値の処理やカテゴリ変数の変換などをおこない、ライブラリが扱いやすい形にする必要があります。ここではPythonのPandasでよく使う前処理のコマンドをまとめます。 2022.07.11 Python基礎データ解析
AtCoder Quick Sortでアルゴリズムを考える PythonでQuick Sortというアルゴリズムを使って数字の並び替えをしてみます。並び替える方法を他にもいろいろありますが、このQuick Sortはとても効率的に並び替えることができます。有名なアルゴリズムなのかもしれませんが、アルゴリズム初学者の自分には、非常に斬新に思えたので、まとめてみました。 2022.07.08 AtCoder
データ解析 <Pythonでデータ解析>データ解析モデル作成の探索的データ分析(EDA)のクイックリファレンス データ解析におけるモデル作成の流れについてメモ。pandas, matplotlib, seabornは機能が多彩で使いこなすのはなかなか難しいですが、いろいろ簡単にデータの外観をつかむのに有用なコマンドがあります。 2022.07.05 データ解析
Python基礎 Pythonの正規表現re総復習まとめ スクレイピングの必須のPythonの正規表現reを総復習して、早見表を作ってみました。これで忘れてもすぐに思い出せます。PDFでダウンロード可能なので、よかったら参考にしてください。 2022.06.29 Python基礎
AtCoder WindowsでPythonの競プロ環境を作ってみる アルゴリズムの勉強のために競技プログラミング(競プロ)のサイトで練習問題にチャレンジしてみようと思い、環境構築から始めてみました。手順をメモに残します。 2022.06.26 AtCoder環境構築
Python基礎 Requestsのレスポンスの文字化け対策メモ PythonでWebスクレイピングでrequestsで得たレスポンスの文字化け対策のメモを残します。 2022.06.24 Python基礎データ解析
自然言語処理 MeCab解析結果から複合名詞の出現回数をカウント MeCabで形態素解析した文章をPandasのMultiIndexのDataFrameに整理したデータをベースとして、複合名詞(2つ以上の名詞がつながった名詞)の出現回数をカウントしてみます。 2022.06.22 自然言語処理