Python

スポンサーリンク
Whisper

Pythonライブラリpydudで直感的なオーディオファイル加工

Pythonライブラリpydudでwavファイルやmp3などの様々な音声ファイルの加工をしてみます。ffmpegベースで作動するため、様々な音声コーデックに対応し、このライブラリで様々なことができます。音声ファイルの解析の前処理などでは欠かせないライブラリです。
自然言語処理

日本語特化GPT言語モデルJapanese-GPT-1bで簡単チャットボット

Japanese-GPT-1bはrinna株式会社が公開している商用利用可能なMITライセンスで提供されている日本語言語モデルです。transformersの学習モデルに対して、適切な事前学習を実施することにより、前後の文脈に沿った自然な文章を作り出してくれます。今回は、Japanese-GPT-1bを使って簡単にチャットボットを作ってみます。パラメータ数は13億ということですので、今話題のGPT-3の先代のGPT-2レベルの日本語特化モデルという位置づけです。今回はそのモデルを直接使ってチャットボットを作成してみます。
PyTorch

WSL2のUbuntu上にPyTorchとGPU環境構築

今回は、WSL2のUbuntu上にPyTorchとGPU環境構築の方法についてまとめてみました。
環境構築

WindowsのUbuntu上にvirtualenvでPython仮想環境構築

Windowsのネイティブ環境では構築がうまくいかない場合もあります。今回はUbuntu上で新しいPython開発環境を設定する方法をまとめます。
環境構築

VOICEVOXエンジンを使ったPythonでの「高」品質音声合成API

VOICEVOXは、商用利用が可能である無料のテキスト読み上げソフトです。ホームページ上では中品質と言われていますが、実際にはかなりの高品質の読み上げソフトです。今回はVOICEVOXエンジンを実装して、そのAPIを使ってみることにします。
Python基礎

Pythonでのファイル読み書きまとめ

chatGPTにPythonでのファイルの読み書きについて詳しく教えてもらいましたので、その結果をまとめます。
AtCoder

競プロ典型90問 自習2

競プロ典型問題「002 - Encyclopedia of Parentheses(★3)」のPython自習解答記録:「ビット表記」、「正しいかっこ列の条件」
AtCoder

競プロ典型90問 自習1

競プロ典型問題「001 - Yokan Party(★4)」のPython自習解答記録:「二分探索」、「分割可否の判定」
PyTorch

WebUIでStable Diffusion 1からの手順

WebUI(AUTOMATIC1111)でStable Diffusionを動かしてみます。比較的軽い環境で動くので、folk版のStable Difuusionしか動かなくても使える可能性はあります。今回は1から導入の手順をまとめました。
Stable Diffusion

Stable Diffusion Pipelineまとめ(1)text2img

Stable Diffusion Pipelineを公式ページをChatGPTの解説にしてもらいながらかみくだきました。パラメータの意味などをしっかり理解すると生成する画像の意味もよく理解できます。
Stable Diffusion

Stable Diffusionのモデルをローカルに保存

Stable Diffusionのモデルは、デフォルトでは実行時にwebからダウンロードされ、キャッシュに保存されます。2度目以降は、キャッシュから使用されますが、ローカルで安定してStable Diffusionを使用するために、特定の場所に保存する方法をまとめました。
PyTorch

WindowsネイティブへのCUDA, PyTorchの環境構築

WindowsネイティブへのCUDA、Pytorchの環境構築をまとめます。PyTorchは今機械学習の世界で最も使われているフレームワークの一つです。導入難易度も、TensorFlowよりも低めとのことです。今回はWindowsネイティブへの環境構築を行っていきます。
Python基礎

Pythonで自作モジュール,パッケージを使いこなす

モジュールやパッケージの使い方をまとめました。自作モジュールは大きなプログラムを書く上で重要になります。また、標準モジュールや配布されているスクリプトの理解にも非常に重要な知識です。
TensorFlow

WindowsのWSL上でGPUのTensorFlow環境構築

NVIDIAのGPUマシンにWindowsのWSL上にCUDA、cuDNNをインストールして、TensorFlowの機械学習の計算環境を構築します。
環境構築

WSL上にソースコードからMeCabをインストール

Windows上で形態素解析エンジンMeCabを使うにはWindows版のMeCabをインストールする方法と、DocekerやWSLなどの仮想環境のLinux上でmecabをインストールする方法があります。今回は、WSLでソースコードからM...
Python基礎

Windowsで複数のバージョンのPythonをインストールする

普段のPythonの学習は最新バージョンのPythonでしたいけど、特定のライブラリを動かすためには別のバージョンのPythonを使いたいことはありますよね。例えば、TensorFlowではインストーラー毎に対応しているPythonのバージョンが決まっているため、最新バージョンが入っていればよいというわけではありません。ここでは、複数バージョンのPythonのインストールと使い分け方法を考えてみます。
Python基礎

Pythonでのビット演算の基礎まとめ

ビット演算子は個人的には普段ほとんど使うことはないのですが、知らないといざというときに使えません。今回はPythonでのビット演算と使いこなし方法を基礎からまとめてみました。 ビット演算子超基本シートシート(Python用) PDFダウンロ...
Python基礎

Numpyの基本:生成関数

Numpyは様々な科学計算で必要な操作が様々パッケージされたPythonのライブラリです。今回はNumpyの基礎であるndarrayの「生成関数」についてまとめみました。本当に数多くの生成関数があります。ndarrayの箱を作る部分が充実しているのもnumpyの魅力です。
Python基礎

Pythonのmatplotlibで様々な要素を組み合わせて平面ベクトル図を作成

matplotlibを使うと慣れれば複雑な図も簡単に作ることができます。今回は様々な要素を組み合わせて、XY平面にベクトルなどの様々な要素を組み合わせた図を作ってみました。ベクトルや角度、平行四辺形の領域の塗りつぶし、ギリシア文字の使用など、様々な要素をキャンパスに設置して、考えた通りの構成の図を作ることができます。
Python基礎

Pythonのセット型まとめ

Pythonのセット型についてまとめてみました。1枚に使い方の要点をまとめたPDFもダウンロードできます。要素の管理がしやすいセット型を使いこなしていきましょう。
Python基礎

Pythonのリスト型を基本に立ち戻ってまとめてみた

Pythonのリスト型を使いこなし方をまとめてみました。最近始めた競技プログラミングでリスト型でデータを整理する機会が増えたのですが、NumpyやPandasの知識とごちゃごちゃになって頭の整理ができていません。そこで今回、リスト型について、自分用にまとめてました。
Python基礎

Pythonのイテレータについてまとめてみた

Pythonでのイテレータについてまとめてみました。なかなか初心者には難しいイテレータですが、使い方を覚えるとちょっとしたところに使えそうです。いろいろなイテレータの書き方を解説します。
環境構築

Pythonで自然言語処理ツールWordnetの辞書を使ってみる

Wordnetを使って英語の自然言語処理(Natural Language Process; NLP)をやってみます。Wordnetはプリンストン大学で開発された自然言語処理(NLP)を行うためのシーソーラスという同義語や類義語のような関係を上位と下位との関係性で示した辞書のようなものです。
Python基礎

機械学習:Pandas DataFrameの前処理コマンド

scikit-learnなどの機械学習ライブラリに入れる前にデータの前処理で、欠損値の処理やカテゴリ変数の変換などをおこない、ライブラリが扱いやすい形にする必要があります。ここではPythonのPandasでよく使う前処理のコマンドをまとめます。
AtCoder

Quick Sortでアルゴリズムを考える

PythonでQuick Sortというアルゴリズムを使って数字の並び替えをしてみます。並び替える方法を他にもいろいろありますが、このQuick Sortはとても効率的に並び替えることができます。有名なアルゴリズムなのかもしれませんが、アルゴリズム初学者の自分には、非常に斬新に思えたので、まとめてみました。
データ解析

<Pythonでデータ解析>データ解析モデル作成の探索的データ分析(EDA)のクイックリファレンス

データ解析におけるモデル作成の流れについてメモ。pandas, matplotlib, seabornは機能が多彩で使いこなすのはなかなか難しいですが、いろいろ簡単にデータの外観をつかむのに有用なコマンドがあります。
Python基礎

Pythonの正規表現re総復習まとめ

スクレイピングの必須のPythonの正規表現reを総復習して、早見表を作ってみました。これで忘れてもすぐに思い出せます。PDFでダウンロード可能なので、よかったら参考にしてください。
AtCoder

WindowsでPythonの競プロ環境を作ってみる

アルゴリズムの勉強のために競技プログラミング(競プロ)のサイトで練習問題にチャレンジしてみようと思い、環境構築から始めてみました。手順をメモに残します。
Python基礎

Requestsのレスポンスの文字化け対策メモ

PythonでWebスクレイピングでrequestsで得たレスポンスの文字化け対策のメモを残します。
自然言語処理

MeCab解析結果から複合名詞の出現回数をカウント

MeCabで形態素解析した文章をPandasのMultiIndexのDataFrameに整理したデータをベースとして、複合名詞(2つ以上の名詞がつながった名詞)の出現回数をカウントしてみます。
スポンサーリンク