自然言語処理

スポンサーリンク
自然言語処理

MetaのLlama2をローカル環境で動かしてみる(検証1)

Meta社からGPT-3並みのLLM(大規模言語モデル)がオープンソースとして公開されましたので、早速使ってみます。私の環境で一番問題となるのはVRAM容量です。LLMは大量のVRAMを消費することが多いので、GTX3080の10GBなので、動くかが問題です。今回、7B、13B、70Bと3種類のサイズのモデル(1Bは10億パラメータ)と、それぞれに普通の自然言語モデルと対話形式にチューニングされたモデルがあります。しかも今回、商用利用も可能とのことで、否が応でも盛り上がります。
自然言語処理

openAIなどのAPIキーをコントロールパネルの環境変数に登録して管理する

chatGPTのAPIなどで使うopenAIのAPIキーを環境変数に登録して管理する方法をまとめます。openAIのAPIでは認証にAPIキーを使用します。openAIではAPIリクエストに応じて課金される仕組みのため、APIキーの管理は非常に重要です。もし、間違えて、コード内に記載したまま、オンラインに公開してしまうと、他人に使われてしまう可能性があります。そこで、ここでは誤ってAPIキーをオンラインに上げないようにWindowsのコントロールパネルの環境変数で管理する方法をまとめます。
自然言語処理

東北大学の言語処理100本ノックを解く(1章~3章)

東北大学知能情報科学講座の自然言語処理学分野の乾・鈴木研究室の新人教育に使われている言語処理100本ノックを解いてみます。現東京工業大学の岡崎教授が作った自然言語の問題集で、2023年2月現在、一般に公開されており、解くだけで自然言語処理の基本がわかってしまうというとても優れものです。いろいろ調べながらやってみましたが、なかなか難易度が高くて骨が折れます。こういうのを研究室で受け継いでいくのってうらやましいです。
自然言語処理

Japanese-GPT-1bのチャットボットをVoiceVoxのAPIでしゃべらせてみる

transformersの日本語特化学習済み事前言語処理モデルJapanese-GPT-1bと音声合成APIのVoiceVoxを組み合わせて、しゃべるチャットボットを作成してみました。
自然言語処理

日本語特化GPT言語モデルJapanese-GPT-1bで簡単チャットボット

Japanese-GPT-1bはrinna株式会社が公開している商用利用可能なMITライセンスで提供されている日本語言語モデルです。transformersの学習モデルに対して、適切な事前学習を実施することにより、前後の文脈に沿った自然な文章を作り出してくれます。今回は、Japanese-GPT-1bを使って簡単にチャットボットを作ってみます。パラメータ数は13億ということですので、今話題のGPT-3の先代のGPT-2レベルの日本語特化モデルという位置づけです。今回はそのモデルを直接使ってチャットボットを作成してみます。
環境構築

WSL2上のUbuntuでpython深層学習モデルtransformersを使ってみる

Windowsでさっとtransformersの環境構築をする方法をメモで残します。chatGPTが話題の自然言語処理ですが、学習を開始するのはオープンソースのtransformersがお手軽です。今回はtransformersの環境構築から、使ってみるところまでやってみます。
環境構築

WSL上にソースコードからMeCabをインストール

Windows上で形態素解析エンジンMeCabを使うにはWindows版のMeCabをインストールする方法と、DocekerやWSLなどの仮想環境のLinux上でmecabをインストールする方法があります。今回は、WSLでソースコードからM...
環境構築

Pythonで自然言語処理ツールWordnetの辞書を使ってみる

Wordnetを使って英語の自然言語処理(Natural Language Process; NLP)をやってみます。Wordnetはプリンストン大学で開発された自然言語処理(NLP)を行うためのシーソーラスという同義語や類義語のような関係を上位と下位との関係性で示した辞書のようなものです。
自然言語処理

MeCab解析結果から複合名詞の出現回数をカウント

MeCabで形態素解析した文章をPandasのMultiIndexのDataFrameに整理したデータをベースとして、複合名詞(2つ以上の名詞がつながった名詞)の出現回数をカウントしてみます。
データ解析

MeCabの出力をPandasのMultiIndexのDataFrameに変換してみた

MeCabで出力したテキストデータをpythonのpandasのMultiIndexのDataFrameに変換して、利用しやすくしてみましたので、その手順をメモに残します。
環境構築

Dockerで日本語形態素解析エンジンMeCabのPython開発環境を構築~後半

Dockerで日本語形態素解析エンジンMeCabのPython開発環境の構築に挑戦してみます。(前回の続き)
環境構築

Dockerで日本語形態素解析エンジンMeCabのPython開発環境を構築~前半

Dockerで日本語形態素解析エンジンMeCabのPython開発環境の構築に挑戦してみます。
スポンサーリンク