地方エンジニアの学習日記

興味ある技術の雑なメモだったりを書いてくブログ。たまに日記とガジェット紹介。

【LLM】ローカルLLMとは

ローカルLLMとは??と思ったのでまとめ。豪華な自宅サーバを持っている人の趣味なんだろうなぁwって印象だったが実はそんなこともないというのがわかった

ローカルLLMとは

ローカルLLMとは、ローカル環境で動作する大規模言語モデル(LLM: Large Language Model)のことを指します。通常、LLMは大量のデータを基にトレーニングされ、自然言語処理や生成タスクを実行できるモデルですが、これをクラウド上ではなく自分のローカル環境(PC、サーバーなど)で動かすのがローカルLLMの特徴です。

どれくらいのスペックが必要なの?

まともにやるならとんでもなくお金に余裕がある人の遊びなんかな?と思っていたが実はそんなこともないらしい。ギリCPUでも動くモデルもあるとのこと。

qiita.com

qiita.com

あとはこういうのもあるらしい。

とはいえパラメータ数が多いモデルになるとGeForce RTX 4090(24GB)でも不十分になるらしい。30万くらいするんですけど😅

kakaku.com

Nvidia A100 80Gb HBM2Eとかが必要となる世界なのかなぁ。200万とかだったかな...