ローカルLLMとは??と思ったのでまとめ。豪華な自宅サーバを持っている人の趣味なんだろうなぁwって印象だったが実はそんなこともないというのがわかった
ローカルLLMとは
ローカルLLMとは、ローカル環境で動作する大規模言語モデル(LLM: Large Language Model)のことを指します。通常、LLMは大量のデータを基にトレーニングされ、自然言語処理や生成タスクを実行できるモデルですが、これをクラウド上ではなく自分のローカル環境(PC、サーバーなど)で動かすのがローカルLLMの特徴です。
どれくらいのスペックが必要なの?
まともにやるならとんでもなくお金に余裕がある人の遊びなんかな?と思っていたが実はそんなこともないらしい。ギリCPUでも動くモデルもあるとのこと。
あとはこういうのもあるらしい。
https://t.co/F3oMf6yw8j
— RyuichiWatanabe@gurasan (@ryuichi_1208) 2024年9月15日
スマホとかパソコンとか日常的なデバイスを使用してAIクラスタを作成できるようにするソフトウェア。転がってるサーバの残骸とかでやってみるのも良いかも(家にはGPU買おうってなる程度の機材しか落ちてないのであれ...)
とはいえパラメータ数が多いモデルになるとGeForce RTX 4090(24GB)でも不十分になるらしい。30万くらいするんですけど😅
Nvidia A100 80Gb HBM2Eとかが必要となる世界なのかなぁ。200万とかだったかな...