ということで、ローカルLLMの話。
詳しい話はさておき、ローカルLLMをPCで動かすには、ビデオカードのVRAMで決まるといってもよい状況だった。
VRAM12GBでは、かなり量子化したモデルを動かすので手一杯のようなかんじだった。
だが、Strata はVRAMをキャッシュにして本体のRAMも使うことによって、実用レベルのモデルを個人のゲーミングPCで動かすことを可能にしたのだった。
https://github.com/Niko1221/Strata
で、README.nd に書いてあるように、codex に「strata いれてちょ」とお願いして、いろいろ設定してもらう。
あとは、FreeBSDマシンから claude code でローカルのLLMに接続するよう設定して完了。あっというまにつながるようになって、claude code の CLI 版がローカルで動くようになった。あとは tmux 上で動かすことによって、回しっぱなしにできるし、claude code で選択肢が出てとまるもの ntfy を組み合わせてスマホに通知が来るようにして、端末の前でじっとしていなくてもどんどん開発が進むようにした。そのへんもclaude codeで書いて設定してもらった。らくちん。
ということで、いろいろとプログラムを書かせたり、設定を修正したり、phpをアップデートしたりを、外部にデータを流さない環境で行うことができるようになった。これはかなり安心で快適である。
さて、これでトークンの問題は解決！っと思うが、あとは電気代がどれくらい上がるかだな。