ローカルLLM実行環境 Ollamaで内部AIを使う
トークンの課金不要な内部AIを試してみました。
まずは最初に必要環境Ollamaをダウンロードする必要があります。
こちらのアプリを使うと自分のパソコンの中に「自分専用のAIの部屋」を作ることができます。
パソコンの中、ということはインターネットの接続がなくなります。
インターネットの向こう側（クラウド）にある大きなコンピューターへの接続がなくなるため、必要なトークンという考え方もなくなるというわけです。
なるほど。素晴らしい。
ただ、新しい情報を取得することが全くなくなるわけです。
最近の情報が必要な質問をして答えてもらうためのAIとしては役不足です。
こちらは注意が必要です。
インストールするAIがリリースされた時点で持っている情報までしか答えることができません。
今回はプログラミングの補完などが目的だったため、そこまで大きくは問題ないか？と思い整えてみたわけです。
ClaudeのProなどを仕事で使っているので、それと比べれば雲泥の差で遅い！ですけどね・・・
今回インストールしたAIは主に2つです。
どちらも別のAI（普通のAI）でおすすめされたものです。
・qwen2.5-coder:7b
・devstral:24b
これらはコーディング特化というメインの要望と、私のPCの環境に基づいて選んでもらったものです。
AIに求める内容によってや、PCのスペックによって選ぶべきものが違ってくるかと思います。
Ollamaのダウンロードと内部AIのインストールで、アプリとしての内部AIは構築完了なのですが、
私はvscodeのサイドバーに表示させて、ファイルを直接書き換えてもらうことが最終要望としてあったので、次回それらを構築した時躓いた色々を書きたいと思います。
おすすめされた内部AIが2つある理由も実はそこにあります。
いや〜長い戦いでした。
ではまた。
