私は長年、クラウドベースのチャットボットを愛用してきました。
しかし、「LM Studio」と「量子化LLM」の登場で、今では手持ちのハードウェアで十分な性能のモデルをオフラインで動かせるようになりました。
ローカルAIへの好奇心から始まった試みは、今やコストゼロで、インターネット接続も不要、そしてAIとの対話を完全に自分で管理できる、強力な代替手段へと変わりました。
【今日のワークハックはこんな人におすすめ！】
- 企業の機密情報や顧客データを扱うビジネスパーソン
- AIの検閲や制限に不便さを感じている方
ChatGPTに自分の暗証番号を教えてしまった
この転換が急務となったのは、クラウドAIにうっかり機密情報を共有してしまうという、身をもって体験した一件がきっかけでした。何気ない会話のつもりが、ChatGPTに自分の暗証番号を教えてしまったのです。
その軽率な瞬間に、私はクラウドAIを単なるデジタルメモ帳のように扱い、セキュリティのリスクを全く考えていなかったことに気づかされました。
LM Studioは、LLMの能力を直接デスクトップにもたらすことで、プライバシーのリスクと継続的なコストという、これらの根本的な問題を解決してくれます。
ローカルAIの複雑さを過去のものにした「LM Studio」
ローカルLLMの実行は、今や驚くほど簡単になりました。
オフラインAIを動かすのに必要なのは、量子化AIモデルとLM Studioのようなインターフェースツールの2つだけ。
量子化モデルとは、フルサイズのAIモデルを、その能力のほとんどを維持したまま劇的に圧縮したものです。
高価なサーバー級のハードウェアは不要で、十分なCPUと16GBのRAMを搭載した普通のノートPCで、高度なAIモデルを動かせます。
LM Studioを使えば、古いハードウェアでAIチャットボットを動かすことさえ可能なのです。
私のお気に入りは「無検閲」モデル
LM Studioで使う私のお気に入りの量子化モデルの一つが「Dolphin3」です。広範なコンテンツフィルターが備わっている主流のAIモデルとは異なり、Dolphin3は制限なしに、純粋に役立つように設計されています。
他のモデルが拒否するようなリクエストにも応え、潜在的な悪用について説教することなく、率直な答えを返してくれます。
正当な研究や法律業務、あるいは深い会話やアドバイスを求める際に、この無検閲AIモデルはあっという間に私のお気に入りになりました。
Dolphin3をわずか数分で起動させる方法
驚くほど技術的な専門知識は必要ありません。全体のプロセスは20分もかからず、そのほとんどはダウンロードの待ち時間です。
- まず、公式サイトからLM Studioをダウンロードし、通常のアプリケーションと同じようにインストールする。
- インストール後、LM Studioを開くと表示される検索バーで「Dolphin3」と検索。RAMが16GBなら8Bパラメータ版、8GBならより小さい3B版から始めるのがおすすめ。
- ダウンロードが完了したら、サイドバーの右上にあるチャットインターフェースに移動し、ウィンドウ中央上部の「Select a model to load」ボタンをクリック。ダウンロードしたモデルがドロップダウンで表示されるので、Dolphin3を選択して読み込みを開始。
- 読み込みには30秒ほどかかりますが、その後はすぐにチャットを始められる。
試しにDolphin3に質問してみたところ、パフォーマンスは良好でした。
ChatGPTやClaudeのように爆速ではありませんが、十分に許容範囲です。ご覧の通り、約320語（453トークン）の返答におよそ11秒で応答し、目立った遅延もなくスムーズに会話が流れていきました。すべてがローカルで処理されるため、インターネット接続の状況に関わらず応答時間は一定です。
会話が終わったら、「Eject」ボタンをクリックしてDolphin3をメモリから完全に解放できます。これにより、会話の痕跡はすべて即座に消去され、システムリソースが解放されます。
私がDolphin3を愛用する理由
高速で、プライベート、そして驚くほど有能。
確かに、高度な推論やウェブに接続された最新の知見を求めるなら、ChatGPTの優れた代替にはならないかもしれません。しかし、Dolphin3はそれを他の方法で補ってくれます。
その筆頭が、プライバシーに関わる会話です。データ保持ポリシーや企業の監視を心配することなく、自分の最も深い考えや悩みを共有できます。
コンテンツの節度に対するアプローチも、私がDolphin3にこだわる理由です。「無検閲」とは言っても、倫理や文脈を無視するわけではありません。大規模で多様なデータセットで訓練されたLLaMAをベースにしているため、善悪に対するしっかりとした理解を反映しています。
LM StudioがDolphin3で提供するRAG（検索拡張生成）機能も素晴らしいです。機密情報を含む契約書や法的文書、プライバシーポリシーの分析に活用しています。こうした文書には、クラウドサービスと共有すべきでない機密条項や個人データが含まれていることがよくあります。
それでも私がクラウドAIを使い続ける理由
もちろん、クラウドベースのAIを完全に見捨てたわけではありませんし、正直なところ、それが目標だったわけでもありません。
本当に強力なモデルを動かそうと思えば、クラウドベースのAIを使うのが唯一の選択肢であることは事実です。
私個人は、最新の情報やより広範な知識ベースが必要なリサーチやウェブ検索が絡むタスクには、Perplexityを愛用しています。これらのサービスは、膨大な計算リソース、リアルタイムデータ、あるいは最新のトレーニングを必要とするタスクで優れています。
大切なのは、クラウドベースAIとオフラインAIの適切なバランスを見つけ、最大限のプライバシーとセキュリティを確保し、インフラへの依存を減らすことです。
連載「今日のワークハック」では、仕事が速く効率的にこなせる！ツール・アプリ・OSのショートカットや使い方、アイデアをお届けします。
著者：ジェイリック・マニング
ジェイリックは法科学を卒業後、5年以上の執筆経験を持つライターです。リバースエンジニアリングとハードウェアに情熱を注いでいます。テクノロジー以外の趣味は、CS2（カウンターストライク2）やドラゴンネストといったゲームをやり込むこと、ウェイトリフティング、毎日の5キロランニング、そして自宅の温室での読書です。
Original Article: Why I Switched to Offline AI: The Benefits of Local Language Models by MakeUseOf
