「このAIアシスタント、ちょっと遅いんです。」
自分のPCで動かす社内AIアシスタント。応答に190秒もかかっていました。
DXやITを兼務する担当者の方で、AIの処理速度に頭を抱えている方へ。私が試した3つの方法と、その限界についてお話しします。
応答速度は190秒から15〜36秒まで短縮できました。しかし、そこから先は「小細工」ではどうにもならない壁がありました。
社内AIの「応答速度」という課題
自分のPCで動かしている社内AIアシスタントは、プロンプトを投げかけてから、応答が返ってくるまで190秒かかることがありました。
3分以上です。カップ麺ならできあがって、ちょっと伸び始めている時間です。
これでは、とても「アシスタント」とは呼べません。
このAIは、社内の膨大な文書の中から必要な情報を探し出し、要約や質問への回答を生成する役割を担っています。しかし、あまりに遅いと誰も使ってくれません。これは由々しき事態です。
応答速度を190秒から15〜36秒へ
改善作業で、応答は190秒から15〜36秒になりました。かかる時間は、質問の長さでほぼ決まります。ここまでで、今の機械の上限に届きました。
そこから先を狙って、いくつかの方法を試しました。
3. 文書の細分化と処理量調整
さらに、AIに一度に扱わせる文書の量を調整するため、文書の細分化を試みました。
大きな文書を小さな塊に分割することで、AIが一度に処理する情報量を減らし、応答速度を上げようという狙いです。
しかし、これは期待に反して、ほとんど効果がありませんでした。むしろ、細分化しすぎたことで、文書間の関連性を見失い、回答の質が低下するケースも発生しました。
文書を細かく分けることは、かえってAIが全体像を把握しづらくし、余計な処理を発生させていたのです。
さらに、以前停止したはずのメモリを食う仕組みが、止めてもメモリが戻ってこないという事態も発生。部品を減らせば速くなるという単純な話ではありませんでした。🤦
―――
応答速度改善の限界と、見送った選択肢
応答速度は190秒から15〜36秒まで短縮できたものの、そこから先は頭打ちでした。
これ以上速くするには、根本的な部分にメスを入れる必要がありました。
見送った案：小さいモデルへの変更
応答速度を上げる最も直接的な方法の一つは、AIモデルそのものを小さくすることです。
一回り小さいモデルを試したところ、確かに既存のモデルより20%速くなりました。しかし、その代償は大きかったです。
特に、財務関連の質問では、存在しない数字を生成してしまうという致命的な問題が発生しました。正確性が求められる業務では、これは許容できません。
「速さ」と引き換えに「精度」を失うことは、社内AIアシスタントの存在意義を揺るがすことになります。この案は、やむなく不採用となりました。
見送った案：機械の変更
もう一つの選択肢は、AIを動かす「機械」そのものを変更することです。
例えば、より高性能なGPUを搭載したサーバーに移行すれば、処理速度は劇的に向上するでしょう。
しかし、これはコストがかかります。中小企業にとって、AIのためだけに高額なハードウェア投資をするのは、費用対効果を慎重に見極める必要があります。
今回は、既存のPCでどこまでできるかを試すのが目的だったので、この選択肢は見送りました。
凡人転生者の結論：「小細工」はやめる
応答速度を190秒から15〜36秒まで短縮できたのは、大きな成果でした。しかし、その過程で私は一つの教訓を得ました。
それは、「小細工」には限界があるということです。
設定をいじったり、仕組みを調整したりすることで、ある程度の改善は見込めます。しかし、それ以上を求めるなら、根本的なトレードオフを受け入れるか、あるいは投資をするしかありません。
つまり、これ以上速くしたいなら、
- AIモデルを小さくして、精度と引き換えにする
- AIを動かす機械そのものを、高性能なものに変える
この二択しかない、という結論に至りました。
中小企業のDXやIT担当を兼務されている方へ。AI導入で「遅い」と感じたときは、まずできる限りの調整を試してみてください。しかし、それでも限界を感じたなら、どこかで「割り切る」勇気も必要です。🤔
今日15分：あなたの社内AIが「遅い」と感じるなら、まずどの部分（モデルの思考、検索、文書量）がボトルネックになっているか、仮説を立ててみましょう。📝
小細工はやめた。これ以上速くしたいなら、モデルを小さくするか、機械を変えるしかない。
