270億パラメータの日本語LLMが、デスク横へ置ける小型サーバーで動く。CTC、リコー、リコージャパンが2026年3月27日に提供を始めたオンプレミスAIの構成です。
サーバーにはリコー製LLMと生成AI開発基盤Difyをあらかじめ設定し、モデル検証から業務単位の導入までを想定しています。クラウド型AIとは異なる選択肢が、専用の大きな計算室から職場の近くへ移ってきました。
データを手元へ置く意味
オンプレミス環境では、入力文書や生成結果を組織内のネットワークで扱えます。機密文書、設計情報、顧客情報など、外部サービスへ送る条件が厳しい業務では大きな利点です。
ただし、サーバーを置くだけで安全になるわけではありません。利用者の権限、操作記録、文書の保管期限、モデルへ渡してよい情報の範囲を設計する必要があります。
「クラウド不要」と「外部接続不要」は違う
推論を社内で実行できても、導入支援、ソフトウェア更新、脆弱性対応、モデルの更新には外部との連携が必要になる場合があります。運用前に、どの通信を止められるか、更新を誰が行うか、停止時に業務をどう続けるかを確認します。
また、パラメータ数だけで用途への適合性は決まりません。日本語の文書形式、社内用語、必要な応答速度、同時利用者数、根拠文書を示す仕組みを実データで評価します。
導入時の四つの質問
- どの情報をサーバーへ置き、誰が閲覧できるか
- 期待する業務で、精度と応答時間を測ったか
- モデル、OS、開発基盤を更新する担当者はいるか
- 誤回答や停止が起きても、人が確認して業務を続けられるか
ローカルAIが広げるのは、巨大なクラウドか、AIを使わないかという二択の間です。計算とデータを暮らしや仕事の近くへ置き直し、目的に合う規模で管理する。その選択肢が現実になり始めています。
