Riften

Riftenとは？

Riften(リフテン)は、企業のLLMトラフィックを受け取り、リクエストごとに最適なモデルへ振り分けるAIゲートウェイです。Y Combinator の支援を受けて開発されています。OpenAI互換・Anthropic互換のインターフェースを備えており、環境変数を1つ変更するだけで導入できると案内されています。

タスクに見合ったモデルへ振り分ける

Riftenの出発点は、すべての処理を同じ高性能モデルに送るのは割に合わない、という課題意識です。ドキュメントの検索、問い合わせの分類、コードベースの移行では、必要な知能の水準が異なります。それにもかかわらず、実務では同じフロンティアモデルに同じ単価で送られがちです。Riftenは、その処理を完了できる範囲で最も安いモデルへリクエストを送ります。多くの処理は、同社がホストするオープンウェイトモデルで処理されると説明されています。

自社専用モデルを育てる

もう1つの特徴は、利用実績を振り分けの改善に使う点です。繰り返し発生する業務については、オープンウェイトを土台にした自社向けの非公開モデルを学習させる構想が示されています。これらのモデルは、置き換え対象のAPIと同じ基準を満たしてはじめて本番トラフィックを受け取る、という運用が案内されています。

料金プラン

公開された価格表は確認できませんでした。導入を検討する際は、提供元へ直接お問い合わせください。

検討時のポイント

コスト削減の効果は、処理の内訳によって大きく変わります。単純な分類や要約の比率が高いほど、振り分けの恩恵を受けやすくなります。導入前に、自社のリクエストがどの程度「軽い処理」で構成されているかを把握しておくとよいでしょう。あわせて、外部ゲートウェイを経由することになるため、データの取り扱い方針も確認が必要です。料金や提供条件は変更される可能性があるため、導入前に提供元へ最新の内容をご確認ください。これらは提供元・公開情報です。