#LLMOps
「LLMOps」に関連するAIツール 14件
Langfuse
LLMアプリの挙動を追跡・評価・デバッグするオープンソースのAIエンジニアリング基盤です。
LangWatch
LLMアプリやAIエージェントの挙動を記録し、評価・シミュレーション・プロンプト管理まで行うLLM運用基盤です。
Helicone
LLMアプリのリクエストを記録・監視するオープンソースのオブザーバビリティ基盤です。
Gemini Enterprise Agent Platform
Googleが提供する企業向けAIエージェント基盤です。ローコードのAgent Studioとコード優先のADK、200を超えるモデル、運用環境と権限管理を1つにまとめています。
Braintrust
LLMアプリの評価(Eval)と挙動監視を1つにまとめた開発者向けプラットフォーム。無料プランでも人数無制限で使えます。
LangSmith
LangChain開発元が提供するLLMアプリのデバッグ・テスト・監視プラットフォーム。無料プランは月5,000トレースまで使えます。
Agnost AI
AIエージェントとユーザーの全会話を解析し、評価テストでは見つからない失敗や不満を洗い出すプロダクト分析ツールです。
TraceLLM
OpenTelemetryをベースに、本番稼働中のAIアプリのプロンプト実行・トークン消費・遅延・エラーを追跡する可観測性ツールです。
Traceloop
オープンソースSDK「OpenLLMetry」を中核に、LLMアプリの品質と信頼性を監視するプラットフォームです。月5万スパンまで無料で使えます。
Confident AI
オープンソースのLLM評価フレームワーク「DeepEval」の開発元が提供する、AI品質の評価・観測プラットフォームです。50種類以上の評価指標とレッドチーミング機能を備えます。
AgentOps
AIエージェント専用の可観測性プラットフォームです。400以上のLLMのコスト追跡やリプレイ分析に対応し、月5,000イベントまで無料で使えます。
Arize AX
AIエージェントの可観測性と評価を担うクラウド基盤です。オープンソース版「Phoenix」は無料でセルフホストでき、クラウド版は月25,000スパンまで無料枠があります。
hiloop
汎用モデルでは精度が足りないタスク向けに、AIエージェントの改良を自動探索する「オートリサーチ」サービスです。Y Combinator 2026年夏バッチ出身です。
ARBR
MITライセンスのオープンソースAIゲートウェイです。複数のモデル提供元へのリクエストを1つの窓口に集約し、ルーティング・監視・予算管理を行えます。