LangSmithLLMアプリケーションの動作観察性、評価、デバッグプラットフォームです。

LangSmithは、LangChainチームによって作成された、大規模言語モデルを動かすアプリケーションを、追跡するため、テストするため、評価するため、監視するための開発者向けのプラットフォームです。 LangChainおよびLangGraphフレームワークと密接に統合できるようになっていますが、フレームワーク非依存（framework-agnostic）であり、SDKやAPIを通じて、LLMアプリケーションをインストルメント化できます。その核心的な目的は、LLMベースのシステムでは出力が非決定性であり、エラーは微妙で、開発者が、実行時にチェーン、エージェント、プロンプトが実際に何をしているかについて、可視性を提供することによって、潜在的な不確実性を対処することです。 プラットフォームの中心概念は、トレース（trace）です。各アプリケーションのランを実行すると、詳細で階層化されたトレースが表示されます。該当するエンティティには、送信されたprompts、modelの応答、トークン使用状況、レイテンシー、ツールのコール、各ノードの中間出力などが含まれます。これにより、複雑なマルチステップエージェントや、悪い答えの原因が数層奥にあるリテラル・オーガメンテッド・ジェネレーションパイプラインのデバッグが容易になります。開発者は、個々のトレースを検査するほか、ランをフィルタリングおよびテキスト検索できるため、各ノードでの正確な入力と出力を掘り下げることが可能です。 LangSmithも、アプリケーションの品質を測定する評価ツールを提供しています。チームは、プロダクション トレイス atau カレード エクサンプルからデータセットを作成し、評価ツールでそれらにアプリケーションを実行し、組み込まれた評価ツール、カスタム コードベース チェック、または LLM-アサイスアプローチを使用して出力のスコアを決定できます。この機能は、Prompt またはモデルが変更されたときにレギュレーション テストをサポートし、改善された結果ではなく結果が実際に改善されているかどうかを数値化するために利用できます。 業務用途の運用では、遅延、コスト、エラーレート、フィードバックなどを時間の経過とともに跟跡する監視ダッシュボード機能や、ユーザーのフィードバックおよびユーザー注釈を収集する機能を提供します。また、プッシュボタン式でプログラムを作成してモデルに入力をさせるプロンプト管理機能、試験室モードの機能もある。 LLM機能を実装する開発者やチームに向けられた、LangSmithは主にアドホックprint-statementデバッグから、統合された観察性と評価までを、システム的に進むことが目標です。 LangSmithの主な強みは、LangChainエコシステムとの深い統合と、追跡、データセット、評価の統一されたワークフローです。実際のところ、最も充実した体験は、LangChain/LangGraphの世界で熟練していることを前提としています。 また、LLMベースの評価自体は、注意深い設計が必要です。さらに、この製品はhostedの商用製品であり、使用ベースの価格設定になりますが、一定のプランでは自分でホストするオプションもあります。 その他、Langfuse、Halicone、Arize Phoenix、Weights & Biases Weave などと競合する、他のLLM観察性ツールが存在しています。