OpenInference

OpenInference 是一套约定和插件集，作为 OpenTelemetry 的补充，专为观测 AI 应用而设计。它为机器学习框架和 类库 提供了标准化的工具，帮助开发者追踪 LLM 的调用，以及向量存储检索、外部工具（如 API 和搜索引擎）调用等周围上下文。Span 数据可以导出到任何兼容 OTEL 的收集器，确保与现有遥测流水线保持一致。我们之前曾提及 Langfuse，这是一个常用的 LLM 可观测性平台—— OpenInference SDK 可以将追踪数据记录到 Langfuse 以及其他兼容 OpenTelemetry 的可观测性平台中。