DataDog LLM Observability

DataDog LLM Observability 为大语言模型和智能体应用工作流提供端到端的跟踪、监控和诊断。它将每个提示、工具调用和中间步骤映射到跨度和跟踪中；跟踪延迟、令牌使用、错误和质量指标；并与 Datadog 更广泛的 APM 和可观测性套件集成。 对于已经使用 Datadog 并熟悉其成本结构的组织而言，如果这些工作负载可以进行插桩，LLM 可观测性功能可能是一种直接了解 AI 工作负载的方法。然而，配置和使用 LLM 检测需要谨慎和对工作负载及其实现的深入理解。我们建议数据工程师和运维人员在部署时密切合作。另请参阅我们关于避免独立数据工程团队的建议。