Athina AI用于构建、测试和监控AI功能的协作式AI开发平台

Athina 是一款协作式 AI 开发平台，旨在帮助团队构建、测试和监控 AI 功能，目标是加速将其推向生产环境。 该平台面向 AI 团队的各类角色，包括数据科学家、产品经理、QA 团队和工程师，提供针对性工具和界面。它支持技术用户通过 SDKs 和 APIs 进行程序化交互，也支持非技术用户通过 no-code UI 来完成构建复杂 AI 流程等任务。 核心功能包括全面的 Prompt 管理，支持多种模型（包括自定义模型），并提供测试和运行 Prompt 的功能。它提供丰富的数据集评估能力，提供 50 多个预设评估指标，并且可以配置自定义评估。平台还支持实验性数据集再生，允许用户轻松切换模型、Prompt 或检索器。 Athina AI 将人工 QA 团队与 AI 评估相结合，既能验证评估结果，又能标注数据集。用户可原型化强大的 AI 链并以编程方式运行，数据科学家可通过 SQL 交互并排比较数据集。 对于生产级 AI，Athina 提供强大的可观测性功能，包括专为 AI 跟踪设计的强大监控。它记录 LLM 流程中的每一步，支持重放与分析。可以配置持续在线评估，对接收到的日志进行实时评估，持续洞察准确率。分段分析帮助团队了解模型性能随时间和不同细分的变化，并可按提示、模型、主题或客户 ID 比较评估分数。 主要优势包括通过细粒度访问控制实现完整的数据隐私，并支持在用户自己的 VPC 内自行部署。Athina 也符合 SOC-2 Type 2 合规标准，并支持与自定义模型以及 Azure OpenAI、AWS Bedrock 等服务商的集成。