Uber 开源用于调试 AI 模型的可视化工具 Manifold

调试机器学习模型并非易事，Uber 官方博客称“人们通常将 20％ 的精力用于建立初始工作模型，而 80％ 的精力用于改善模型性能”。为此，他们开发并开源了 Manifold，这是一款用于机器学习的视觉调试工具，可用于诊断并调试机器学习模型中的问题。

Manifold 能够通过显示性能较好和较差的数据子集之间的特征分布差异来解释模型性能不佳的潜在原因。并且，它可以显示几个候选模型对于每个数据子集具有何种不同的预测精度，从而为诸如模型集成之类的高级处理提供了依据。

第一个开源版本的 Manifold 中添加了各种功能，包括：

• 与模型无关的通用二进制分类和回归模型调试支持。用户将能够分析和比较各种算法类型的模型，从而使他们能够区分各种数据片的性能差异。
• 对表格化要素输入的可视化支持，包括数字，分类和地理空间要素类型。使用每个数据切片的特征值分布信息，用户可以更好地了解某些性能问题的潜在原因，例如，模型的预测损失与其数据点的地理位置和分布之间是否存在任何关联。

• 与 Jupyter Notebook 集成。通过这种集成，Manifold 接受数据输入作为 Pandas DataFrame 对象，并在 Jupyter 中呈现此数据的可视化。由于 Jupyter Notebook 是数据科学家和ML工程师使用最广泛的数据科学平台之一，因此该集成使用户能够在不中断正常工作流程的情况下分析其模型。

• 基于每个实例的预测损失和其他特征值的交互式数据切片和性能比较。用户将能够基于预测损失、地面真实性或其他感兴趣的特征对数据进行切片和查询。该功能将使用户能够通过通用的数据切片逻辑快速验证或拒绝其假设。