客户购物车的下一个产品会选什么，你知道吗？

Kaggle的Instacart 购物车记录分析竞赛（https://www.kaggle.com/c/instacart-market-basket-analysis）就是机器学习如何应用于业务问题和功能工程的有用练习的一个很好的例子。主要研究的问题归结为预测用户将再次购买哪些产品，什么时候会第一次尝试，或者在会话期间再次添加到购物车中。其背后的动机很简单：作为一家食品杂货供应公司，需要优化供应链，尽量减少浪费并避免缺货。其中的机器学习部分就是本文会讨论的问题。

如果你查看了本文开头的链接，你就会知道有不少人曾尝试过这个问题，并提交了数十次不同方法的模型。虽然有不少人会想要使用随机森林的方式进行尝试，但对于这个项目，我们将坚持使用旧的逻辑回归，并研究在特征工程和基本模型的调整中可以改进多少。

一切从数据开始

像往常一样，接近任何机器学习模型的第一步都是查看数据。在这里，草拟了Tableau中的几个基本可视化对象，仅从这些图表中我们就可以获得关于用户行为模式的见解。

例如，该图显示一个月内有多少个相对大小的项目被重新排序。我们已经可以看到大多数人在一周内会重新订购产品，或者不再订购（日期是自上次订单起的30天或更多天）。

在这里，我们可以看到客户的平均订单量是10件。

虽然这一探索性数据分析本身提供了有用的见解，但该项目的目标是使用机器学习将这些见解转化为预测性建模。

正式使用

这是会偏离Kaggle的部分。为了训练逻辑回归模型，这里将构建一个代表给定用户的最后一个购物车的新功能：

这个新功能是查看用户和产品ID并重新创建以前的购物车的结果。我们最终得到他们的最新订单，表示为一组产品ID。从那里，我们可以创建一个列，指示项目是否先前已订购，并根据包含来自之前购物车的产品ID的列填充它。当它显示时，新的特征空间将如下所示：

由于以前没有订购Id 1的产品，所以in_cart列中的值为0。因此，in_cart列将成为分类的目标。如果用户更有可能重新排序特定项目，我们将得到1的预测值，否则为0。

可以看到，在这个特征空间上运行基线逻辑回归产生了非常差的结果，所以这就是我们可以转向特征工程神奇的地方。这里的特征工程采用了迭代方法，并测试了每个步骤中每个新特征（如：用户特征、产品特征和用户产品特征）如何影响模型。

具体来说，在处理平均值时，检查了几天和几小时的原始平均值与它们的舍入值的对比情况。这里的推理是考虑自上次购买后的12.33天是没有意义的，因为数据集本身只提供整型值，离散变量的十进制值不是很有见地这歌这歌过程中，发生了一个令人惊讶的事情，不全面的原始数据总体表现反而更好，从长远来看，实际上是为模型提供了更多的信号。

大部分工程特性都围绕着订单频率和一些平均指标，以便将整个客户群的一般订购趋势与特定客户的行为进行比较。除此之外，还将部门名称转换为分类变量，因为我希望他们可以为模型提供额外的信号。

在一开始时没有提到的一件事是，预测课程相当不平衡。设计的in_cart特性显示，项目在十分之一左右的时候会重新排序。为了弥补这种不平衡，使用了sklearn的默认权重平衡：

但是，进行了更进一步的动作，并测试了自定义权重以进一步微调。事实证明，手动平衡模型的整体表现更好。

结论

这种简单的逻辑回归与新设计的功能和手动类平衡取得了相当不错的结果。

如果我们看一下混淆矩阵，我们可以更好地分析F1得分实际上代表什么。在0.3的精确度下，模型可以正确预测所有重新排序项目的30％，并且以0.52确定了模型可以预测的真实和错误。至少，客户可以放心，他们不需要延期交货。

这种不理想的结果可以用阶级失衡来解释，当项目不会被重新排序时，模型预测会好得多，或者这也许是一个不适合机器学习的问题。

除了这些有些抽象的分数之外，可以看看模型的系数。你可以在代码中找到所有系数值，但为了突出显示最重要的发现，这里会解释为客户订单频率是客户重新排列某个产品的几率的最大预测因子。用户和产品总订单也扮演着一定的角色：一般用户订购产品越多且越频繁，这些产品再次被重新订购的机会就越高。

然而，添加到购物车中的产品的计数顺序对重新排序的项目的可能性起着负面作用，这是非常有意义的：我们在开始时看到，用户的平均购物车尺寸大小约是10个产品。如果一件商品一直放在购物车的第15件商品中，那么它很可能不会成为平均购物篮。

结语

今天就是这样。你可以在这里找到非常有趣的演示（https://github.com/vlazovskiy/predicting-instacart-purchases/blob/master/Predicting_customer_orders_with_instacart.pdf）。所有代码也可以在该存储库中访问。

此外，还使用了AWS EC2（亚马逊网络服务，Elastic Cloud 2）作为建模工具，并强烈建议Chris Albon的指导设置虚拟机和Jupyter Notebook以运行它。