产品经理要知道的模型训练6种方法

ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">1.工业界常用算

ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">作为与算法同学对接的策略产品经理，我们必须对算法同学常用的算法逻辑有所了解，以下我将介绍相关的底层算法逻辑，以及它们所适用的任务类型。

ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">逻辑回归（logistics regression，LR）

ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">
• ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">

  ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">模型训练类别：监督学习算法。

• ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">

  ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">适用问题任务：分类。

• ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">

  ingFang SC", "SF Pro SC", "SF Pro Text", "SF Pro Icons", "Helvetica Neue", Roboto, Helvetica, Arial, sans-serif;font-size: 16px;caret-color: rgb(51, 51, 51);background-color: rgb(255, 255, 255);line-height: 1.75em;overflow-wrap: break-word !important;box-sizing: border-box !important;">算法特色：复杂度低，可解释性强，线上效果好。

函数公式：

y表示模型预估值，取值范围[0,1]，x表示输入模型的特征值，可以理解为最终使用的一系列特征对应的具体数值；T表示矩阵的转置，无实际数值意义；w表示模型为每一个特征训练出的对应参数。以CTR预估模型为例，逻辑回归模型输出的预测值代表的业务意义是用户对物料的兴趣度。

另外，虽然线性回归（linear regression）与逻辑回归简称均为LR，但是线性解决回归问题，逻辑解决分类问题，逻辑回归模型包含线性回归模型，便是线性回归模型。

2. K近邻算法（K-nearest neighbor，KNN）

• 模型训练类别：监督学习算法。

• 适用问题任务：分类、回归。

• K的取值是关键因素，需要用交叉验证法（测试集+训练集）验证。

• 注：使用KNN算法的思想是每一位策略产品经理都需要了解的。

分类任务：

1.计算待分类点（黑叉）与其他已知类别点的距离。

2.按距离正排，占比最好的类别即为待分类点的类别，计算方法有①欧式距离、②曼哈顿距离。

回归任务：

整体思路与分类任务一致，预测点的值等于离预测点最近K个点的平均值。

总结：

KNN算法没有模型训练缓解，而是直接应用，所以KNN算法在训练环节的时间复杂度为0，但是在应用环节，随着样本量陡增、复杂度的增加，在对于效率要求极高的场景下无法使用KNN算法。

3. 贝叶斯模型（Bayes Model）

• 模型训练类别：监督学习算法。

• 适用问题任务：分类。

• 模型方向：“逆概率”问题，用于邮件分类，天气预测。

函数公式：

4. K聚类算法（K-Means）

• 模型训练类别：无监督学习算法。

• 适用问题任务：聚类。

• K-Means没有模型训练环节，利用启发式迭代，K值的选择由业务场景确定，如无需求，可试数。

步骤：

1. 将所有样本分成几个簇，即设定K值。

2. 模型重新计算新簇质心，再次归类。

3. 不断重复、优化。

5. 决策树（decision tree）

• 模型训练类别：监督学习算法。

• 适用问题任务：分类、回归。

• 核心思想：根据有区分性的变量查分数据集。

基本框架要素：

1.根节点：包含所有原始样本数据，会被进一步分割成多个子集合。

2.决策节点和叶子节点：叶子节点“不再被分割”，但可以分，决策节点根据特征继续分割。

3.父节点与子节点：被分割成子节点的节点被称为子节点的父节点。

决策树种类：①分类树 ②回归树

决策树效果评估：选择哪些特征组合构建效果最好呢？

• 分类树：基尼不纯度评估，不纯度越低，效果越好。

• 回归树：方差指标评估，方差越小模型拟合效果越好。

决策树关键参数：

• 节点拆分包含的最小样本数：过大欠拟合，过小过拟合，需要交叉验证来调参。

• 叶子节点包含的最小样本数：防叶子节点太多，对于正负样本不均的情况可以分小。

• 决策树最大深度：交叉验证解决。

• 总体叶子节点数量控制。

• 整体分裂中使用最多的特征数：根据建模经验，开根号的特征数为最佳特征数。

6. 深度神经网络（deep neutral network）

网上有很多资料介绍，可以自己找一下。

简单介绍，深度学习中的“深度”指的是其hidden layer，在输出层和输入层中，隐藏层越多深度越大。深度学习与常规神经网络算法的区别主要体现在训练数据、训练方式、层数方面。

目前在产品策划领域，深度学习可以解决安防领域、零售行业的视觉识别问题，也有如ChatGPT等的自然语音识别、语言处理等应用，实体企业如智能驾驶中的地位正在提升，其最早被应用与搜光腿的算法模型中。

2.产品设计模型算法的选择

对于同种业务场景可能使用多种算法，然而作为产品经理，我们需要重点考核模型的两大要点：模型预测的准确性和模型的可解释性。

对于金融风控等受到强监管的场景，我们更偏向于使用具有可解释性的模型，而对于搜广推等产品体验场景，我们更看重产品的使用效果，以下是各类算法的使用效益分布图：