迁移学习快速概述及其在实际应用中的意义
通常，机器学习模型没有经过训练，无法通过将知识从一种模型转移到另一种模型来工作。这里的知识意味着在每个层中获得的更新的权重和偏差。因此，迁移学习可以利用从一项任务中获得的知识来解决相关的其他任务。
使用迁移学习的主要好处是，它可以通过再次使用已开发模型的模块或部分来加快开发和训练模型的时间。这不仅加快了模型训练过程，还提高了训练效果。
迁移学习和机器学习之间的区别
机器学习与迁移学习
传统机器学习（ML）被称为孤立的，因为知识没有积累。而且，这是一项单任务学习，因为学习是在没有将过去的知识纳入任何其他任务的情况下完成的。从上面的图可以推断，数据直接传递到学习系统或训练模型，并且每个模型都经过训练而无需从其他学习系统转移知识。
在迁移学习中，该概念与传统机器学习完全相反，因为新任务的学习依赖于先前学习的任务。有了这个动作，输出的准确性将好得多，过程将得到加强。从上图中可以清楚地看到，经过训练的模型与其他学习系统进行了知识(权重、特性等)的转移或共享。
迁移学习与机器学习的演示
让我们借助一个示例来了解迁移学习与传统机器学习之间的区别。假设一个人拥有一个庞大的数据集，其中包含不同种类的物体的图像，并且该人必须对汽车，卡车或其他车辆的图像进行分类。使用传统的机器学习，图像必须通过卷积神经网络，而这将是第一次训练。然后将提取特征，并在其他CNN论循之后进行图像分类。另一方面，在迁移学习中，将使用预训练的卷积神经网络模型，该模型可能来自其他学习系统，这将为图像分类提供更好的准确结果。迁移学习正受到机器学习专家的广泛关注。
迁移学习的类别
到目前为止，我们已经讨论了迁移学习的核心含义，而没有深入探讨其数学概念。这些迁移学习策略取决于数据的领域和可用性。因此，根据所涉及的机器学习算法，迁移学习技术大致分为三类：
- Inductive Transfer Learning：-这里的源任务和目标任务互不相同，但是源域和目标域是相同的。AI算法通过尝试使用源域来帮助改善目标任务。
- Unsupervised Transfer Learning：-这种技术与Inductive法非常相似，唯一的区别是任务在目标域中是无监督的。这里的任务也不同，源域和目标域相似。这里没有标签数据。
- Transductive Transfer Learning：-该技术与上述两种技术完全不同。在这里，源域和目标域彼此不同，而任务有些相似。源域中有很多带标签的数据，而目标域中没有数据。
迁移学习策略的类型
现在，迁移学习可以应用于不同的设置，但是转移什么是主要问题。因此，这个答案在于不同的方法。因此，我将简要介绍这些方法，以便您容易理解这些概念。
- Feature Representation Transfer：通过识别可以从源域到目标域使用的良好特征表示，在很大程度上将错误率和域差异最小化。
- Relational-knowledge transfer:：这种方法试图处理非IID数据，例如非独立且分布数据。在此，每个数据点与其他数据点都有关系。
- Instance Transfer：在大多数情况下，无法直接重用源域数据。源域中的某些实例可以与目标数据一起重用以改善结果。从源域到目标任务重用知识通常是理想的方案。
- Parameter Transfer：该方法假设相关任务的模型共享某些参数或超参数的先验分布。与同时学习源任务和目标任务的多任务学习不同，对于迁移学习，我们可以对目标域的损失施加额外的权重，以提高整体性能。
迁移学习的优势
迁移学习除了上面提到的优点外，这里做下补充：
- 可以构建更强大的机器学习模型来执行各种任务。
- 知识可以很容易地从一种机器学习模型转移到另一种机器学习模型。
- 有时数据没有标签，迁移学习可以解决此类问题。
- 复杂的现实世界问题可以通过几个约束来解决。
迁移学习的弊端
- 迁移界限：-在迁移学习中，对迁移进行量化是非常重要的。这样做会影响迁移的质量及其可行性。
- 负迁移：-在很多情况下，我曾谈到过通过将权重，偏差等转移到其他学习系统的方法来提高准确性和性能。但是有时性能可能会下降。负迁移学习是指在知识从源到目标的转移过程中，学习系统的整体性能下降。照顾这种情况非常必要，需要仔细审查。
结论
本文简要介绍了迁移学习的概念、与传统机器学习的区别、迁移学习的类别、优缺点。迁移学习无疑将成为推动机器学习和深度学习在行业的主流应用中取得成功的关键因素之一。