0基础如何跨进机器学习工程师的大门?
点击上方关注,All in AI中国
近段时间人工智能一直都很火但是,许多人想要入驻这个领域仍然无从下手,本文将为大家解决这一问题,如何准备机器学习工程师以及它面临什么样的问题。
数据科学与机器学习工程
让我们从定义本身出发。什么是机器学习工程?这是一个新事物吗?这与数据科学家21世纪所谓最性感的工作有什么不同?
当人们发明数据科学家这个术语时,他们正在寻找擅长以下方面的“超级英雄”:
数据科学家应该做什么?
1.获取数据、清理数据、识别问题并提出正确的问题,并为不同的KPI设置正确的措施。
2.进行必要的统计分析,得出关于解决方案的不同假设
3.使用统计方法验证不同的建议解决方案。
4.在某些时候,解决方案可能不仅仅是一个数学模型(方程式),它可能包括一些需要使用机器学习的复杂性。因此,通过不同的迭代开发合适的ML模型成为一个必要的措施。
5.一旦该模型准备就绪,您需要设计一个工程系统,除了需要确认工程以确保该模型持续有效的其他方面之外,还将为该模型提供服务。
6.对模型结果进行必要的连续分析和调查,并进行必要的监控。
由于人类获取知识的能力有限,还得跟上每个不同子领域的不间断变化,因此专业化成为必须项。我们开始看到在前面提到的工作流的不同领域中工作的不同工作简介。
例如,一些数据工程师/科学家对基础设施更感兴趣,专门从事数据工程。这给了他们更多的带宽来吸收不同分布式处理系统的内部特性(例如:Apache Spark,Apache Hadoop,..等),因此能够扩展这些系统来处理非常自定义的用例,而这些用例使用标准api可能不容易处理
我们这里会列出6个概要文件,这些配置文件共同组成一个能够推动其组织数据驱动的数据团队,然后在后期进行AI驱动。
- 数据分析师
- 数据科学家
- 数据工程师
- 机器学习工程师
- 数据架构工程师
- 数据运营
尽管如此,很难将这一点推广到每个组织,因为每个组织的需求和规模都是决定因素,同时考虑数据团队保护伞下每个概况之间的界限。
什么是机器学习工程师?
这里会引用Oreilly的优秀文章,该文章对机器学习工程师的描述如下:
- 他们拥有比典型数据科学家更强大的软件工程技能。
- 机器学习工程师能够与维护生产系统的工程师合作。
- 他们了解软件开发方法、敏捷实践以及现代软件开发人员使用的全套工具:从Eclipse和IntelliJ等IDE到持续部署管道的组件。
- 他们参与软件架构和设计。
- 由于他们的重点是使数据产品在生产中运行,因此他们会全面考虑日志记录或A / B测试基础架构等组件。
- 他们可以快速解处理特定于监控生产中的数据产品的问题。应用程序监控有很多资源,但机器学习的要求更进一步。数据管道和模型可能过时并需要重新训练,或者它们可能会受到攻击者的攻击,而这些攻击方式对传统的Web应用程序没有意义。
如何获得经验?
- 做一名坚实的软件工程师
- 获得ML体验
- 对于理论部分,您可以使用Coursera、Edx或Udacity中的任何现有MOOC。通过对真实数据进行实际项目来获得实践经验。如果你还没有一些问题,Kaggle是解决问题的最好方法。
- 通过对真实数据进行真实项目来获得实践经验。 如果你还没有解决一些问题,Kaggle可能是解决问题的最佳来源。
- 阅读、聆听和观看。 互联网上有很多很棒的文章,播客和视频会话。
作者:Ahmed Kamal