我们将于 2021 年 7 月 30 日从此网站上移除《机器学习速成课程》。英语版本依然会提供。

生产环境机器学习系统 (Production ML Systems)

除了实现机器学习算法之外,机器学习还包含许多其他内容。生产环境机器学习系统包含大量组件。

生产环境机器学习系统

包含以下组件的机器学习系统示意图:数据收集、特征提取、进程管理工具、数据验证、配置、机器资源管理、监控、服务基础架构和机器学习代码。与示意图中的其他九个组件相比,机器学习代码只是很小的一个组成部分。
包含以下组件的机器学习系统示意图:数据收集、特征提取、进程管理工具、数据验证、配置、机器资源管理、监控、服务基础架构和机器学习代码。与示意图中的其他九个组件相比,机器学习代码只是很小的一个组成部分。
  • 不,您无需自行构建所有内容。
    • 尽可能重复使用常规机器学习系统组件。
    • Google CloudML 解决方案包括 Dataflow 和 TF Serving
    • 您还可以在 Spark、Hadoop 等其他平台中找到组件
    • 如何知道自己需要哪些组件?
      • 了解机器学习系统的一些范例及其要求

到目前为止,机器学习速成课程重点介绍了如何构建机器学习模型。不过,如下图所示,现实世界中采用的生产机器学习系统是大型生态系统,模型只是其中的一部分。

包含以下组件的机器学习系统示意图:数据收集、特征提取、进程管理工具、数据验证、配置、机器资源管理、监控、服务基础架构和机器学习代码。与示意图中的其他九个组件相比,机器学习代码只是很小的一个组成部分。

图 1. 应用于现实世界的生产环境机器学习系统。

机器学习代码是现实世界生产环境机器学习系统的核心,但它通常最多只占整个生产环境机器学习系统整体代码的 5%(这并非印刷错误)。请注意,生产环境机器学习系统会将大量资源投入到输入数据中 - 收集输入数据、对其进行验证以及从中提取特征。另请注意,服务基础架构必须到位,以便机器学习模型的预测能投入到现实世界的实际运用中。

幸运的是,上图中的许多组件可以重复使用,而且,您无需自行构建图 2 中的所有组件。

TensorFlow 可提供其中许多组件,而其他选项可通过 Spark 或 Hadoop 等其他平台获取。

后续单元会指导您如何在构建生产环境机器学习系统时做出设计决策。