『Python』O’Reilly技术趋势报告：Python最流行、云依旧热门，AI热度下降( 四 ) |人工智能|2019你为谁骄傲|R语言|

数据工程作为一项任务而言当然并没有下滑，对数据工程的兴趣可能也没有下降。数据科学和 ML/AI[3] 都将数据工程当作一个实践领域。从其他研究中我们知道，数据科学家，机器学习和 AI 工程师等花费大量时间用于发现、准备和处理数据以开展工作。我们看到，流行的工具和框架通常以自动化 / 引导式自助功能的形式来为用户提供数据工程能力，或者（像 Jupyter 之类的笔记本那样）可以构建和编排调用 Python、R（通过 Python）等库，从而同时或（如果可能的话）并行运行数据工程作业。
与老一代数据工程相对应的术语，例如“关系数据库”、“Oracle 数据库解决方案”、“Hive”、“数据库管理”、“数据模型”、“Spark”等，使用率在 2019 年同比下滑。部分是由于一些更大层面的、市场驱动的因素所致。从我们的研究中我们知道， Hadoop 及其相关项目（例如 Hive）的生态系统正处于持续多年的长期衰退之中。这种下降趋势在我们的使用率数据中得到了证实：Hadoop（-34％）、Hive（也为 -34％）甚至 Spark（-21％）均同比大幅下降。
我们在 O’Reilly Strata 会议发言人提案的分析中详细讨论了造成这种下降的可能因素。
云热度持续攀升在 O’Reilly 在线学习平台上，与云相关的概念和术语的关注程度仍在不断增长，尽管增速有所放缓。从 2017 年到 2018 年，与云相关的主题使用率激增了 35％；在 2018 年至 2019 年期间，它的增长率放缓到了不到一半（增长 17％）。这一情况表明云这一类别已经取得了很大份额，以至于增速就没有那么明显了。就云而言，虽然它的增长速度减慢了，但势头仍然强劲。

本文插图
图注：O’Reilly 在线学习平台上的云主题 - 在 2019 年使用率由高至低的排序（左），以及每个主题的变化率（右）。
对云服务提供商的兴趣是整个云计算行业热度的一个缩影：与 Amazon 和 AWS 相关的主题使用率同比增长 14％；另一方面， Azure 的使用率增长 29％；而 Google Compute Platform（GCP）增长 39％。亚马逊控制着云基础设施即服务（IaaS）产品总体市场的一半，按 Gartner 的 2018 年数据显示：它也已经达到了无法继续维持高增速的节点。 Azure 和 GCP 的增长速度都比 AWS 快得多，但市场份额也要小得多：Azure 主题在 2018 年的增长率接近 61％（根据 Gartner），占 IaaS 市场的 15％以上；GCP 增长率约为 60％，占 IaaS 份额的 4％。
同样令人感兴趣的是，去年 O’Reilly 平台上人们对微服务和 Kubernetes 领域中与云相关主题的兴趣大大提升。在 2018 年下降之后，与微服务相关的主题使用率在 2019 年同比增长 22％。在 2017 年至 2018 年经历了爆炸式增长（+190％）之后， Kubernetes 的使用率在 2019 年同比增长 38％。我们通过用户调查等研究工作所看到的是：微服务已经成为云原生设计和开发的重要组成部分。
更值得关注的是，现代软件架构的这一关键趋势（即强调抽象、隔离和原子性，重视松散耦合）正在消除我们眼中的“云”与“本地”之间的界限。无论是本地还是云部署中，人们对微服务和 Kubernetes 的兴趣都方兴未艾，这也为这一趋势提供了佐证。
这就是云原生设计的逻辑：当然，特定的部署上下文仍然很重要——开发人员在为 AWS 开发时需要考虑哪些特性或约束？对于 Azure 来说呢？GCP 呢？但是，区分公共云和私有云的清晰界限正在消失。类似的，内部私有云与传统内部部署系统之间的界限也正在消失。
对安全的兴趣激增 2019 年，安全性主题的使用率（+26％）显著增长。其中部分原因是 CompTIA Security+（50％）和 CompTIA 网络安全分析师（CySA+ ， 59％）主题的使用率大涨。