萱草|用Python进行实时计算——PyFlink快速入门( 四 ) Flink1.9.0及更高版本支持Python

PyFlink APIPyFlink API与Java Table API完全一致，以支持各种关系和窗口操作。某些易于使用的PyFlink API比SQL API更为强大，例如特定于列操作的API 。除了API ， PyFlink还提供了多种定义Python UDF的方法。
PyFlink中用户定义的函数定义可以扩展ScalarFunction（例如，通过添加指标）以提供更多辅助功能。另外， PyFlink用户功能函数支持Python支持的所有方法定义，例如lambda ，命名函数和可调用函数。
定义完这些方法后，我们可以使用PyFlink Decorators进行标记，并描述输入和输出数据类型。我们还可以基于Python的类型提示功能进一步简化更高版本，以进行类型派生。以下示例将帮助您更好地了解如何定义用户定义的函数。
定义Python用户定义函数的一种情况在本例中，我们将两个数字相加。首先，为此，导入必要的类，然后定义前面提到的函数。这非常简单，因此让我们进行一个实际案例。
PyFlink的未来前景如何？通常，使用PyFlink进行业务开发很简单。您可以通过SQL或Table API轻松描述业务逻辑，而无需了解基础实现。让我们看一下PyFlink的整体前景。
目标驱动路线图PyFlink的开发始终受到目标的推动，这些目标是使Flink功能可供Python用户使用并将Python函数集成到Flink中。根据下面显示的PyFlink路线图，我们首先在PyVM和JVM之间建立了通信。然后，在Flink 1.9中，我们提供了Python Table API ，向Python用户开放了现有的Flink Table API功能。在Flink 1.10中，我们准备通过以下操作将Python函数集成到Flink：集成Apache Beam ，设置Python用户定义的函数执行环境，管理Python对其他类库的依赖关系以及为用户定义用户定义的函数API ，以便支持Python用户定义函数。
为了扩展分布式Python的功能， PyFlink提供了对 Pandas Series 和 DataFrame 支持，以便用户可以在PyFlink中直接使用Pandas用户定义的函数。此外，将来会在SQL客户端上启用Python用户定义函数，以使PyFlink易于使用。 PyFlink还将提供Python ML管道API ，以使Python用户能够在机器学习中使用PyFlink 。监视Python用户定义的函数执行对实际生产和业务至关重要。因此， PyFlink将进一步为Python用户定义函数提供度量管理。这些功能将包含在Flink 1.11中。
但是，这些只是PyFlink未来发展计划的一部分。还有更多工作要做，例如优化PyFlink的性能，提供图形计算API以及为Flink上的Pandas支持Pandas的本机API 。我们将继续向Python用户提供Flink的现有功能，并将Python的强大功能集成到Flink中，以实现扩展Python生态系统的最初目标。
PyFlink的前景如何？您可能知道， PyFlink是Apache Flink的一部分，它涉及运行时和API层。
PyFlink在这两层将如何发展？在运行时方面， PyFlink将构建用于JVM和PyVM之间通信的gRPC常规服务（例如控件，数据和状态）。在此框架中，将抽象化Java Python用户定义函数运算符，并构建Python执行容器以支持Python的多种执行方式。例如， PyFlink可以在Docker容器中甚至在外部服务集群中作为进程运行。特别是在外部服务群集中运行时，将以套接字的形式启用无限扩展功能。这一切在后续的Python集成中都起着至关重要的作用。