下面我将为你详细讲解Apache Linkis中间件架构及快速安装步骤。

Apache Linkis 中间件架构

Apache Linkis是受LinkedIn Data Platform启发而构建的开源数据工作流平台。它为数据工作者提供了一个易于使用，可扩展，多租户的数据智能解决方案。Apache Linkis架构由五个关键组件组成：

Gateway：网关是整个Linkis架构中的入口，负责请求的路由和安全验证等功能。Web请求和Linkis服务通过此网关进行通信。
Engine：Engine是运行引擎，用于处理用户提交的作业。Engine为用户提供了一个隔离的环境，主要用于代码编排、资源分配和代码执行，该架构目前支持Spark，Flink，Hive，Presto等多种计算框架。
Metadata：Metadata是元数据服务，负责存储相关的数据元和业务元。此服务支持数据库（MySQL/Oracle）或其他存储库，例如Cassandra，Es等，以灵活管理数据元和业务元。
Usher：Usher是Linkis的通知服务，承载了Linkis发起的异步事件。（如，任务执行通知等）
Entrance：Entrance是用户与Engine之间的接口，用于编排代码和发送请求，支持多种脚本语言（如SQL、Python、Java等）。

安装Apache Linkis步骤

下面是Apache Linkis的安装步骤：

环境准备

Java环境：必须安装Java 1.8及以上版本。
MySQL环境：必须安装MySQL Server 5.7.x。

下载Linkis

访问Apache Linkis官网，下载最新的稳定版本的二进制可执行文件，解压文件到指定目录。
配置环境变量。
配置数据库，执行linkis/lis-db/lis.sql脚本，将创建Linkis所需的数据库。

修改配置文件

进入conf目录，修改linkis.properties文件，将以下配置信息修改为你自己的：

```
# Hive配置
hive.server2.url=<你的Hive Server2链接>
hive.zookeeper.quorum=<你的Hive zookeeper链接>

# JAVA环境路径
java.home=<你的java运行环境路径>

# 元数据存储配置
metadata.db.url=<你的数据库链接>
metadata.db.user=<你的数据库用户名>
metadata.db.password=<你的数据库密码>

# 网关服务配置
gateway.port=<你的网关端口号>
gateway.token.user=<你的网关服务令牌用户名>
gateway.token.password=<你的网关服务令牌密码>
gateway.token.expires-after=<你的网关服务令牌过期时间>
```

修改entrance.properties文件，设置可用的引擎类型。

engines=Flink,Spark,Hive,Presto spark.home=<你的Spark路径> spark.version=<你的Spark版本号> spark.master=<你的Spark主节点链接> spark.cores.max=<你的最大Spark核心数> spark.executor.memory=<你的Spark执行器最大内存> spark.yarn.jars=<你的Spark JAR文件所在路径> spark.uis=<你的Spark UI显示地址> spark.dependencies.zookeeper=<你的Spark zookeeper链接>

启动Linkis

启动Linkis网关服务：运行bin/start-gateway.sh脚本。
启动Linkis元数据服务：运行bin/start-manager.sh脚本。
启动Linkis引擎服务：运行bin/start-engine.sh <ENGINE_TYPE>脚本，<ENGINE_TYPE>是你要启动的引擎类型，例如，Spark，Hive，Flink或Presto。

部署Linkis任务

在启动Linkis后，你可以使用Entrance接口编写和提交任务，在Linkis管理界面上查看和跟踪任务的执行状态，关于如何编写和提交任务可以参考Linkis官方文档中的入门教程。

下面是一个使用Linkis提交Hive查询的示例。

首先在Entrance页面选择Hive引擎，在代码输入框中输入Hive查询：

sql select * from employees where salary > 50000;

点击运行，任务将被发送到Engine，Engine将解析和执行查询。
查看任务执行更新和结果，可以在Linkis管理界面的“任务信息”面板中找到任务的详细信息和状态，包括任务开始和结束时间、运行状态和查询结果等。

以上是Apache Linkis中间件架构及快速安装步骤的完整攻略，如有疑问欢迎交流。

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：Apache Linkis 中间件架构及快速安装步骤 - Python技术站

Apache Linkis 中间件架构及快速安装步骤