通過后臺提交作業

目前Flink客戶端默認安裝路徑為“/usr/local/flink”。具體以實際為準。

1. 通過SSH方式登錄集群。

2. 配置環境變量。

   在/etc/profile添加如下配置：

   export HADOOP_HOME=/usr/local/hadoop3
   export FLINK_HOME=/usr/local/flink
   export PATH=PATH:PATH:FLINK_HOME/bin:HADOOP_HOME/bin
   export HADOOP_CONF_DIR=HADOOPHOME/bin
   exportHADOOPCONFDIR=HADOOP_HOME/etc/hadoop
   export PATH=PATH:PATH:HADOOP_CONF_DIR
   export HADOOP_CLASSPATH=hadoop classpath
   

   執行如下命令初始化環境變量

   source /etc/profile

3. 集群默認開啟Kerberos認證，需要執行以下命令以完成認證。

   示例：
   klist -kt /etc/security/keytabs/flink.keytab  獲取flink.keytab的principalname
   kinit?-kt?/etc/security/keytabs/flink.keytab flink.keytab的principalname
   

   同時，應配置安全認證。在“/usr/local/flink/conf/flink-conf.yaml”配置文件中的對應配置添加keytab路徑以及用戶名。

   security.kerberos.login.use-ticket-cache: true
   security.kerberos.login.keytab: <user.keytab?文件路徑?>
   security.kerberos.login.principal: user
   security.kerberos.login.contexts: Client,KafkaClient
   

   例如：

   security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab
   security.kerberos.login.principal: hdfs
   

4. 運行wordcount作業。

   首先執行上述第3步驟中的認證操作，然后啟動Flink集群。

   /usr/local/flink/bin/start-cluster.sh
   

• Session模式

執行如下命令在session中提交作業。

yarn-session.sh?-nm?"session-name"?--detached?flink?run?/usr/local/flink/examples/streaming/WordCount.jar

提交成功后，會返回已提交的Flink作業的YARN?Application?ID以及Web地址，訪問Web地址以通過Web?UI的方式查看作業狀態。

• Application模式

執行如下命令以Application方式提交作業。

flink run-application -t yarn-application/usr/local/flink/examples/streaming/WordCount.jar

提交成功后，會返回已提交的Flink作業的YARN?Application?ID以及Web地址，訪問Web地址以通過Web?UI的方式查看作業狀態。