亚欧色一区w666天堂,色情一区二区三区免费看,少妇特黄A片一区二区三区,亚洲人成网站999久久久综合,国产av熟女一区二区三区

Spark-beeline連接的目標可以是spark thrift server、也可以是kyuubi server。

我們以spark thrift server為例，提供鏈接流程如下：

1. 首先配置spark thrift相關配置。

   1. Spark-env.sh 中配置需要配置JAVA_HOME、HADOOP_HOME、HADOOP_CLASSPATH、HADOOP_CONF_DIR等環境變量。
      

   2. SPARK_HOME/conf 路徑下的hive-site.xml文件中，需要配置如下：

      hive.server2.transport.mode - Set this to value: http
      hive.server2.thrift.http.port - HTTP port number to listen on; default is 10001
      

      如果hive-site.xml是軟連接，且spark和hive混布，那么需要直接cp該文件到SPARK_HOME/conf下面。

   3. Spark-defaults.conf中如果hadoop集群開啟了Kerberos認證，那么需要配置spark.sql。

2. 啟動spark thrift server。

   SPARK_HOME/sbin/start-thriftserver.sh
   

3. 如果當前集群已啟用Kerberos認證，執行以下命令認證當前用戶。如果當前集群未啟用Kerberos認證，則無需執行此命令。

   1. 首先klist -kt <keytab文件路徑>，獲取keytab文件的principal，例如 klist -kt user.keytab 獲得 user/hostname@realm。
   2. 然后kinit -kt <keytab文件路徑> <獲取到的principal>，例如 kinit -kt user.keytab user/hostname@realm。
   3. Kinit認證完成登錄后，可以klist -l查看。

4. Beeline鏈接spark-thrift-server。

   SPARK_HOME/bin -u ‘jdbc:hive2://<host>:<port>/<database>;principal=user/hostname@realm?spark.yarn.queue=root.default’ -n user
   

5. 執行如下命令查詢所有表，返回結果中存在表test，即表示訪問OBS成功。

   show databases