亚欧色一区w666天堂,色情一区二区三区免费看,少妇特黄A片一区二区三区,亚洲人成网站999久久久综合,国产av熟女一区二区三区

  • 發布文章
  • 消息中心
點贊
收藏
評論
分享
原創

Linkis容器化改造記錄

2023-05-29 03:03:48
33
0


1. 編譯項目


   git clone linkis.git
   cd linkis-x.x.x
   mvn -N  install
   mvn clean install


編譯完成后完整包在工程目錄  linkis-x.x.x/linkis-dist/target/out

社區默認只有物理部署,這個安裝包是帶自動化安裝腳本的,下面的鏡像制作也是基于這個編譯目錄

   
   
2. 制作鏡像

linkis容器化和其他后端項目容器化的差異在于他和大數據底座依賴嚴重
linkis大部分服務都可以用公共的base鏡像,鏡像比較簡單,就是把linkis編譯的包制作成鏡像(后期可以優化)

linkis-base.Dockerfile如下

# 基礎的centos鏡像

FROM harbor.ctyuncdn.cn/ga-bdmp/bdmp-docker-base:v1.0.0    

WORKDIR /opt/linkis/linkis-package

# 啟動用戶用的是hdfs,所以新建了一個hdfs用戶,并多workdir做了個調整權限調整
RUN useradd --create-home --no-log-init --shell /bin/bash hdfs -G root
RUN usermod -aG wheel hdfs

#減小分層,壓縮鏡像體積

COPY --chown=hdfs:hdfs ./ /opt/

 

另外一塊是設計任務提交的服務,和大數據底座交互比較密切,單獨做了一個鏡像

ARG BASE_VERSION
#引用上面linkis的base鏡像
FROM harbor.ctyuncdn.cn/datawings/linkis-base:$BASE_VERSION
USER root
 
#python3 默認安裝python3
RUN curl --output anaconda.sh //repo.anaconda.com/miniconda/Miniconda3-py38_23.1.0-1-Linux-x86_64.sh && \
chmod u+x anaconda.sh && ./anaconda.sh -b -p /opt/anaconda3 && /opt/anaconda3/bin/conda init bash && \
source ~/.bashrc && ln -s /opt/anaconda3/bin/conda /usr/local/bin/conda && echo 'export PATH="/opt/anaconda3/bin:$PATH"' >> /etc/profile && source /etc/profile
 
# 配置組件環境變量
RUN echo $'export RUN_CONTAINER=k8s\n\
export HIVE_HOME=/usr/local/hive\n\
export PATH=$PATH:$HIVE_HOME/bin\n\
export SPARK_HOME=/usr/local/spark3\n\
export PATH=$PATH:$SPARK_HOME/bin' >> /etc/bashrc && source /etc/bashrc
 
#涉及容器里的權限調整
RUN mkdir -p /usr/local/linkis/LinkisInstall && ln -s /opt/linkis/linkis-package/* /usr/local/linkis/LinkisInstall && mkdir /var/log/cths && chmod 777 -R /var/log/cths && mkdir /tmp/spark_log && chmod 777 -R /tmp/spark_log

RUN ["yum","install","sudo","-y"]

WORKDIR /opt/linkis/linkis-package
 

3. 微服務節點及掛載的要求(后續計劃去hdfs依賴,這樣只有linkis-cg-ecm涉及大數據節點要求)

 

linkis-mg-eureka 

linkis-mg-gateway

變更內容:1-2,2-1

 

linkis-cg-linkismanager

linkis-ps-cs

linkis-ps-metadataquery

linkis-ps-data-source 

變更內容:1-1 ,2-1

 

 

linkis-cg-engineplugin

linkis-ps-publicservice

linkis-cg-entrance

變更內容:1-2 ,2-2,2-3,2-4,2-1

 

linkis-cg-ecm

變更內容:1-2 ,2-2,2-3,2-4, 2-5, 2-6,2-1

 

1-1 Node 調度: 所有節點

1-2 指定node.  客戶端節點(測試環境為192.168.6.9)

 

2-1 掛載config-map:名稱linkis-conf; 權限644;  config map name:linkis-conf;mount:/opt/linkis/linkis-package/conf

2-2 hadoop。/usr/local/hadoop3 /usr/local/hadoop3

2-3 krb5 /etc/krb5.conf /etc/krb5.conf

2-4 keytabs/etc/security/keytabs /etc/security/keytabs

2-5 spark/usr/local/spark3 /usr/local/spark3

2-6 hive/usr/local/hive /usr/local/hive

 

0條評論
作者已關閉評論
塵味
1文章數
0粉絲數
塵味
1 文章 | 0 粉絲
塵味
1文章數
0粉絲數
塵味
1 文章 | 0 粉絲
原創

Linkis容器化改造記錄

2023-05-29 03:03:48
33
0


1. 編譯項目


   git clone linkis.git
   cd linkis-x.x.x
   mvn -N  install
   mvn clean install


編譯完成后完整包在工程目錄  linkis-x.x.x/linkis-dist/target/out

社區默認只有物理部署,這個安裝包是帶自動化安裝腳本的,下面的鏡像制作也是基于這個編譯目錄

   
   
2. 制作鏡像

linkis容器化和其他后端項目容器化的差異在于他和大數據底座依賴嚴重
linkis大部分服務都可以用公共的base鏡像,鏡像比較簡單,就是把linkis編譯的包制作成鏡像(后期可以優化)

linkis-base.Dockerfile如下

# 基礎的centos鏡像

FROM harbor.ctyuncdn.cn/ga-bdmp/bdmp-docker-base:v1.0.0    

WORKDIR /opt/linkis/linkis-package

# 啟動用戶用的是hdfs,所以新建了一個hdfs用戶,并多workdir做了個調整權限調整
RUN useradd --create-home --no-log-init --shell /bin/bash hdfs -G root
RUN usermod -aG wheel hdfs

#減小分層,壓縮鏡像體積

COPY --chown=hdfs:hdfs ./ /opt/

 

另外一塊是設計任務提交的服務,和大數據底座交互比較密切,單獨做了一個鏡像

ARG BASE_VERSION
#引用上面linkis的base鏡像
FROM harbor.ctyuncdn.cn/datawings/linkis-base:$BASE_VERSION
USER root
 
#python3 默認安裝python3
RUN curl --output anaconda.sh //repo.anaconda.com/miniconda/Miniconda3-py38_23.1.0-1-Linux-x86_64.sh && \
chmod u+x anaconda.sh && ./anaconda.sh -b -p /opt/anaconda3 && /opt/anaconda3/bin/conda init bash && \
source ~/.bashrc && ln -s /opt/anaconda3/bin/conda /usr/local/bin/conda && echo 'export PATH="/opt/anaconda3/bin:$PATH"' >> /etc/profile && source /etc/profile
 
# 配置組件環境變量
RUN echo $'export RUN_CONTAINER=k8s\n\
export HIVE_HOME=/usr/local/hive\n\
export PATH=$PATH:$HIVE_HOME/bin\n\
export SPARK_HOME=/usr/local/spark3\n\
export PATH=$PATH:$SPARK_HOME/bin' >> /etc/bashrc && source /etc/bashrc
 
#涉及容器里的權限調整
RUN mkdir -p /usr/local/linkis/LinkisInstall && ln -s /opt/linkis/linkis-package/* /usr/local/linkis/LinkisInstall && mkdir /var/log/cths && chmod 777 -R /var/log/cths && mkdir /tmp/spark_log && chmod 777 -R /tmp/spark_log

RUN ["yum","install","sudo","-y"]

WORKDIR /opt/linkis/linkis-package
 

3. 微服務節點及掛載的要求(后續計劃去hdfs依賴,這樣只有linkis-cg-ecm涉及大數據節點要求)

 

linkis-mg-eureka 

linkis-mg-gateway

變更內容:1-2,2-1

 

linkis-cg-linkismanager

linkis-ps-cs

linkis-ps-metadataquery

linkis-ps-data-source 

變更內容:1-1 ,2-1

 

 

linkis-cg-engineplugin

linkis-ps-publicservice

linkis-cg-entrance

變更內容:1-2 ,2-2,2-3,2-4,2-1

 

linkis-cg-ecm

變更內容:1-2 ,2-2,2-3,2-4, 2-5, 2-6,2-1

 

1-1 Node 調度: 所有節點

1-2 指定node.  客戶端節點(測試環境為192.168.6.9)

 

2-1 掛載config-map:名稱linkis-conf; 權限644;  config map name:linkis-conf;mount:/opt/linkis/linkis-package/conf

2-2 hadoop。/usr/local/hadoop3 /usr/local/hadoop3

2-3 krb5 /etc/krb5.conf /etc/krb5.conf

2-4 keytabs/etc/security/keytabs /etc/security/keytabs

2-5 spark/usr/local/spark3 /usr/local/spark3

2-6 hive/usr/local/hive /usr/local/hive

 

文章來自個人專欄
文章 | 訂閱
0條評論
作者已關閉評論
作者已關閉評論
0
0