配置HTTP源端參數
更新時間 2023-07-07 15:20:50
最近更新時間: 2023-07-07 15:20:50
分享文章
本章節主要介紹配置HTTP源端參數。
作業中源連接為HTTP連接時，源端作業參數如下表所示。當前只支持從HTTP URL導出數據，不支持導入。
表 HTTP/HTTPS作為源端時的作業參數
| 參數名 | 說明 | 取值樣例 |
|---|---|---|
| 文件URL | 通過使用GET方法，從HTTP/HTTPS協議的URL中獲取數據。 用于讀取一個公網HTTP/HTTPS URL的文件，包括第三方對象存儲的公共讀取場景和網盤場景。 |
|
| 列表文件 | 選擇“是”，將待上傳的文本文件中所有URL對應的文件拉取到OBS，文本文件記錄的是HDFS上的文件路徑。 | 是 |
| 列表文件源連接 | 文本文件存儲在OBS桶中，這里需要選擇已建立的OBS連接。 | obs_link |
| 列表文件OBS桶 | 存儲文本文件的OBS桶名稱。 | obs-cdm |
| 列表文件或目錄 | 在OBS中存儲文本文件文件的自定義目錄，多級目錄可用“/”進行分隔。 | test1 |
| 文件格式 | 當前CDM只支持選擇“二進制格式”，不解析文件內容直接傳輸，不要求原文件格式必須為二進制。 | 二進制格式 |
| 壓縮格式 | 選擇對應壓縮格式的源文件進行遷移： 無：表示傳輸所有格式的文件。 GZIP：表示只傳輸GZIP格式的文件。 ZIP：表示只傳輸ZIP格式的文件。 TAR.GZ：表示只傳輸TAR.GZ格式的文件。 |
無 |
| 壓縮文件后綴 | 壓縮格式非無時，顯示該參數。 該參數需要解壓縮的文件后綴名。當一批文件中以該值為后綴時，才會執行解壓縮操作，否則則保持原樣傳輸。當輸入*或為空時，所有文件都會被解壓。 | * |
| 文件分隔符 | 傳輸多個文件時，CDM使用這里配置的文件分隔符來區分各個文件，默認為l。列表文件顯示為“是”時，顯示該參數。 | l |
| QUERY參數 | 該參數設置為“是”時，上傳到OBS的對象使用的對象名，為去掉query參數后的字符。 該參數設置為“否”時，上傳到OBS的對象使用的對象名，包含query參數。 |
否 |
| 加密方式 | 如果源端數據是被加密過的，則CDM支持解密后再導出。這里選擇是否對源端數據解密，以及選擇解密算法： 無：不解密，直接導出。 AES-256-GCM：使用長度為256byte的AES對稱加密算法，目前加密算法只支持AES-256-GCM（NoPadding）。該參數在目的端為加密，在源端為解密。 |
AES-256-GCM |
| 忽略不存在原路徑/文件 | 如果將其設為是，那么作業在源路徑不存在的情況下也能成功執行。 | 否 |
| 數據加密密鑰 | “加密方式”選擇“AES-256-GCM”時顯示該參數，密鑰由長度64的十六進制數組成，且必須與加密時配置的“數據加密密鑰”一致。如果不一致系統不會報異常，只是解密出來的數據會錯誤。 | DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B |
| 初始化向量 | “加密方式”選擇“AES-256-GCM”時顯示該參數，初始化向量由長度32的十六進制數組成，且必須與加密時配置的“初始化向量”一致。如果不一致系統不會報異常，只是解密出來的數據會錯誤。 | 5C91687BA886EDCD12ACBC3FF19A3C3F |
| MD5文件名后綴 | 校驗CDM抽取的文件，是否與源文件一致。 | .md5 |
