配置OBS目的端參數
更新時間 2023-07-10 09:57:33
最近更新時間: 2023-07-10 09:57:33
分享文章
本章節主要介紹配置OBS目的端參數。
作業中目的連接為配置OBS連接時，即導入數據到云服務OBS時，目的端作業參數如下表所示。
高級屬性里的參數為可選參數，默認隱藏，單擊界面上的“顯示高級屬性”后顯示。
表 OBS作為目的端時的作業參數
| 參數類型 | 參數名 | 說明 | 取值樣例 |
|---|---|---|---|
| 基本參數 | 桶名 | 寫入數據的OBS桶名。 | bucket_2 |
| 基本參數 | 寫入目錄 | 寫入數據到OBS服務器的目錄，目錄前面不加“/”。 該參數支持配置為時間宏變量，且一個路徑名中可以有多個宏定義變量。使用時間宏變量和定時任務配合，可以實現定期同步新增數據。 |
directory/ |
| 基本參數 | 文件格式 | 寫入后的文件格式，可選擇以下文件格式： CSV格式：按CSV格式寫入，適用于數據表到文件的遷移。 二進制格式：選擇“二進制格式”時不解析文件內容直接傳輸，CDM會原樣寫入文件，不改變原始文件格式，適用于文件到文件的遷移。 如果是文件類數據源（FTP/SFTP/HDFS/OBS）之間相互遷移數據，此處的“文件格式”只能選擇與源端的文件格式一致。 |
CSV格式 |
| 基本參數 | 重復文件處理方式 | 只有文件名和文件大小都相同才會判定為重復文件。寫入時如果出現文件重復，可選擇如下處理方式： 替換重復文件 跳過重復文件 停止任務 |
跳過重復文件 |
| 高級屬性 | 加密方式 | 選擇是否對上傳的數據進行加密，以及加密方式： 無：不加密，直接寫入數據。 KMS：使用數據加密服務中的KMS進行加密。如果啟用KMS加密則無法進行數據的MD5校驗。 AES-256-GCM：使用長度為256byte的AES對稱加密算法，目前加密算法只支持AES-256-GCM（NoPadding）。該參數在目的端為加密，在源端為解密。 |
KMS |
| 高級屬性 | KMS ID | 寫入文件時加密使用的密鑰，“加密方式”選擇“KMS”時顯示該參數。單擊輸入框后面的  ，可以直接選擇在數據加密服務中已創建好的KMS密鑰。當使用與CDM集群相同項目下的KMS密鑰時，不需要修改下面的“項目ID”參數。 當用戶使用其它項目下的KMS密鑰時，需要修改下面的“項目ID”參數。 |
53440ccb-3e73-4700-98b5-71ff5476e621 |
| 高級屬性 | 項目ID | KMS ID所屬的項目ID，該參數默認值為當前CDM集群所屬的項目ID。 當“KMS ID”與CDM集群在同一個項目下時，這里的“項目ID”保持默認即可。 當“KMS ID”使用的是其它項目下的KMS ID時，這里需要修改為KMS所屬的項目ID。 |
9bd7c4bd54e5417198f9591bef07ae67 |
| 高級屬性 | 數據加密密鑰 | “加密方式”選擇“AES-256-GCM”時顯示該參數，密鑰由長度64的十六進制數組成。 請您牢記這里配置的“數據加密密鑰”，解密時的密鑰與這里配置的必須一致。如果不一致系統不會報異常，只是解密出來的數據會錯誤。 |
DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B |
| 高級屬性 | 初始化向量 | “加密方式”選擇“AES-256-GCM”時顯示該參數，初始化向量由長度32的十六進制數組成。 請您牢記這里配置的“初始化向量”，解密時的初始化向量與這里配置的必須一致。如果不一致系統不會報異常，只是解密出來的數據會錯誤。 |
5C91687BA886EDCD12ACBC3FF19A3C3F |
| 高級屬性 | 復制Content-Type屬性 | “文件格式”為“二進制”，且源端、目的端都為對象存儲時，才有該參數。 選擇“是”后，遷移對象文件時會復制源文件的Content-Type屬性，主要用于靜態網站的遷移場景。 歸檔存儲的桶不支持設置Content-Type屬性，所以如果開啟了該參數，目的端選擇寫入的桶時，必須選擇非歸檔存儲的桶。 |
否 |
| 高級屬性 | 換行符 | 文件中的換行符，默認自動識別“\n”、“\r”或“\r\n”。“文件格式”為“二進制格式”時該參數值無效。 | \n |
| 高級屬性 | 字段分隔符 | 文件中的字段分隔符。“文件格式”為“二進制格式”時該參數值無效。 | , |
| 高級屬性 | 寫入文件大小 | 源端為數據庫時該參數才顯示，支持按大小分成多個文件存儲，避免導出的文件過大，單位為MB。 | 1024 |
| 高級屬性 | 校驗MD5值 | 使用“二進制格式”傳輸文件時，才能校驗MD5值。選擇校驗MD5值時，無法使用KMS加密。 計算源文件的MD5值，并與OBS返回的MD5值進行校驗。如果源端已經存在MD5文件，則直接讀取源端的MD5文件與OBS返回的MD5值進行校驗。 |
是 |
| 高級屬性 | 記錄校驗結果 | 當選擇校驗MD5值時，可以選擇是否記錄校驗結果。 | 是 |
| 高級屬性 | 校驗結果寫入連接 | 可以指定任意一個OBS連接，將MD5校驗結果寫入該連接的桶下。 | obslink |
| 高級屬性 | OBS桶 | 寫入MD5校驗結果的OBS桶。 | cdm05 |
| 高級屬性 | 寫入目錄 | 寫入MD5校驗結果的目錄。 | /md5/ |
| 高級屬性 | 編碼類型 | 文件編碼類型，例如：“UTF-8”或“GBK”。“文件格式”為“二進制格式”時該參數值無效。 | GBK |
| 高級屬性 | 使用包圍符 | “文件格式”為“CSV格式”，才有該參數，用于將數據庫的表遷移到文件系統的場景。 選擇“是”時，如果源端數據表中的某一個字段內容包含字段分隔符或換行符，寫入目的端時CDM會使用雙引號（"）作為包圍符將該字段內容括起來，作為一個整體存儲，避免其中的字段分隔符誤將一個字段分隔成兩個，或者換行符誤將字段換行。例如：數據庫中某字段為hello,world，使用包圍符后，導出到CSV文件的時候數據為"hello,world"。 |
否 |
| 高級屬性 | 首行為標題行 | 從關系型數據庫導出數據到OBS，“文件格式”為“CSV格式”時，才有該參數。 在遷移表到CSV文件時，CDM默認是不遷移表的標題行，如果該參數選擇“是”，CDM在才會將表的標題行數據寫入文件。 |
否 |
| 高級屬性 | 作業成功標識文件 | 當作業執行成功時，會在寫入目錄下生成一個標識文件，文件名由用戶指定。不指定時默認關閉該功能。 | finish.txt |
| 高級屬性 | 自定義目錄層次 | 選擇“是”時，支持遷移后的文件按照自定義的目錄存儲。即只遷移文件，不遷移文件所歸屬的目錄。 | 是 |
| 高級屬性 | 目錄層次 | 自定義遷移后文件的存儲路徑，支持時間宏變量。 | ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} |
| 高級屬性 | 自定義文件名 | 從關系型數據庫導出數據到OBS，且“文件格式”為“CSV格式”時，才有該參數。 用戶可以通過該參數自定義OBS端生成的文件名，支持以下自定義方式： 字符串，支持特殊字符。例如“cdm#”，則生成的文件名為“cdm#.csv”。 時間宏，例如“ {timestamp()}”，則生成的文件名為“1554108737.csv”。 表名宏，例如“ {tableName}”，則生成的文件名為“sqltabname.csv”。 版本宏，例如“{version}”，則生成的文件名為“cdm#1554108737_v1.csv”。 字符串和宏，（時間宏/表名宏/版本宏）任意組合，則生成的文件名為“cdm#1554108737_v1.csv” |
cdm |
