前提條件
- 操作用戶擁有目標數據庫/模式的導入權限。
- 當前組織處于基礎版時,需要目標實例已是登錄狀態(若未登錄則選擇目標庫/模式時會彈出登錄窗口)。
注意事項
- 導入任務當前只支持對單實例單個數據庫/模式或單表進行數據變更操作,暫不支持同時對多實例多個數據庫/模式或單表進行相同文件的批量導入。
- 導入時SQL將分批執行,默認每批1000行,不保證事務。導入工單結束后,可到實例元數據功能查看庫/模式或查詢窗口查看表數據,查看表數據操作請查閱 打開表。
- 如果選擇導入的文件類型為SQL,則以庫/模式為目標導入,無法選擇“目標表”和“導入方式”。如果選擇導入的文件類型為CSV、TXT、EXCEL,則以單表為目標導入。
- MongoDB、DDS數據源,都需要選擇目標集合導入。
- MySQL、PostgreSQL數據源,選擇的導入類型為TXT、CSV、EXCEL文件時,可以選擇“導入行為”是“新建表”,支持導入前自動建表。
- 導入工單的SQL規則審核結果保留最多7天(從工單執行開始算起)
操作步驟
- 登錄DMS控制臺。
- 在左側導航欄,單擊開發空間>數據導入 ,進入數據導入管理頁面。
- 單擊數據導入按鈕,彈出數據導入工單填寫彈窗,工單需要選擇或輸入的內容說明見下表1。
- 填寫完數據導入工單后,單擊提交按鈕,即完成工單的提交。
- 當前組織處于基礎版時,數據導入工單進入任務執行階段。
- 當前組織處于企業版時,數據導入工單依次進入預檢查、審批流程、任務執行階段。
- 數據導入任務的工單狀態,可在導入列表頁面查看,如果導入失敗,可點擊詳情查看原因。更多詳細操作請查看 數據導入工單列表 。
表1 工單輸入內容說明
輸入內容 說明 數據庫類型 選擇導入的數據庫類型,支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS。 目標數據庫 選擇數據導入的數據庫/模式,數據來源于在DMS控制臺中添加的數據庫實例,其中MySQL、SQLServer、DRDS、MongoDB、DDS可選擇到庫級別,PostgreSQL可選擇到模式級別。當前僅支持單選一個目標庫/模式。
注意如果未登錄目標庫/模式對應的實例,則選中目標庫/模式后會彈出該實例的登錄窗口。
導入文件類型 選擇導入數據的上傳文件類型:
SQL:目前支持DDL和DML語句,請每條SQL語句以英文分號(;)收尾,并做好換行。選擇該文件類型則無法指定“目標表”和“寫入方式”。
CSV:CSV文件中的分隔符為英文逗號,且文件第一行為表的列名稱。
TXT:TXT文件格式與CSV類似,文件中的分隔符為英文逗號,且文件第一行為表的列名稱。
JSON:僅支持MongoDB和DDS數據源。
EXCEL:支持.xls和.xlsx格式,當前僅支持第一個sheet的內容導入。
導入模式 當導入文件類型選擇“SQL”時,可選擇“導入模式”。
極速模式:不進行文件的掃描,只對數據源進行權限校驗。
安全模式:整個SQL文件的掃描,安全性高但性能較差。
選擇“安全模式”的工單,會在預檢查階段進行SQL風險和SQL規范檢查(SQL風險和規范支持的數據庫類型,詳見SQL風險和SQL規范)
目標表 針對非MongoDB和DDS數據源,在選擇目標數據庫下,篩選導入的目標表。僅支持CSV/TXT/EXCEL格式導入。 文件編碼 選擇導入文件的編碼類型:
UTF-8:默認選中。適用于大部分英文文本。
GBK:適用于文件中帶有中文的情況。
自動識別:如果不能確定文件編碼類型,可選該選項。
導入行為 針對MySQL和PostgreSQL數據源,在選擇文件類型為CSV/TXT/EXCEL后,支持選擇“新建表”,其余數據源類型默認為“現有表”。
選擇“新建表”,系統會根據導入文件中的相關字段猜測您所需的建表結構,可點擊新建表的表名稱打開表結構編輯頁面。
注意當前“新建表”的表結構編輯,暫不支持數據庫的自定義類型作為表字段類型。新建表字段類型與導入文件是否成功密切相關,如選擇“新建表”請認真檢查表結構是否符合需求。
寫入方式 針對非MongoDB和DDS數據源,選擇導入文件的寫入方式:
INSERT INTO:插入數據,數據庫會檢查主鍵(PrimaryKey),如果出現重復會報錯。
INSERT IGNORE INTO:插入數據,數據庫會檢查主鍵(PrimaryKey),如果表中已經存在相同的記錄,則忽略當前新數據。
REPLACE INTO:插入替換數據,數據庫會檢查主鍵(PrimaryKey),如果數據庫已經存在數據,則用新數據替換,如果沒有數據效果則和INSERT INTO一樣。
注意
為保證導入文件時數據庫的性能,請盡可能選擇INSERT操作。
目前MySQL數據庫類型支持INSERT INTO,INSERT IGNORE INTO,REPLACE INTO這3種導入方式,PostgreSQL數據庫類型支持INSERT INTO的導入方式,SQLServer數據庫類型支持INSERT INTO的導入方式。
數據位置 當選擇文件類型為CSV/TXT/EXCEL時,可選擇文件首行屬性是列名或者數據。 目標集合 針對MongoDB和DDS數據源,在選擇目標數據庫下,篩選導入的目標集合。僅支持JSON和CSV導入。 附件上傳 單擊上傳文件,上傳選中文件類型對應的文件。
注意
目前支持SQL,CSV,TXT,JSON,EXCEL五種文件格式,上傳前請檢查文件名后綴是否符合要求。
目前僅支持上傳單個文件,EXCEL文件僅支持第一個sheet的內容導入。
上傳文件大小最大限制為5GB,請控制好文件數據大小。
工單說明 描述工單備注內容。該內容將展示在工單詳情彈窗頁。