數據開發可以創建多少個作業，作業中的節點數是否有限制？
目前默認每個用戶最多可以創建10000個作業，每個作業建議最多包含200個節點。
另外，系統支持用戶根據實際需求調整最大配額。如有需求，請進行申請。
作業的計劃時間和開始時間相差大，是什么原因？
在作業監控頁面查看作業運行記錄時，發現作業的計劃時間和開始時間相差較大。其中計劃時間是作業預期開始執行的時間，即用戶為作業配置的調度計劃。開始時間是作業實際開始執行的時間。
這是因為在數據開發中，單個作業最多允許5個實例并行執行，如果作業實際執行時間大于作業配置的調度周期，會導致后面批次的作業實例堆積，從而出現上述問題。
出現上述問題時，請檢查作業配置的調度周期是否小于作業實際執行所需要的時間，根據實際情況調整作業的調度計劃。
相互依賴的幾個作業，調度過程中某個作業執行失敗，是否會影響后續作業？這時該如何處理？
這種情況會影響后續作業，后續作業可能會掛起，繼續執行或終止執行。
如圖所示作業依賴關系
這時請勿停止作業，您可以將失敗的作業實例進行重跑，或者將異常的實例停止再重跑。失敗實例成功后，后續作業會繼續正常運行。如果不通過數據開發，手動將作業實例中的業務場景處理后，可以強制成功作業實例，后續作業也會繼續正常運行。
通過DataArts Studio調度大數據服務時需要注意什么？
DLI和MRS作為大數據服務，不具備鎖管理的能力。因此如果同時對表進行讀和寫操作時，會導致數據沖突、操作失敗。
如果您需要對大數據服務數據表進行讀表和寫表操作，建議參考以下方式之一進行串行操作處理：
- 將讀表和寫表操作拆分為同一作業的不同節點，兩個節點通過連線建立先后執行關系，避免同時執行沖突。
- 將讀表和寫表操作拆分為兩個不同的作業，兩個作業之間設置依賴關系，避免同時執行沖突。
環境變量、作業參數、腳本參數有什么區別和聯系？
環境變量、作業參數、腳本參數均可以配置參數，但作用范圍不同；另外如果環境變量、作業參數、腳本參數同名沖突，調用的優先級順序為：作業參數 > 環境變量參數 > 腳本參數。
環境變量、作業參數、腳本參數的介紹和使用方式如下：
-
環境變量中支持定義變量和常量，環境變量的作用范圍為當前工作空間。
a.變量是指不同的空間下取值不同，需要重新配置值，比如“工作空間名稱”變量，這個值在不同的空間下配置不一樣，導出導入后需要重新進行配置。
b.常量是指在不同的空間下都是一樣的，導入的時候，不需要重新配置值。
如圖所示環境變量
- 作業參數中支持定義參數和常量，作業參數的作用范圍為當前作業。
a.參數是指不同的作業下取值不同，需要重新配置值，導出導入后需要重新進行配置。
b.常量是指在不同的作業下都是一樣的，導入的時候，不需要重新配置值。
如圖所示作業參數
- 腳本參數支持如下使用方式，腳本參數的作用范圍為當前腳本。
a.SQL腳本支持在腳本編輯器中直接輸入參數（Flink SQL不支持），腳本獨立執行時可通過編輯器下方配置，如圖" 獨立執行時的腳本參數"所示；通過作業調度時可通過節點屬性賦值，如圖"作業調度時的腳本參數"所示。
b.Shell腳本可以在編輯器上方配置參數和交互式參數以實現參數傳遞功能。
c.Python腳本暫不支持參數傳遞功能。
如圖所示獨立執行時的腳本參數
如圖所示作業調度時的腳本參數
作業失敗無法查看節點錯誤日志?
錯誤日志是在OBS中存儲，查看日志的當前賬戶需要具有OBS讀權限。可以通過檢查IAM中OBS權限、OBS桶策略來確認。
說明用戶在創建作業時，會默認創建dlf-log-{projectID}命名的桶，此桶若存在，會跳過創建。
配置委托時獲取委托列表失敗如何處理？
當配置工作空間級或者作業級委托，查看委托列表時，報如下錯誤：
Policy doesn't allow iam:agencies:listAgencies to be performed.
則需要使用帳號給當前用戶添加“查看委托列表”的權限。
先創建自定義策略（查詢指定條件下的委托列表），再通過給用戶組授予自定義策略來進行精細的訪問控制。
- 登錄控制臺。
- 在控制臺頁面，鼠標移動至右上方的帳號名，在下拉列表中選擇“統一身份認證”。
- 在左側導航窗格中，單擊“權限”>“創建自定義策略”。
- 輸入“策略名稱”。
- 選擇“作用范圍”，即自定義策略的生效范圍，根據服務的部署區域選擇，這里我們要授予的是IAM查詢指定條件下的委托列表的權限。因IAM是全局級服務，所以作用范圍選擇“全局級服務”。
- “策略配置方式”選擇“可視化視圖”。
- 在“策略內容”下配置策略。
a.選擇“允許”
b.選擇“云服務”為“統一身份認證服務”。
c.選擇“操作”，勾選產品權限（iam:agencies:listAgencies）。 - 單擊“確定”，自定義策略創建完成。
- 參見，給當前用戶所在的組添加步驟7中定義的策略。
當前用戶退出系統，重新登錄后，即可正常獲取委托列表。
每日執行節點個數超過上限，怎么排查哪些作業調度節點比較多？
每日執行節點個數超過上限，一般是由于作業調度過于頻繁導致的。可通過如下方式處理：
- 在數據開發模塊控制臺的左側導航欄，選擇 “運維調度 > 實例監控”，日期選擇當天，查看哪些作業調度較多。
- 在數據開發主界面的左側導航欄，選擇“運維調度 > 作業監控”，查看調度較多的作業設置的調度周期是否合理。如果調度周期不合理，建議適當調整這些調度周期或停止調度。一般每日執行節點個數超過上限都是由于分鐘級別的作業導致的。
如圖所示查看調度周期
數據開發創建數據連接，為什么選不到指定的周邊資源？
請確認當前DataArts Studio實例與周邊資源在同一個Region且在同一個IAM項目下。如果賬戶開通企業項目，則還需在同一個企業項目下。
作業配置了周期調度，但是實例監控沒有作業運行調度記錄？
- 在“運維調度 > 作業監控”界面確認作業的調度狀態是否是調度中，只有調度中的作業到了調度周期后才會調度。
如圖所示查看作業調度狀態
- 如果作業有依賴于其他作業，在“運維調度 > 實例監控”界面，查看依賴作業的運行狀態。如果作業有自依賴，擴大搜索時間窗口，查看是否當前作業歷史實例失敗，導致作業在等待運行，而沒有生成新作業實例。
Hive SQL和Spark SQL腳本腳本執行失敗，界面只顯示執行失敗，沒有顯示具體的錯誤原因？
請確認當前Hive SQL和Spark SQL腳本使用的數據連接為“直接連接”還是“通過代理連接”。
“直接連接”模式下DataArts Studio通過API把腳本提交給MRS，然后查詢是否執行完成；而MRS不會將具體的錯誤原因反饋到DataArts Studio，因此導致數據開發腳本執行界面只能顯示執行成功還是失敗。
如果需要查看具體的錯誤原因，則需要到MRS的作業管理界面進行查看。
數據開發節點運行中報TOKEN不合法？
請確認當前用戶在IAM的權限管理中權限是否有變更、是否退出用戶組，或者用戶所在的用戶組權限策略是否有變更？
如果有變更，請重新登錄即可解決。
作業開發時，測試運行后如何查看運行日志？
a.待節點測試運行完成后，在當前節點鼠標右鍵選擇查看日志。
b.通過畫布上方的“前往監控”，在實例監控中展開作業實例，查看節點日志。
月周期的作業依賴天周期的作業，為什么天周期作業還未跑完，月周期的作業已經開始運行？
如下圖，月周期的作業依賴天周期的作業。為什么在天周期的作業還未跑完，月周期的作業已經開始運行？
如圖所示查看作業調度周期及依賴屬性
事實上，月周期的作業依賴天周期作業指的是當月的月周期作業是否運行取決于上月的天周期作業是否全部運行完成，而不是由當月的天周期作業決定。
例如在11月中，11月的月周期作業是否運行取決于10月的天周期作業是否全部運行完成。
執行DLI腳本，報Invalid authentication怎么辦？
此問題為IAM權限相關問題。
請確認當前用戶在IAM中是否具有DLI Service User 或者 DLI Service Admin權限。
創建數據連接時，在代理模式下為什么選不到需要的CDM集群？
請確認CDM集群是否被關機。
如果關機，請重新啟動。
作業配置了每日調度，但是實例沒有作業運行調度記錄？
- 問題描述
作業配置了每日調度，但是實例沒有作業運行調度記錄。
- 原因分析
原因1：確認作業是否啟動調度，如果沒有啟動，不會進行調度。
原因2：實例查詢時間區間過大，如果配置有依賴作業或者自依賴，查看歷史作業實例是否因為依賴失敗，導致等待運行，沒有生成新作業實例。
- 解決方案
配置作業失敗異常告警通知，以及實例超時時間，當等待時間超過實例超時時間，系統將發送告警通知。
查看作業日志，但是日志中沒有內容？
- 問題描述
查看作業日志，日志中沒有內容。
- 原因分析
確認用戶在IAM中的OBS權限是否具有對象存儲服務（OBS）的全局權限，保證用戶能夠創建桶和操作桶。
- 解決方案
方式1：用戶在對象存儲OBS中創建以“dlf-log-{projectID}”命名的桶，并將操作權限賦予調度用戶。
方式2：在IAM用戶權限中增加全局OBS管理員權限。
創建了2個作業，但是為什么無法建立依賴關系？
- 問題描述
創建2個作業，但是無法建立依賴關系。
- 原因分析
查看所創建的2個作業的調度周期，確認這2個作業是否均為周調度作業或者月調度作業。目前不支持同周期調度，即周依賴周或者月依賴月的作業，不支持建立依賴關系。
- 解決方案
如果這2個作業是周依賴周或者月依賴月的作業，可以把這2個作業放到同一個畫布中再運行。
DataArts Studio執行調度時報錯：提示作業沒有可以提交的版本怎么辦？
- 問題描述
DataArts Studio執行調度時報錯：作業沒有已提交的版本，請先提交作業版本。
- 原因分析
該作業還沒有提交版本，就開始執行調度，導致執行調度報錯。作業執行調度前必須保證作業存在一個版本。
- 解決方案
- 提交作業（不是腳本）版本。
- 執行作業調度。
如圖所示提交版本
DataArts Studio執行調度時報錯：作業中節點XXX關聯的腳本沒有提交的版本？
- 問題描述
DataArts Studio執行調度時報錯：作業中節點XXX關聯的腳本沒有提交的版本。
- 原因分析
該作業內的腳本還沒有提交版本，就開始執行調度，導致執行調度報錯。作業調度前必須保證作業內腳本都存在一個版本。
- 解決方案
- 切換到腳本開發，找到對應腳本。
- 提交腳本版本。
- 執行作業調度。
提交調度后的作業執行失敗，報depend job [XXX] is not running or pause怎么辦？
- 問題描述
提交調度后的作業執行失敗，報depend job [XXX] is not running or pause。
- 原因分析
該問題是由于上游依賴作業不在運行狀態而造成。
- 解決方案
查看上游依賴作業，如果上游依賴的作業不在運行狀態中，將這些作業重新執行調度即可。
如何創建數據庫和數據表，數據庫對應的是不是數據連接?
數據庫和數據表可以在DLI服務中創建。
數據庫對應的不是數據連接，數據連接是創建DataArts Studio和其他數據服務的連接通道。
為什么執行完HIVE任務什么結果都不顯示？
解決方案：清理緩存數據，采用直連方式，數據就可以顯示出來了。
在作業監控頁面里的 “上次實例狀態” 只有運行成功、運行失敗，這是為什么？
上次實例狀態是作業已經執行完成，只有成功、失敗，實例監控里面狀態有取消、暫停等好幾種，是因為展示了作業的所有狀態。
另外，作業運行異常和錯誤都會是作業失敗的狀態。
如何創建通知配置對全量作業都進行結果監控？
-
在“運維調度->作業監控”中，選擇“批作業監控”頁簽。
-
勾選需要配置的作業，單擊“通知配置”。
如圖所示創建通知配置
-
設置通知配置參數，單擊“確定”完成作業的通知配置。
DataArts Studio的版本規格與并行執行節點數之間有什么關系？
DataArts Studio的版本規格與并行執行節點數的關系如下表所示。
| 版本 | 每天執行節點數 | 并行執行節點數 |
|---|---|---|
| 初級版 | 5千 | 50 |
| 基礎版 | 2萬 | 100 |
| 高級版 | 4萬 | 200 |
| 專業版 | 8萬 | 300 |
| 企業版 | 20萬 | 400 |
啟動用戶、執行用戶、工作空間委托、作業委托它們之間的優先級順序是什么？
系統按照作業委托>工作空間委托>執行用戶的優先級順序來獲取權限，然后以該權限來執行作業。
作業執行機制默認以啟動作業的用戶身份執行該作業。如果作業被低權限的用戶啟動，也會因為權限不足導致作業執行失敗。若需解決該問題，可通過配置委托或者執行用戶。
- 當配置了委托后，作業執行過程中，以委托的身份與其他服務交互，可以避免權限問題導致的作業執行失敗。委托分兩類，工作空間委托和作業委托，作業委托優先級高于工作空間委托。
a.工作空間委托：工作空間級別的全局委托，適用于該空間內的所有作業。可在數據開發模塊的配置>委托配置，配置工作空間委托。
b.作業委托：適用于單個作業級別。可在作業基本信息，配置作業委托。
- 當配置了執行用戶后，會以執行用戶的身份來啟動作業。可在作業基本信息，配置執行用戶。
