數(shù)據集成服務提供在線設置ETL作業(yè)、轉換任務的定時運行策略,監(jiān)控任務的執(zhí)行情況,查看任務執(zhí)行日志的功能。保障多種數(shù)據格式、源頭的數(shù)據經過清洗轉換后及時有效地送達組織的數(shù)據倉庫,強有力地支撐后續(xù)的數(shù)據開發(fā)、數(shù)據挖掘
數(shù)據維護人員
數(shù)據開發(fā)人員
項目經理
產品經理
技術經理
架構描述:
根據業(yè)務需求開發(fā)作業(yè)任務、轉換任務
上傳轉換任務、作業(yè)任務并設置定時調度策略
數(shù)據集成服務定時運行任務,從來源數(shù)據庫抽取數(shù)據并導入數(shù)據倉庫
提供B/S模式的web界面,使有瀏覽器的地方即可管理、監(jiān)控數(shù)據集成任務的需求成為并提供了統(tǒng)一管理ETL作業(yè)任務、轉換的入口
提供在線設置任務定時運行的功能,降低了調度ETL任務的難度,是調度ETL任務的好幫手
通過設置任務的日志級別(最小日志、行級日志、基本日志、詳細日志、調試日志),開發(fā)者和維護者可從日志中捕獲有用信息,進行錯誤定位及任務優(yōu)化
通過列表呈現(xiàn)任務的運行狀態(tài)、下次調度時間,讓系統(tǒng)管理員一目了然地掌控集成任務
從多種維度統(tǒng)計任務的運行情況,保障數(shù)據集成任務穩(wěn)定、有效地運行,提高數(shù)據集成的質量
利用平臺提供的通知管理服務,用戶可定制通過短信、郵件、釘釘、微信、騰訊短信,阿里云短信,阿里云電話,華為短信等渠道接收告警信息的功能
利用平臺提供的存儲管理服務,用戶可將任務上傳到多個存儲渠道進行備災存儲及享受到優(yōu)質的上傳、下載功能
儀表盤:呈現(xiàn)作業(yè)、轉換的運行信息。如總作業(yè)數(shù)、成功次數(shù)、失敗次數(shù)等
定時策略:管理定時任務策略配置。用于系統(tǒng)自動掃描定時任務,按時、周期性的執(zhí)行任務
任務分類:管理作業(yè)、轉換的維度
作業(yè)管理:管理作業(yè)任務清單及執(zhí)行的定時策略
轉換管理:管理轉換任務清單及執(zhí)行的定時策略
作業(yè)日志:呈現(xiàn)作業(yè)任務的執(zhí)行開始、結束時間、時長、運行結果及日志詳情
轉換日志:呈現(xiàn)轉換任務的執(zhí)行開始、結束時間、時長、運行結果及日志詳情
作業(yè)監(jiān)控:統(tǒng)計作業(yè)任務執(zhí)行的成功次數(shù)、失敗次數(shù)、運行狀態(tài)、最近調度及完成時間、下次調度時間
轉換監(jiān)控:統(tǒng)計轉換任務執(zhí)行的成功次數(shù)、失敗次數(shù)、運行狀態(tài)、最近調度及完成時間、下次調度時間