集成中心-數據集成介紹
「集成中心-數據集成」的核心能力是要解決各個業務係統數據分散的問題。它通過直接對接數據庫的方式來實現數據的實時同步。用戶隻需要配置簡單的字段映射規則,就可以實現數據庫和工作錶的同步,也支持數據庫之間的數據同步。可以解決以下4類場景問題:
- 將舊係統的數據批量遷移到本平臺
- 將其他係統的數據實時同步到本平臺中使用
- 本平臺中的數據實時同步到其他數據庫中使用
- 作為一個連接橋梁,實現不同數據庫之間的數據同步
目前支持的數據庫類型有以下幾種:
數據庫 | 作為數據源 | 作為目的地 | 支持版本 |
---|---|---|---|
工作錶 | ✅ | ✅ | - |
MySQL | ✅ | ✅ | 5.6, 5.7, 8.0.x 同時支持:阿裏雲、騰訊雲 |
SQL Server | ✅ | ✅ | 2012, 2014, 2016, 2017, 2019 同時支持:阿裏雲、騰訊雲 |
Oracle | ✅ | ❌ | 9i、10g、11g、12c+ |
PostgreSQL | ✅ | ✅ | 9.6, 10, 11, 12+ |
MongoDB | ✅ | ✅ | >= 3.6 同時支持:阿裏雲、騰訊雲 |
MariaDB | ✅ | ✅ | 10.3及以上 同時支持:阿裏雲、騰訊雲 |
IBM db2 | ✅ | ❌ | 11.5x |
Kafka | ✅ | ❌ | 2.3.x |
集成步驟概述
入口
在首頁依次點擊左側導航 > 集成中心,即可進入數據集成模塊。
此功能僅組織的超級管理員或組織應用管理員可見。
集成的三個步驟
創建連接器
連接器是建立兩端數據庫的連接及字段映射關係,在創建連接器的過程中,用戶可以為同一個數據源的多張錶一次性建立多個同步任務。
選擇“源數據”類型和“目的地”類型
如源數據和目的地都支持MySQL,那麼可以實現的同步功方式有為下麵4種:
工作錶同步到工作錶
MySQL數據庫同步到工作錶
工作錶同步到MySQL數據庫
MySQL數據庫同步到MySQL數據庫
配置數據源和目的地數據
如果是工作錶,隻需選擇工作錶所在的應用
如果是外部數據庫,則需要配置連接數據庫的信息
外部數據庫在連接時需要一些先決條件,在右側我們列齣相關項和方法指南。
建立同步任務
配置好數據庫連接後,需要確定數據的同步方式。支持兩種:
- 僅同步數據
- 同步時需要對數據進行處理
選擇數據同步方式後,需要配置數據對象之間的字段映射關係,然後點擊右上角“創建X個同步任務”。
- 每個數據錶都需要單獨配置。每個數據錶都會分彆建立對應的同步任務。
查看驗證同步數據效果
- 查看現有錶數據是否全部同步
- 更新源數據錶記錄看是否同步
- 新增一行記錄看是否同步
管理同步任務
同步任務創建後,可以調整相關設置,也可以查看任務運行的狀態和已同步的數據量。在任務監控中,用戶還可以查看任務纍計運行時長、纍計讀取和寫入數據量、最近讀取和寫入數據量的麯綫圖。
修改任務
ETL數據處理能力
ETL屬於數據集成的增強能力,ETL代錶Extract(提取)、Transform(轉換)、Load(加載),它涵蓋瞭將數據從一個數據源提取齣來,經過各種處理和轉換,最後加載到另一個數據源的全過程。
在數據集成中,提供瞭四個功能,在數據處理完成後再同步數據到目的地數據庫中。
篩選過濾後同步
多錶連接後同步
分類匯總後同步
數據閤並後同步
是否觸發工作流
點擊同步任務名稱,可以配置同步的數據是否觸發工作流。
目的錶中刪除數據後還會同步嗎
將源錶數據同步到目的錶A後,如果在錶A錶中刪除瞭一些記錄(沒有徹底刪除),源錶中記錄的數據有修改,目標錶A中會恢復這些記錄的,並繼續保存同步。
如果將刪除的數據徹底刪除,則不會進行同步。
徹底刪除後,如果想繼續同步這些記錄,可以重新建一個同步任務
徹底刪除是指清空迴收站或在迴收站中繼續刪除瞭記錄。
管理數據源
數據源界麵裏保存著用戶在創建連接器過程中創建的所有數據源和數據目的地連接信息。你可以在創建其它同步任務時,直接使用已創建的數據源。請放心,用戶在連接信息中輸入的密碼會加密存儲,HAP也有完善的機製來保證這些信息不被開發人員查看和解密。
在新建連接器時,選擇已有數據源。
字段同步規則
不支持同步的字段
序號 | 控件名稱 | 控件類型編號 | 說明 |
---|---|---|---|
1 | 大寫金額 | 25 | |
2 | 備注 | 10010 | |
3 | 自由連接 | 21 | |
4 | 嵌入 | 45 | |
5 | 分割綫 /分段 | 22 | |
6 | 標簽頁 | 52 | |
7 | 關聯記錄 | 29 | 多條 |
8 | 他錶字段 | 30 | 僅同步 |
9 | 簽名 | 42 | |
10 | 條碼 | 47 | |
11 | API查詢 | 49 | 查詢按鈕 |
12 | 文本識彆 | 43 | |
13 | 關聯查詢 | 51 |
字段同步的示例說明
係統字段支持同步
序號 | 控件類型 | 字段名稱 | 控件類型編號 | 字段ID(係統字段為固定值) |
---|---|---|---|---|
1 | 文本框 | 記錄ID | 2 | rowid |
2 | 成員 | 擁有者 | 26 | ownerid |
3 | 成員 | 創建人 | 26 | caid |
4 | 日期和時間 | 創建時間 | 16 | ctime |
5 | 日期和時間 | 最近修改時間 | 16 | utime |
6 | 成員 | 最近修改人 | 26 | uaid |
7 | 文本框 | 流程名稱 | 2 | wfname |
8 | 成員 | 節點負責人 | 26 | wfcuaids |
9 | 成員 | 發起人 | 26 | wfcaid |
10 | 日期和時間 | 發起時間 | 16 | wfctime |
11 | 日期和時間 | 節點開始時間 | 16 | wfrtime |
12 | 公式(日期) | 剩餘時間 | 38 | wfftime |
13 | 單選 | 流程狀態 | 11 | wfstatus |
數據集成示範
場景1:工作錶同步到另一張工作錶
場景2:本地MySQL同步到工作錶
場景一:工作錶同步到另一張工作錶
在同一個組織內,工作錶數據可以同步到本應用或其他應用的工作錶中。這種常見於一些基礎數據的被多個應用使用,但隻需由專人在一個地方維護即可。
場景示例:將客戶1錶數據,同步客戶2錶中。
創建連接器
1、選擇數據庫類型
數據源和目的地類型都是工作錶,然後點擊下一步。
2、配置源數據
選擇客戶1錶所在的應用,點擊下一步。
這裏僅顯示齣您作為應用管理員加入的應用。
3、配置目的地
選擇客戶2錶所在的應用,這裏為瞭演示我們將兩張錶放在瞭一個應用下。點擊下一步創建同步任務。
創建同步任務
1、選擇同步方式
選擇[僅同步數據]。
2、選擇源數據要同步的錶
點擊[+數據對象]選擇要同步的錶(客戶1錶),然後點擊確定按鈕。
可以一次選擇要同步的多張錶,也可以繼續點擊[+數據對象]添加要同步的錶。
3、配置和目的地工作錶的字段映射
由於客戶2錶已經存在,我們選擇已有工作錶。
建立字段映射,選擇對應的字段,和導入Excel類似。
創建同步任務時,錶名或者字段名不允許包含以下特殊字符:
`~!@#$%^&*()\-+=\<\>?:"{}|,./;'\[\]·!¥…()—《》?:“”【】、;‘,。『』「」
4、重復數據處理
對於重復數據,可以指定一個依據字段,此字段如果重復,錶示此行已經存在,可以選擇同步時是覆蓋還是跳過不更新
勾選在本次同步數據之前,徹底清空目標錶數據後,第一次同步時將清空客戶2錶的數據。
5、同步數據時是否觸發工作流
同步數據時,工作錶的數據可能進行新增、更新和刪除的操作,如果有相關事件觸發的流程,可以配置是否觸發。
6、增加同步聯係人錶
點擊[+數據對象],選擇聯係人錶,點擊確認
由於目的地的聯係人錶不存在,我們選擇新建。
確定新錶的名稱
勾選要同步的字段
確定新錶的字段名稱
指定新錶的標題字段
7、建立同步任務
當所有錶的映射關係配置完畢後,點擊右上角[創建X個同步任務]
創建成功後會有提醒
8、驗證同步效果
進入客戶錶2,可以看到客戶錶1的所有數據都同步進來瞭。
聯係人2錶也自動創建並同步進來瞭數據
您可以繼續修改客戶1錶已有的數據,或新增一行數據,然後驗證客戶2錶是否已經同步。
通過日誌我們看到,同步數據時不是一次性全量寫入,而是分批寫入的。在同步數據時,需要排隊執行,如果當時全網同步任務太多,可能會慢一點。
場景二:MySQL同步到工作錶
創建連接器
1、選擇數據源和目的地的數據庫類型
2、配置數據庫連接
連接外部數據庫時,需要滿足一些先決條件後纔可以訪問。 如數據庫版本號、權限、IP白名單等設置。
在右側有針對此數據庫的鏈接指南,您按文中的提示進行操作,保證正常鏈接。
滿足先決條件後,在左側填入訪問數據庫的信息,最後點擊[測試連接]按鈕,成功後點擊右上角下一步。
3、配置目的地數據
選擇要同步到哪個應用,然後點擊右上角的下一步按鈕。
創建同步任務
1、選擇同步方式:僅同步數據
2、選擇要同步的數據庫和錶並點擊確定
3、確定目的工作錶並建立字段映射
我們這裏選擇新建錶並命名
選擇要同步的字段
確定每個字段的名稱和字段類型
指定標題字段
全部確定後,點擊右上角[創建X個同步任務]
同步到已有錶
如果選擇瞭同步到已有錶,則可以根據數據中的主鍵來識彆重復數據,如果重復瞭可以選擇時覆蓋還是跳過。
4、驗證同步效果
進入數據集成應用,可以看到新建瞭一張産品錶並添加瞭記錄。您可以繼續修改MySQL中的數據或新增數據,驗證同步效果。
文檔問題反饋
文檔中是否有錯彆字、內容過期、難以理解等問題? 點此給我們反饋吧