HDP 数据源

数据源模块用于管理平台连接的所有外部数据源，包括文件、数据库、消息队列和目的地（写入端）。在创建同步任务之前，必须先在此处配置好数据源信息。

数据源的配置和使用流程如下：

• 添加新的数据源
• 查看数据源列表、连接状态、用途（源/目的地）
• 编辑或删除数据源
• 查看哪些同步任务在使用该数据源

数据源创建

1. 进入数据源页面

   在工作空间左侧导航栏点击【数据源】 ，打开数据源管理页面。点击右上角【创建数据源】。

   

2. 选择数据源类型

   系统将数据源划分为四大类：

   • 文件（Excel、CSV、JSON）
   • 本地数据库（如 MySQL、PostgreSQL、MongoDB、SQL Server、Oracle、MariaDB、IBM db2）
   • 云端数据库（如阿里云、腾讯云系列）
   • 消息队列（Kafka）

   

3. 选择同步方向及同步方式

   

   不同类型数据源支持的数据同步方向与同步方式不同，汇总如下：

   数据库类型	手动	手动	定时	定时	实时	实时
   	作为源	作为目的地	作为源	作为目的地	作为源	作为目的地
   MySQL	✅	✅	✅	✅	✅	✅
   PostgreSQL	✅	✅	✅	✅	✅	✅
   MongoDB	✅	✅	✅	✅	✅	✅
   SQL Server	✅	✅	✅	✅	✅	✅
   MariaDB	✅	✅	✅	✅	✅	✅
   IBM DB2	✅	✅	✅	✅	✅	✅
   Oracle	✅	🚫	✅	🚫	✅	🚫
   SAP HANA	🚫	🚫	✅	🚫	🚫	🚫
   Kafka	🚫	🚫	🚫	🚫	✅	🚫
   HAP 工作表	🚫	✅	🚫	✅	✅	✅

4. 填写数据源信息

   进入数据源配置页后，需要填写数据源名称、数据库地址、端口、账号 密码等信息，不同数据源类型需填写的信息有所不同，需确保填写信息与数据库真实配置一致。

5. 连接数据源配置

   根据界面右侧指南一步一步检查数据源是否能在 HDP 中正常使用。按顺序执行即可，所有步骤都是只读操作，不会修改数据。

   

6. 测试连接

   点击右上角【测试连接】。

   • 若连接成功 → 进入下一步「保存」

     

   • 若连接失败 → 系统会提示错误原因（网络、端口、账号权限等）

     

7. 测试成功后点击【保存】，数据源将创建并显示在列表中。

数据源管理

搜索与筛选

页面提供搜索框和筛选器，可根据搜索/筛选以下进行定位：

• 数据源名称
• 地址（IP/域名）
• 创建人
• 作为（普通源/实时同步源/目的地）
• 来源（本地数据库/云端数据库/消息队列）
• 源类型（MySQL、PostgreSQL 等）

数据源列表

列表包含当前工作空间所有已创建的数据源，展示字段如下：

字段	说明
数据源名称	用户自定义的可读名称，便于识别
地址	数据库或服务的连接地址（IP 或域名）
作为	显示该数据源是作为「源」还是「目的地」或两者兼有
同步任务	当前数据源正在被多少个同步任务使用
创建时间 / 创建人	数据源的创建者及时间

可点击表头「同步任务」「创建时间」进行升降排序。

数据源列表操作

• 编辑数据源：点击列表数据源名称进入数据源编辑界面

  

• 删除：校验是否有同步任务正在使用该数据源

  

数据预览

数据预览用于在创建同步任务前，直观校验数据源中的真实内容。

• 功能概述：进入数据源详情页的数据页签，在左侧导航树中选中具体的表或视图，右侧即可实时浏览完整的字段列、实际数据行以及总行数，并支持手动刷新元数据。

• ⚠️ 核心限制与边界：

  • 零风险：数据预览仅供只读查看，绝不改变或反向写入您的源数据。
  • 数据源差异：Kafka 暂不支持预览；CSV、JSON 等文件型数据源由于没有多层对象树，系统会自动隐藏左侧对象树列表。
  • 独立性：在预览页进行的任何临时检索与过滤，仅影响当前画面展现，不会作为同步任务的过滤配置。

关系图

关系图用于可视化展示数据源中数据表和字段之间的关联关系。用户可以在画布中查看数据库外键关系，也可以根据业务理解维护自定义表间关系，帮助团队更快理解数据结构。

关系图主要配置和使用流程如下：：

• 查看数据表、字段和表间关系
• 自动识别并展示数据库外键关系
• 创建、编辑和删除用户自定义关系
• 支持字段级关系连线
• 支持复合外键和多条独立关系

进入关系图

可以通过以下方式进入关系图：

1. 进入「数据源」列表。
2. 点击数据源右侧的「...」。
3. 选择「关系图」。 也可以先进入数据源详情页，再切换至顶部「关系图」Tab。

工作范围

工作范围决定了关系图画布中会从数据源中读取并展示哪一组对象。由于不同类型的数据库在物理结构上存在差异，系统会自动识别底层结构，并按以下逻辑动态调整工作范围的划分：

• 存在模式 (Schema)
  • 适用场景：PostgreSQL、SQL Server、Oracle 等包含 Schema 层级的数据库。
  • 工作范围：画布将以当前选中的模式（如 dbo）为范围进行加载，仅展示该模式下启用的表、字段和关系。
• 不存在模式 (Schema)
  • 适用场景：MySQL 等无独立 Schema 层级的数据库。
  • 工作范围：画布将直接以当前选中的数据库为范围进行加载，展示整个数据库下启用的表、字段和关系。

📌 注意：当您在左侧导航树中切换工作范围（选择不同的数据库或模式）后，画布会自动重新加载该范围内启用的所有表、字段和关系。

启用和停用对象

鼠标悬停在数据库、模式、表或字段行上时，行尾会显示启用或停用按钮。 停用后的对象会置灰显示，并且： • 不可被选中 • 不展示在关系图画布中 • 不参与关系图、预览和同步任务

如果停用的是上层对象，例如数据库、schema 或表，其下级对象也会受到影响。停用前请确认该对象是否仍需要参与后续同步任务。

查看关系图画布

关系图画布以卡片形式展示数据表。

每张表卡片包含：

• 表名
• 字段列表
• 字段类型图标
• 字段连接点

字段较多时，表卡片默认只展示部分字段，可展开查看更多字段。

关系连线

关系图中的连线用于直观表达字段与字段之间的关联关系。

连线类型

根据关系的来源与范围，关系连线分为以下三种类型：

连线类型	说明	图例样式
自动识别	由数据库外键自动识别生成。	灰色连线
人工创建	由用户在关系图中手动维护。	蓝色连线
跨模式关联	当表与当前工作范围外的其他模式（Schema）存在关联时展示。	跨模式专属连线

连线规则与业务场景

• 方向与基数：连线带有方向箭头。箭头终点表示该字段关系为1。例如，字段A → 字段B 代表字段A与字段B的关系为多对一。
• 关系与连线对应：一条字段关系对应一条连线。
• 复合外键场景：一个关系可以包含多个字段对。

  💡 示例：在多租户系统中，订单表需要同时通过「租户 ID」和「客户编号」才能唯一确定客户。例如 order(tenant_id, customer_id) 关联 customer(tenant_id, customer_id)。此时，该关系包含两个字段对：

  • 订单.租户ID → 客户.租户ID
  • 订单.客户编号 → 客户.客户编号

  这两条连线共同表达同一个复合外键，确保订单只会关联到同一租户下的客户。

• 多条独立关系场景：两张表之间也可以存在多条不同的独立关系。

  💡 示例：在「员工表」和「部门表」之间，员工的「所属部门」和「审批部门」都指向部门表，但业务含义不同。此时需要分别创建两条独立的关系连线：

  • 员工.所属部门ID → 部门.ID
  • 员工.审批部门ID → 部门.ID

创建自定义关系

用户可以在画布中创建人工关系，用于补充数据库中没有显式外键、但业务上存在关联的表关系。

操作流程

1. 在画布中找到需要建立关系的两张表。
2. 将鼠标悬停到起点表的字段行，界面将显示字段连接点。
3. 从起点字段的连接点按住并拖拽到目标表的对应字段上。
4. 松开鼠标后，系统会自动打开表间关系弹窗。
5. 在弹窗中确认左表、右表、关系类型和字段对配置。
6. 可根据需要填写注释。
7. 点击确认保存关系。

配置规则

• 关系类型：包含多对一、一对一、一对多。新建关系时，系统默认选中多对一。
• 增减字段对（复合外键）：一个关系至少需要配置一组字段对。如果两张表之间存在复合外键，可以点击**+字段**新增字段对。
• 增减独立关系：如果两张表之间需要维护多条不同业务关系，可以点击**+关系**新增独立关系。
• 字段兼容性校验：选择字段时，系统会根据当前左右表展示对应字段。当一侧字段已选中时，另一侧只展示类型兼容的字段候选。此外，同一关系内已被选中过的字段，在同侧其他行中不可重复选择。

编辑和删除关系

点击画布中的关系连线，即可打开对应的表间关系弹窗。不同来源的关系类型具有不同的编辑权限：

关系类型	可编辑内容	删除权限
自动识别关系	仅允许编辑注释（不可修改字段对）。	❌ 不可删除
人工创建关系	可自由编辑关系类型、字段对和注释。	可以删除

注意事项

• 数据源类型限制：Kafka、CSV、JSON、ArgoDB、MongoDB 类型的数据源暂不支持关系图，页面不会展示**「关系图」**入口或 Tab。
• 元数据同步：关系图以当前数据源结构为准。进入页面、切换工作范围或刷新时，系统均会重新读取底层元数据。
• 外键依赖：自动识别的关系完全来自源数据库的外键信息。如果源数据库中没有维护外键，则需要用户手动创建人工关系。
• 非反向写入：人工创建的关系仅用于系统内部理解和可视化展示，绝对不会反向写入到您的源数据库中。
• 状态联动：已被停用的表或字段不会在关系图中展示，亦不会在同步任务中参与配置。

引用

引用页签为您提供该数据源在平台内的影响面分析与血缘追踪看板。在您计划修改数据源配置、变更底层表结构或删除数据源前，建议先通过此页面确认潜在的影响范围。

进入数据源详情页的引用页签，即可直观查看当前数据源正在被哪些同步任务、流转管道或消费消费任务所依赖。