Skip to main content

数据镜像

数据镜像用于将 HAP 应用中的工作表数据同步到外部数据库。通过数据镜像，用户可以把 HAP 中的业务数据沉淀到数据库中，用于报表分析、数据备份、数据仓库建设，或与外部系统集成。

数据镜像任务的配置和使用流程如下：

  • 选择 HAP 组织中的应用作为数据来源
  • 按全部工作表或指定工作表同步
  • 将工作表数据同步到外部数据库
  • 配置表名和字段名命名策略
  • 配置目标表已存在时的处理方式
  • 配置源工作表删除后的目标表处理方式
  • 查看任务运行状态、同步统计和错误日志

数据镜像是单向同步，只会将 HAP 应用数据同步到外部数据库，不会把外部数据库数据反向写回 HAP。

入口​

进入 HDP 后，在左侧导航中选择【同步任务】>【HAP 数据镜像】。页面会展示当前工作空间下的所有 HAP 数据镜像任务。

创建 HAP 数据镜像任务​

点击【新建同步任务】后，在同一页面中完成数据来源、同步范围、目标数据库、同步策略和映射关系确认等配置。

创建任务时，按页面区域依次完成以下配置：

  1. 选择源应用

    选择组织及该组织下的应用，作为数据同步来源。

  2. 设置同步范围

    同步范围支持：

    • 全部工作表：同步当前应用中的所有工作表，并自动包含后续新增的工作表。适合希望持续镜像完整应用数据的场景。
    • 指定工作表：只同步选中的工作表。适合只需要同步部分核心业务表的场景。

    选择指定工作表时，可按应用分组展开工作表，并勾选需要同步的对象。

  3. 选择目标数据库

    选择数据写入目标，包括目标数据源、数据库和 schema。

    如果目标数据库存在 schema，需要选择具体 schema；如果不存在 schema，则只需选择目标数据源和数据库。

    目标数据库账号需要具备建表、写入、更新、删除等权限。权限不足时，可能导致建表失败、写入失败或删除失败。

  4. 配置同步策略

    配置同步到外部数据库后的表名、字段名及相关处理方式。

    命名策略用于决定 HAP 工作表和字段在数据库中的表名、列名：

    • 别名优先：优先使用工作表别名和字段别名作为目标表名、列名。适合希望数据库表结构更易读的场景。
    • ID 优先：优先使用工作表 ID 和字段 ID 作为目标表名、列名。适合希望名称稳定、不受别名调整影响的场景。

    源表删除后的处理方式用于设置 HAP 应用中删除工作表后，目标数据库中的对应表如何处理：

    • 保留：HAP 中删除工作表后，目标数据库中的表仍然保留。
    • 删除：HAP 中删除工作表后，目标数据库中的对应表也会删除。

    配置目标表前缀后，系统会在目标数据库表名前添加统一前缀，便于区分不同来源的同步表。

  5. 查看映射预览并创建任务

    完成源应用、目标数据库和同步策略配置后，页面会展示数据映射预览。

    映射预览包含：

    • 工作表名称
    • 字段名
    • 源字段类型
    • 字段 ID
    • 字段别名
    • 目标表名
    • 目标列名
    • 目标字段类型

    如果目标数据库中已存在即将同步的表名，页面会在映射列表中显示冲突提示。可点击单个工作表右侧的刷新按钮，重新获取该工作表的最新结构。

    确认映射关系无误后，点击【创建任务】。任务创建后会出现在 HAP 数据镜像任务列表中，并进入准备中或运行中状态。

任务状态​

HAP 数据镜像任务包含以下状态：

  • 准备中：任务正在初始化，尚未正式开始同步。
  • 运行中：任务正在正常同步数据。
  • 已停止：任务已停止同步。

如果任务存在严重错误，状态会以红色提示；如果任务存在未处理警告，状态会以黄色提示。

重新同步任务​

已停止的 HAP 数据镜像任务支持重新同步。

点击任务操作菜单中的【重新同步】，会打开预填当前任务配置的弹窗。

重新同步时，以下配置不可修改：

  • 组织
  • 应用
  • 目标数据源
  • 数据库
  • schema
  • 命名策略

以下配置可以修改：

  • 同步范围
  • 目标表已存在时的处理方式
  • 源工作表删除后的目标表处理方式
danger

重新同步会清空目的地所有数据后重新写入。请在操作前确认目标数据库数据已备份，且当前任务配置符合预期。

查看任务监控​

点击任务行或任务操作中的【监控】，可进入任务监控页。监控页用于查看任务配置、同步统计、工作表状态和错误日志。

任务详情中可查看：

  • 源组织和应用
  • 应用跳转链接
  • 同步范围
  • 命名策略
  • 目标表已存在时的处理方式
  • 源工作表删除后的目标表处理方式
  • 已同步新增行数
  • 已同步修改行数
  • 已同步删除行数
  • 同步失败行数
  • 全局错误日志

单表详情区域会展示当前任务中参与同步的工作表。点击某张工作表后，可以查看该表的字段映射、同步状态、数据统计和错误日志。

字段映射区域中的工作表名称旁会显示跳转入口，点击后可在新窗口打开 HAP 应用中的对应工作表。

错误与警告​

数据镜像任务中常见两类异常：

  • 警告：当工作表存在未处理警告时，工作表名称旁会显示黄色提示图标。用户进入该工作表并查看错误日志后，警告会被标记为已读并消失。
  • 严重错误：严重错误不会因查看日志而消失，需要修复问题或重新同步后才能恢复。

常见异常原因包括：

  • 目标数据库账号权限不足
  • 目标表名或字段名冲突
  • 目标数据库连接异常
  • 工作表结构变更后未及时同步
  • 目标数据库不支持对应字段类型

使用提示​

  • 数据镜像只会将 HAP 应用数据同步到外部数据库，不会把外部数据库数据反向写回 HAP。
  • 选择【全部工作表】时，后续新增工作表也会自动纳入同步范围。
  • 选择【指定工作表】时，只同步当前选中的工作表。
  • 如果希望数据库表名和字段名更易读，建议使用【别名优先】。
  • 如果希望数据库表名和字段名保持稳定，建议使用【ID 优先】。
  • 重新同步会清空目的地数据，请谨慎操作。
  • 目标数据库账号权限不足时，可能导致建表、写入或删除失败。

Was this document helpful?