xuelong/Cloud-Tour-to-Libo
0
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
ca2bc5f58309ed92a590e2a31ea1621f95e8ebc6
Cloud-Tour-to-Libo/docs/data-center-mysql-interface-center.md
T

8.2 KiB
Raw Blame History

数据中心 MySQL 与接口中心部署说明

已确定的系统边界

  • PostgreSQL：继续保存账号、权限、图谱项目与 Schema 等系统元数据。
  • FalkorDB：继续保存已发布知识图谱节点和关系。
  • MySQL：只负责“数据中心”的关系型业务数据。
  • 接口中心当前页面只管理 DBeaver 管理接入：选择数据库、签发个人密钥与账号、查看状态和撤销权限。
  • DBeaver：仅供受信任的数据管理员通过专用 SSH 隧道管理 MySQL，使用独立 MySQL 用户和 GRANT 权限；不复用接口密钥，也不公开 MySQL 端口。
  • SQL 控制台：生产默认只读；写入通过数据表页面执行，以保留记录级变更历史，物理删除始终禁止。

每个数据中心数据库都是真实 MySQL Database：中文名称只用于页面显示，英文数据库编码直接作为物理 MySQL 数据库名。前端数据中心的现有 URL、布局和 /v1/admin/data-platform/* 契约保持不变。

配置

关键环境变量：

DATA_MYSQL_URL=mysql://data_center:strong-password@mysql:3306/platform_control
DATA_MYSQL_REQUIRED=true
DATA_MYSQL_POOL_MIN_SIZE=2
DATA_MYSQL_POOL_MAX_SIZE=20
INTERFACE_API_SECRET=another-long-random-secret
DATA_MYSQL_DIRECT_ACCESS_ENABLED=true
MYSQL_HOST_BIND=127.0.0.1
MYSQL_PORT=3307
DATA_MYSQL_DIRECT_TRANSPORT=SSH 隧道（强制）
DATA_MYSQL_SSH_TUNNEL_REQUIRED=true
DATA_MYSQL_SSH_HOST=server.example.com
DATA_MYSQL_SSH_PORT=2222
DATA_MYSQL_SSH_BIND=127.0.0.1
DATA_MYSQL_SSH_USERNAME=dbeaver
DATA_MYSQL_SSH_AUTH_METHOD=SSH 私钥 / SSH Agent
DATA_MYSQL_MANAGED_ACCESS_ENABLED=true
DATA_MYSQL_SSH_AUTHORIZED_KEYS_FILE=/var/lib/travel-kg/dbeaver-access/authorized_keys
DATA_MYSQL_SSH_HOST_PUBLIC_KEY_FILE=/var/lib/travel-kg/dbeaver-access/ssh_host_ed25519_key.pub
MYSQL_ACCESS_BROKER_USER=access_broker
MYSQL_ACCESS_BROKER_PASSWORD=至少24位独立随机字符串
DATA_MYSQL_ADMIN_HOST=127.0.0.1
DATA_MYSQL_ADMIN_PORT=3307
DATA_MYSQL_ADMIN_ACCOUNT_POLICY=一人一号 · 单库授权 · 禁止 root
DATA_MYSQL_AUDIT_ENABLED=false
DATA_SQL_CONSOLE_WRITE_ENABLED=false
MYSQL_STORAGE_MOUNT=/mnt/sdr
MYSQL_STORAGE_ID=prod-mysql-storage-2026-001
MYSQL_DATA_DIR=/mnt/sdr/nianxx/mysql
DATA_BACKUP_ROOT=/mnt/backup/nianxx/mysql
DATA_BACKUP_RETENTION_DAYS=30
DATA_BACKUP_PASSPHRASE_FILE=/etc/travel-kg/secrets/mysql-backup-passphrase
DATA_BACKUP_ENABLED=false

MYSQL_HOST_BIND 在生产环境必须保持 127.0.0.1。远程电脑访问的是专用 SSH 网关端口，不是 MySQL 端口。DATA_MYSQL_SSH_BIND=127.0.0.1 只支持服务器本机 测试；服务器上线后可设置为服务器内网地址，或设置为 0.0.0.0 并在安全组/防火墙 中仅放行管理员固定 IP 或 VPN 网段。只有数据库审计真实启用后，才把 DATA_MYSQL_AUDIT_ENABLED 改成 true。

access_broker 是仅供接口中心签发/撤销个人 MySQL 账号的独立服务账号。普通 data_center 账号不持有 CREATE USER 或 GRANT OPTION，两者密码不得相同。

应用会记录 API 调用、记录新增/修改/软删除以及 SQL 控制台的成功、失败和拒绝 事件；SQL 审计只保存语句 SHA-256，不保存可能包含敏感值的原文。DBeaver 绕过 应用，因此仍必须由数据库审计能力单独留痕，未完成前不得开放长期写权限。

生产 MySQL 数据目录绑定到服务器独立块存储，不使用项目目录或普通 Docker named volume。Compose 启动前会核对独立磁盘身份标识、目录写权限和已有 MySQL 数据结构； 挂载丢失或路径错误时直接停止，不会初始化一个看似正常的空库。准备磁盘、迁移旧卷、 安装每日加密备份的完整流程见 docs/DEPLOYMENT.md。

生产 MySQL 开启 ROW Binlog、sync_binlog=1 与 innodb_flush_log_at_trx_commit=1，用于时间点恢复与事务落盘；加密备份脚本和 恢复要求见 docs/DEPLOYMENT.md。

platform_control 保存数据库目录、表定义、数据审计、接口客户端、密钥哈希、权限策略与接口调用日志。完整接口密钥不会保存，只保存带服务端 pepper 的 HMAC-SHA256 哈希。

首次部署

docker compose -f docker-compose.yml -f docker-compose.server.yml up -d --build mysql dbeaver-gateway api

已有 MySQL 数据卷不会重新运行初始化脚本。升级既有部署后执行一次：

./scripts/enable_managed_dbeaver_access.sh

接口中心页面：/admin/system/interfaces。

页面以“服务器被访问”为方向：为受信任的数据管理员生成个人 SSH 密钥、独立 MySQL 账号和最小权限。接口中心不会主动连接外部数据库，也不在这个页面混入 HTTPS API 客户端、接口策略或调用日志等其他管理流程。

DBeaver 安全连接

DBeaver 不使用 URL 模式直接填写服务器公网地址。按两组参数配置：

  1. 在接口中心选择数据库、管理员姓名和“只读/读写”，点击“生成 DBeaver 接入”；
  2. 私钥由浏览器本地生成，平台只接收公钥。立即下载私钥并保存一次性 MySQL 密码；
  3. SSH 标签页：Host/IP=服务器域名、Port=2222、User Name=dbeaver、认证方式选择 Public Key 并选择刚下载的私钥；不要启用 Bypass host verification，首次连接提示的 SSH 主机指纹必须与接口中心一致；
  4. Main 标签页：Server Host=127.0.0.1、Port=3307、Database=获授权数据库编码，填写生成的个人 MySQL 用户名和密码；
  5. 关闭 Show all databases；默认只授予查询权限，读写权限也不包含建库、建表、ALTER、DROP 或给他人授权。

接口中心可以直接撤销管理接入，撤销会同时删除个人 MySQL 账号和 SSH 公钥。 服务器脚本保留为故障处理备用方式：

./scripts/mysql_admin_account.sh create zhangsan tourism_data read
./scripts/mysql_admin_account.sh create lisi tourism_data write
./scripts/mysql_admin_account.sh revoke zhangsan

脚本只授予指定数据库权限：read 为 SELECT/SHOW VIEW，write 额外包含 INSERT/UPDATE/DELETE，不授予建库、删库、授权、文件或系统库权限；账号连续 失败 5 次锁定一天，密码 90 天过期。MySQL 端口仍必须绑定回环地址，账号的 '%' 主机范围不能替代网络隔离。

完整私钥和 MySQL 密码只在生成成功时显示一次，服务器不保存私钥，也不保存可恢复 的 MySQL 密码。专用 SSH 账号被禁止终端、PTY、SFTP、Agent/X11 转发，只允许将 连接转发到 127.0.0.1:3307。服务器安全组只允许受控来源访问 HTTPS 与专用 SSH 端口，不开放 3307。

本地模拟服务器连接时使用：

DATA_MYSQL_SSH_HOST=localhost
DATA_MYSQL_SSH_BIND=127.0.0.1
DATA_MYSQL_SSH_PORT=2222

服务器部署后把 DATA_MYSQL_SSH_HOST 改为服务器域名；若管理员电脑不在同一内网， 还必须把 DATA_MYSQL_SSH_BIND 绑定到可达网卡，并用防火墙限定管理员来源 IP。

迁移旧数据中心

先预览，不写入：

python3 scripts/migrate_data_center_postgres_to_mysql.py

确认计划后执行：

python3 scripts/migrate_data_center_postgres_to_mysql.py --execute

如果目标 MySQL 中已存在同编码数据库，脚本默认拒绝覆盖。只有确认目标可以重建时才使用：

python3 scripts/migrate_data_center_postgres_to_mysql.py --execute --replace-target

迁移会保留记录 UUID、创建/更新时间、软删除状态和数据变更审计，从而避免实体引用失效；不会修改 PostgreSQL 源数据，也不会操作 FalkorDB 或知识图谱。

预留的数据接口权限模型

以下后端能力为后续 HTTPS 数据接口预留，当前 DBeaver 管理接入页面不显示：

一条接口策略包含：

  1. 客户端（电脑、应用、合作方或设备）；
  2. 数据库；
  3. 数据表或全部表；
  4. metadata/read/create/update/delete 动作；
  5. 可读字段与可写字段；
  6. 可选的行级 JSON 范围，例如 {"district":"荔波县"}；
  7. 启用/停用状态。

接口客户端无法访问 platform_control、MySQL 系统库或其他业务数据库，也不能通过 API 执行 SQL。每次接口调用都会记录客户端、动作、资源范围、状态码、耗时和来源 IP。

Reference in new issue View Git Blame Copy Permalink