156 lines
23 KiB
Markdown
156 lines
23 KiB
Markdown
# LTJT 生产控制平面
|
||
|
||
这是围绕现有 LTJT 浏览器适配器增加的生产级控制层。它不新增 ERP 业务路线，也不替换 LTJT；它负责把现有任务、解析结果、确认、插件接管、执行回查和审计变成可持久化、可恢复的服务端状态。
|
||
|
||
## 服务边界
|
||
|
||
- PostgreSQL 是任务、事件、幂等、审计和回查状态的唯一事实源。
|
||
- 管理员使用原生账号登录；服务端会话使用 HttpOnly/Secure/SameSite Cookie。
|
||
- 登录会话默认跨浏览器重启持续有效，不按空闲时间或绝对时长自动失效；用户退出、修改密码、账号停用或管理员强制撤销时由服务端立即撤销。
|
||
- 业务页面通过 REST 创建任务；Agent 返回结构化结果后，管理员在选中任务上一次点击“确认并提交到 ERP 插件”，再通过 SSE 或轮询读取服务端状态。
|
||
- 手工与 AgentBus 的每个新任务都会按同一组织、同一 18 项业务路由固化解析策略及配置 revision；来源不能覆盖模式。其中两项名单 route 固定为 `program_only`，其余 16 项可配置 `ai / shadow / auto / program`。全消息中的唯一已登记指令可以确定 route；没有指令时，只有全部标签都属于唯一 route、至少两个不同标签且业务定位必填项完整的字段签名才可确定 route。未知、冲突或多 route 输入不猜测。后续补充轮次沿用原任务快照，设置变化只影响新任务和新会话。
|
||
- 名单 route 创建后先进入 `awaiting_attachment`，只接收一份 `.xls/.xlsx` 14 列模板。附件在内存中失败关闭地规范化为 13 列 canonical TSV；原始工作簿不入库，文件名和 canonical TSV 使用字段加密，解析通过或终止后清除 canonical 中间文本。附件到齐前不会领取解析任务，也不会进入 ERP。独立团初始 16 行、散拼子单初始 31 行仅为 ERP 动态扩行基线，5000 为技术上限。
|
||
- 平台的任务 ID、Agent 会话 ID、确认状态、重要摘要、事件和用户通讯内容只存在于平台任务/会话/结果信封中，不回写到 Agent `operation`，也不成为 ERP 业务字段。
|
||
- Agent `operation` 只保存解析态业务事实。插件领取已确认任务后先做无需 ERP 查询的前门禁，再在 ERP 内只读唯一解析对象、资源和当前状态，最后对内部 execution operation 执行严格写前门禁。
|
||
- Chrome 插件仍在管理员已登录的浏览器/ERP 会话中工作；`chrome.storage.local` 只是临时缓存。
|
||
- `confirmation_export` 先按对象范围选择 ERP 源：独立团/散拼具体子单的游客名单使用 `did+tid`，散拼母团的整团游客信息只使用 `tid`，且母团只开放这一单一文件类型。附件在 `TaskArtifactStore` 写入前按类型处理：游客信息保留原始 ERP `.xls` 作为源归档，同时由平台通过 LibreOffice 生成真实 `.xlsx`；AgentBus/微信只投递 `.xlsx`，若 XLSX 转换失败则阻断外部附件交付。其他类型由平台转换为 PDF，转换失败回退对应 ERP 源文件。生产附件写入 OSS；PostgreSQL 只保存任务归属、文件元数据和 OSS object key。OSS Bucket 按当前生产策略公共可读，但只有后端凭据可写/删；对象 URL 使用随机执行 UUID，不包含客户名或团号。
|
||
- ERP 写入继续遵循预检、管理员确认、单次提交、ERP 回查；不确定结果禁止自动重试。
|
||
- 由于插件不使用独立凭据，执行期间必须保持管理员业务页面和已登录 ERP 浏览器会话可用；页面断开不会触发自动补偿或重复提交。
|
||
- 服务端先创建唯一 ERP execution，再允许页面向插件下发；同一任务只有一个 `erp` attempt。刷新、重连、超时和迟到回执都不能创建第二次执行。
|
||
- 插件回执必须携带服务端 `execution_id` 和领取连接；完成、阻断及待回查状态不可被后续 `running` 回执覆盖。执行租约过期会进入待回查，不会重新入队。
|
||
- Chrome 插件最低兼容版本由正式操作台与根目录发布清单共同门禁。插件包含分段前门禁、ERP 只读唯一解析、严格写前门禁、当前窄生命周期适配、写入前 `write_started` 持久化和写后回查；扩展后台重启后也不会重跑同一任务。本次双轨解析不修改插件执行契约或扩展版本。
|
||
- 渠道 Adapter 由 AgentBus 负责；控制平面只作为 AgentBus Bot 连接到文档中的 WebSocket，不实现微信、个人微信或其他渠道协议。
|
||
- 微信桥接器把正文放在严格的 `New WeChat message` / `Conversation:` / `Text:` 三行传输信封中；AgentBus listener 会在任务快照前只解开这一已知信封，把 `Text:` 同行值及后续行作为业务正文，并在帧没有显式 `conversation_id` 时使用信封中的 `Conversation:` 值。显式字段仍优先；近似、缺失字段或空正文的包装保持原文，不能通过忽略任意未知标签来绕过 Program parser 的失败关闭。
|
||
- 微信侧的 `[WeChat attachment: 文件名]` 只是一段传输占位文字，不代表控制面已经收到文件。若同一帧没有符合契约的 `payload.attachments[]`，listener 会在进入任务服务前失败关闭、保留原名单任务的等待状态，并返回“附件内容未传到平台”；不会把占位文字创建成新业务任务。附件元数据、HTTPS URL、DNS、大小或摘要校验失败时返回对应的安全摘要，仍不回显 URL、文件字节或名单内容。
|
||
- AgentBus 入站消息会复用 `TaskService` 的任务/会话/解析队列，解析完成后通过同一 WebSocket 返回一次 `task.result`。组织级“全自动化”关闭时，手工与 AgentBus 新任务都要求管理员确认；开启后，两种来源的合法解析结果都自动进入 ERP 队列，不再按来源或创建、名单、安排、修改、取消/恢复、导出等业务类型保留人工例外。操作台在 EventSource 建连/重连、30 秒后台刷新以及页面重新可见或聚焦时重新读取数据库权威开关，避免后台变更后按钮仍显示旧值。缺资料、解析失败、歧义、插件校验失败或 ERP 回查不确定时仍会停止，不会绕过校验或重试不确定写入。
|
||
- 一个组织可以维护多个“用户渠道”。渠道代表外部 AgentBus 用户身份，不等同于平台管理员账号；管理员在独立根路径 `/channels` 的“AgentBus 渠道”目录中创建、停用、启用、轮换或删除渠道。删除会停止对应 listener、移除服务端保存的 key 和该渠道尚存的持久化回执；历史任务本体保留，其 `channel_id` 按数据库契约置空。每个渠道独立保存加密后的 AgentBus key，并建立独立 WebSocket listener；列表和日志都不会回显 key。`AGENTBUS_WS_URL`、重连策略和客户端类型仍是全局连接配置，`AGENTBUS_BOT_ADDRESS` 可作为渠道 bot address 的默认值。仍由完整旧环境变量托管的兼容渠道会自动重建，必须先移除环境配置并重启服务，才允许删除其数据库记录。
|
||
- `/history` 支持逐条彻底删除，以及勾选当前页后批量删除。单条使用 `DELETE /api/tasks/:taskId`，批量使用 `POST /api/tasks/bulk-delete`（一次 1–100 个且不能重复）；两者都要求管理员 mutation 会话、same-origin 与 CSRF 门禁。批量删除会在同一数据库事务中按组织锁定并核对全部目标，任一任务不存在或不属于当前组织时整批回滚；成功后任务、生命周期、尝试、会话、附件元数据和 AgentBus 回执按外键级联删除，task-scoped audit/outbox 行显式删除。OSS 附件对象在事务提交后使用已冻结的 storage key 逐一清理，清理异常写入服务日志。对已确认或正在插件流程中的任务，页面会明确警告：停止插件只是尽力而为，已经发生的 ERP 写入及已投递到外部渠道的副本不会因删除平台历史而撤回。
|
||
- 使用数据库渠道时设置 `AGENTBUS_ENABLED=true`；此模式不要求 `AGENTBUS_WS_TOKEN` 或 `AGENTBUS_BOT_ADDRESS`，但启用的渠道仍需要全局 `AGENTBUS_WS_URL`，并可在渠道上覆盖 bot address。保留旧环境变量配置时，服务会按需创建“默认 AgentBus 渠道”兼容旧单渠道部署；`AGENTBUS_ENABLED=auto` 仅由完整的旧环境连接字段自动启用。
|
||
- `user_channels`、`tasks.channel_id` 和 `agentbus_deliveries` 共同保存入站归属、accepted 受理回执和最终 result 回执。回执以 `(channel_id, inbound_frame_id, delivery_kind)` 幂等，发送失败会重试，进程重启或 WebSocket 重连后仍会继续投递；因此不会因为超过原等待时长而丢掉最终回复。
|
||
- ERP 插件领取由组织级数据库锁和 FIFO confirmed 队列统一串行化：同一组织/同一 ERP 浏览器会话在任意时刻最多一个 ERP execution，其他任务留在服务端等待；已开始写入但结果不确定的任务会阻塞后续领取，直到人工回查收敛。
|
||
|
||
## 任务级会话续接
|
||
|
||
- `agent_sessions` 将一个业务任务绑定到一个 Superagent 会话；`agent_session_messages` 加密保存每一轮用户/Agent 消息并使用独立幂等键。
|
||
- 解析缺少可由用户补充的信息时，任务进入 `awaiting_user_input`，不会进入 ERP 或 Chrome 插件执行链。不带业务指令的补充信息通过同一任务重新排队，沿用原会话；新任务始终创建新会话。若 `/api/messages` 的新消息首个非空行命中已知业务指令，则按新任务处理，不会被旧的等待任务或旧会话吸收。
|
||
- 外部渠道或系统集成可使用已认证、CSRF 保护的 `POST /api/messages` 续接任务；操作台在 `awaiting_user_input` 时显示文字补充框，在 `awaiting_attachment` 时显示单文件 `.xls/.xlsx` 补交入口，提交时携带当前 `task_id`。文件字节只保留在浏览器内存到请求完成，不进入 `sessionStorage` 或日志；左侧输入区仍始终代表新任务。全消息中的唯一已登记业务指令会开启新任务；字段签名只为已经确定是新任务的输入选择 route，不会单独改变补充消息的会话归属。任务生命周期日志继续展示缺失信息、Agent 阶段、控制面事件和插件回执，原始 JSON 按事件缩进追加在黑框内：
|
||
|
||
```http
|
||
POST /api/messages
|
||
Content-Type: application/json
|
||
|
||
{
|
||
"message": "补充后的用户信息",
|
||
"task_id": "TASK-...",
|
||
"conversation_id": "channel-user-or-thread",
|
||
"idempotency_key": "..."
|
||
}
|
||
```
|
||
|
||
名单附件补交使用同一接口，正文可以为空：
|
||
|
||
```json
|
||
{
|
||
"message": "",
|
||
"task_id": "TASK-...",
|
||
"attachments": [{
|
||
"name": "passenger-list.xlsx",
|
||
"content_type": "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
|
||
"size": 12345,
|
||
"content_base64": "..."
|
||
}]
|
||
}
|
||
```
|
||
|
||
不带业务指令时，有 `task_id` 才精确续接；没有 `task_id` 时只有同一 `conversation_id` 下唯一一个等待补充任务才会自动匹配，多任务返回 `task_selection_required`，没有待补充任务则创建新任务。首个非空行带已知业务指令时，无论是否携带旧 `task_id`/`conversation_id` 都创建新任务和新会话。普通接口和任务卡不会暴露原始外部 `session_id`。微信接入和线上 Profile 发布属于后续接入工作。
|
||
|
||
## 双轨解析与渐进切换
|
||
|
||
`business-routes.ts` 是 18 项路由的唯一机器注册表，手工与 AgentBus 共用同一个全消息 route resolver 和任务级模式快照；`program-parser.ts` 按“规范化 → 路由 → 字段拆分 → 类型解析 → 业务 builder → 统一 operation 校验”确定性编译输入。AI 和程序结果都经过 `external-agent-client.mjs` 导出的同一最终契约校验；operation Schema、插件执行契约和 ERP 写入逻辑不因解析模式或任务来源改变。
|
||
|
||
两项名单 route 是硬性例外：`allowed_modes=['program']`、`mode_locked=true`，组织设置、紧急全部切 AI 和一次性 AI 重解析都不能覆盖；紧急开关只作用于其余 16 项可配置业务。
|
||
|
||
- `ai`：只运行原 AI 路径；迁移后的设置和历史任务均从该模式开始。
|
||
- `shadow`：AI 是唯一权威结果，程序并行解析；两份候选只加密保存，任务详情只按差异路径解密展示 operation 字段，不公开完整候选或传输元数据。
|
||
- `auto`：程序优先；仅 `program_unsupported_syntax`、`program_unknown_field`、`program_internal_error`、`program_timeout`、`program_contract_invalid` 可整体切到 AI。缺字段、非法值、冲突、歧义、多动作和业务规则阻断不会调用 AI。
|
||
- `program`：只运行程序；失败时追问或阻断，不调用 AI。
|
||
|
||
Auto 一旦发生 AI fallback，任务会永久绑定原 AI 会话。每次解析只有一个完整权威结果，不拼接候选；任务进入确认、插件领取或 ERP 链路后不再自动重解析。尚未进入插件且明确 `no_plugin_dispatch=true / no_erp_write=true` 的解析失败任务，可由管理员授权一次 AI 重解析。
|
||
|
||
操作台根路径 `/parser-routing` 提供逐业务观察统计、即时切换检查、revision 乐观并发控制和事务级“全部切回 AI”。连续天数、任务数量和 fallback 比率不作为等待门槛：18 项已实现业务均可独立进入 Shadow，多个 Shadow 可并行测试且不受固定前序约束；已出现的差异全部判定且本业务程序关键、契约、运行错误为零即可进入 Auto；程序下游失败和上述错误为零即可进入 Program。同一时间最多一个业务处于 Auto，晋级仍只能 `AI → Shadow → Auto → Program` 逐级进行，回退可直接执行。7/30 日统计仅供观察。组织已开启全自动化时，切入 Auto/Program 不增加人工确认期。
|
||
|
||
主要接口：
|
||
|
||
- `GET /api/settings/parser-routing`
|
||
- `PUT /api/settings/parser-routing/:routeId`
|
||
- `POST /api/settings/parser-routing/emergency-ai`
|
||
- `POST /api/tasks/:taskId/reparse`
|
||
- `PUT /api/parser-decisions/:decisionId/review`
|
||
|
||
迁移 `013_business_parser_modes` 增加组织路由设置、任务快照和加密的 `parse_decisions`；迁移 `014_task_input_attachments` 增加名单输入附件元数据、加密 canonical TSV 与 `awaiting_attachment` 索引。原文、完整程序/AI 候选、名单 canonical 中间文本和人工说明使用字段加密保存；统计、审计和日志只使用代码、哈希、字段路径和计数。
|
||
|
||
## AgentBus Bot 接入
|
||
|
||
将 onboarding 文档中的 WebSocket 地址、WebSocket Token、Bot Address 和 Worker Address 写入服务端受保护的环境文件。配置 `AGENTBUS_ENABLED=auto` 时，只要填写 AgentBus 连接字段，控制平面就会自动启动长期监听；保持这些字段为空则不启动监听。
|
||
|
||
每个启用渠道会连接 `AGENTBUS_WS_URL?ready=1`，使用该渠道自己的 `Authorization: Bearer <channel-agentbus-key>`，等待 `session.ready` 后接收普通 `event` 消息。每条入站消息只发送一次持久化受理通知（`task.progress`，`status=accepted`）和一次持久化最终 `task.result`；不再发送解析完成、等待确认或进入 ERP 的中间进度。`GET /health/ready` 和 `GET /api/status` 的 `agentbus.channels` 字段可用于确认每个 listener 与 session 是否建立。
|
||
|
||
对微信来源，listener 在调用 `TaskService.ingestMessage()` 前执行上述严格信封解包，因此手工正文与 AgentBus 正文进入同一个业务 route resolver、任务级 mode snapshot 和 parser orchestrator；`Conversation` 只属于传输路由，不会再污染业务字段签名。
|
||
|
||
AgentBus 全链路日志使用控制平面 stdout/Pino 输出，同时带 `diagnostic_event=agentbus.<agentbus_event>` 与原有 `agentbus_event`。日志覆盖连接尝试、socket 生命周期、session.ready、每个收发帧、帧忽略原因、任务入队、解析队列、持久化回执出队、最终回复和发送错误。名单附件另外记录元数据存在性、DNS 开始/通过、公网地址数量与 IP family、HTTPS 状态、重定向次数、接收字节数、大小/摘要校验和各阶段耗时；不记录 URL、hostname、IP、文件名、附件字节或名单值。开发/测试环境可临时设置 `AGENTBUS_LOG_PAYLOADS=true` 记录最多 2,000 个字符的正文预览，生产环境会拒绝以该值启动。渠道 key、WebSocket Token、Invoke Token 和 Authorization header 永不写入日志。
|
||
|
||
监听器只使用每个渠道的 WebSocket key；文档中的 Invoke Token 仅用于另一服务通过 Function Call API 主动向 Bot 投递任务，本服务的监听链路不会使用它。
|
||
|
||
任务失败时，公共任务响应的 `failure` 字段和最终生命周期事件会同时给出 `error_code`、`failure_stage`、`failure_source`、`failure_message`、`agent_returned`、`plugin_dispatch_started`、`erp_write_started`、`no_plugin_dispatch` 与 `no_erp_write`。因此可以区分“Agent 未返回”“Agent 已返回但契约校验失败”“插件已接管但 ERP 未写入”和“ERP 已写入但回执待回查”等状态，不再只显示笼统的“外部解析失败”。
|
||
|
||
任务响应统一提供 `important_message`，作为“需返回/交互用户的重要消息”出口：`awaiting_user_input` 返回 Superagent 的 `reply`，错误优先返回 ERP 业务反馈、否则返回简短错误摘要，成功且有可验证 ERP 证据时按 [AgentBus 用户回复契约](../agent设计规范/agentbus-reply-contract.md) 生成业务回执。操作台保留完整结构供内部展示，AgentBus `task.result` 发往渠道时携带 `kind`、用户可读 `text` 和符合微信渠道适配器契约的 HTTPS URL-only 附件元数据；不发送 `content_base64` 或后台鉴权下载地址。外部文件投递要求生产附件使用 OSS 存储，且 URL 域名已加入适配器白名单。错误码、执行阶段、回执校验状态、隐藏 ID 和哈希不外发。`awaiting_confirmation` 不进入该栏。没有 `reply` 的 awaiting 结果会在解析阶段转为错误；没有可验证回执的 `completed` 执行会被归类为 `reconciliation_pending`，不会返回成功回执。
|
||
|
||
## 服务端诊断日志
|
||
|
||
控制面、迁移、数据保留、数据库异常和管理员命令都输出一行一个 JSON 的结构化日志。公共字段包括 `time`、`level`、`service`、`environment`、`deployment_revision`、`pid`、`hostname`、`diagnostic_event` 和 `diagnostic_stage`；链路字段按事件提供 `request_id`、`task_id`、`inbound_frame_id`、`conversation_id`、`channel_id`、状态、结果与 `duration_ms`。覆盖范围包括服务启动/关闭、HTTP 开始/完成/拒绝、任务状态事件、数据库 audit event、解析队列和 Worker、AgentBus、附件入口、OSS 清理、数据库连接/回滚以及未捕获进程错误。
|
||
|
||
未知异常只记录受限 `error_code`、`error_name`、稳定的 `error_fingerprint`、errno/syscall 和最多 12 个清理后的代码栈帧；不把第三方异常原文复制进日志。请求 query/body、Cookie、Authorization、CSRF、密码、API key、Token、附件 URL/字节和业务原文不进入生产日志。每个 HTTP 响应返回同一个 `x-request-id`，可直接用于跨开始、错误和完成事件检索。部署时应把 `DEPLOYMENT_REVISION` 设置为当前提交或发布编号，避免不同镜像的日志混淆。
|
||
|
||
Docker Compose 使用 `json-file`，默认每个容器保留 10 个、每个 20 MB 的轮转文件；可在 `.env.production` 用 `LOG_MAX_SIZE` 和 `LOG_MAX_FILES` 调整。服务端只读排障命令会显示容器状态、`/health/ready` 和最近日志，不读取或打印环境文件：
|
||
|
||
```bash
|
||
sh infra/diagnose-server.sh
|
||
sh infra/diagnose-server.sh --since 2h --match TASK-20260830071915-g7INIT0
|
||
sh infra/diagnose-server.sh --since 2h --match roster_attachment_metadata_missing
|
||
sh infra/diagnose-server.sh --since 30m --match request:example:12345678
|
||
sh infra/diagnose-server.sh --since 30m --all-services
|
||
```
|
||
|
||
`--match` 是字面量过滤，可使用 request/task/frame/conversation/channel ID、`diagnostic_event` 或 `error_code`。脚本默认最多读取 1,000 行控制面日志，`--tail` 上限为 50,000，且不在仓库生成日志文件。
|
||
|
||
## 本地命令
|
||
|
||
本地命令会自动读取项目根目录 `.env`，不需要先手动 `export` 环境变量。首次部署或换环境时，只需替换该文件；生产 Docker Compose 使用 `.env.production`。
|
||
|
||
```bash
|
||
npm install
|
||
npm run check
|
||
npm run build
|
||
npm run db:migrate
|
||
ADMIN_USERNAME=admin ADMIN_PASSWORD='replace-with-12-plus-chars' npm run admin -- bootstrap
|
||
npm run data:retention
|
||
npm run dev
|
||
```
|
||
|
||
`npm run dev` 和 `npm start` 会先执行数据库迁移，再启动控制平面；直接运行 `control-plane/src/server.ts` 或构建后的 `server.js` 时，服务也会在启动前检查必需迁移 `014_task_input_attachments`，缺失时拒绝监听端口。`db:migrate` 和管理员初始化需要可连接的 PostgreSQL。开发机没有数据库时，可以运行 `npm run test:control-plane` 完成无数据库静态/健康烟测。
|
||
|
||
`/health/ready` 同时检查 PostgreSQL 可用性和必需 schema 版本；迁移未完成时返回 503，并标明 `required_migration`，避免任务在数据库结构未升级时进入解析队列。
|
||
|
||
## 生产部署
|
||
|
||
1. 复制 `.env.production.example` 为部署机受保护的 `.env.production`，填入 `DEPLOYMENT_REVISION`、PostgreSQL URL、`DATABASE_SCHEMA`、字段加密密钥、外部解析 Key 和 OSS 凭据，并确认 `AGENTBUS_LOG_PAYLOADS=false`。生产数据库可使用现有 PostgreSQL 实例中的新 Schema；迁移程序会创建 Schema，不会触碰其他 Schema 的测试表。
|
||
2. 在正式数据库上线前执行并验证备份：`infra/backup-postgres.sh`。
|
||
3. 使用 `docker compose --env-file .env.production up -d --build` 启动；Compose 会先执行数据库迁移，再启动控制平面。Compose 中的本地 PostgreSQL 仅用于 `--profile local`，生产 `DATABASE_URL` 指向受保护的远程数据库。
|
||
4. 首次启动后在容器内通过 `docker compose exec -e ADMIN_USERNAME=admin -e ADMIN_PASSWORD='replace-with-12-plus-chars' control-plane node .build/control-plane/src/admin-cli.js bootstrap` 创建管理员；不要把密码写入镜像或 Git。
|
||
5. 配置 `infra/Caddyfile` 中的正式域名和 HTTPS，然后在 Chrome 插件中加载对应生产业务页面。
|
||
6. 启动后运行 `sh infra/diagnose-server.sh --since 10m`，确认容器、readiness、`service.listening`、AgentBus session 与当前 `deployment_revision`。
|
||
|
||
正式环境没有独立 staging。上线前必须完成离线测试、迁移预检查和迁移前备份；恢复检查使用 `infra/restore-check.sh` 指向一次性恢复数据库。
|
||
|
||
生产容器中的清理命令为：`docker compose exec control-plane node .build/control-plane/src/retention.js`。当前生产模板默认 `DATA_RETENTION_ENABLED=false`，命令只会返回零删除结果，待正式保留期限确认后再启用。本地开发则使用上面的 `npm run data:retention`。
|