docs: record 500MB upload production verification

2026-07-29 21:58:52 +08:00
parent 0b652a3835
commit 6a6b264f22
4 changed files with 4 additions and 4 deletions
@@ -4,7 +4,7 @@

 ## Unreleased

- **2026-07-29，资料处理中心普通文档/图片单文件上限扩展至 500MB，待发布验证**：管理端批量导入与后端异步队列统一允许文档、图片、视频和 ZIP 单文件 `≤500MB`，沿用生产 Spring/Undertow `500MB/520MB` 传输层配置；ZIP 单个受支持子文件同步放宽至 500MB，仍保留最多 1000 个子文件、解压总量 ≤2GB、禁止嵌套 ZIP 等安全边界。同步 SOP 上传和公司文件不在本次范围，继续保持 100MB。新增前后端契约回归，生产发布与大文件实际解析结果需在发布后补记。
+- **2026-07-29，资料处理中心普通文档/图片单文件 500MB 已发布并完成生产验证**：管理端批量导入、后端异步队列、ZIP 子文件和 Tika 输入流统一允许受支持文件 `≤500MiB`，沿用生产 Spring/Undertow `500MB/520MB` 传输层配置；仍保留 ZIP 最多 1000 个子文件、解压总量 ≤2GB、禁止嵌套 ZIP 等安全边界，同步 SOP 上传和公司文件继续保持 100MB。生产实测发现首个候选虽已放宽页面和队列校验，但 Tika 内仍残留独立 `100MiB` 输入流上限，导致首批队列 `1194/1195` 上传成功后加工失败；补齐解析器上限及回归断言后，11 项定向后端测试和后端生产打包通过。管理端发布前备份整站到 `/opt/wygj/backups/www-20260729213203`，线上 `processing-BjvQ3qpr.js` 与本地产物 SHA-256 均为 `6ace59477519d6c53cbfe207a229518a7e2f7568e05961cfea28d669e1eeb305`，移动 H5 树哈希保持 `ba4aa656d64fc301141280357c204a67141d1e6b2e2a26a0be21c0dd48a25712` 未变。最终后端 JAR SHA-256 为 `be16c229cfc255e4cdf5ec32df047994b54d7d2c31b6c729dde6d949e191e53d`，旧包备份在 `/opt/wygj/backups/backend-20260729214901-5ef5dd484b5d`；整包及内嵌 `ruoyi-aihr-5.6.2.jar` 远近端哈希一致，服务、公开接口、64/64 schema 和生产禁运行时 DDL 预检均通过。已登录生产 Chrome 验收批次 `b-c2560e95-0cf7-46e0-9bdc-7690ea86ffd7` 中，`4、巡检表（事业部颗粒归仓专用）.xlsx`（101.6MB，队列 `1196`、附件 `2036`）完成 5 个片段和 5 个向量，`新员工培训-社区发展中心-社区资源.pptx`（147.9MB，队列 `1197`、附件 `2037`）完成 7 个片段和 7 个向量；两项均显示“已完成/已入库”，数据库片段均含 embedding。资料总数从 1032 增至 1034，目标空间从 22 增至 24 个文件，处理中和需处理均为 0。本次只定向发布后端与管理端，未重发移动 H5、未执行 schema 迁移，不代表当前工作树与线上完整包全部匹配。
 - **2026-07-29，资料处理媒体任务恢复已发布并完成生产验证**：修复历史图片/视频在视觉输入不兼容或未提取到文字时长期停在“等待解析”的问题；图片在送入视觉模型前会按方向纠正、限制像素和体积并统一编码，异步队列只有生成至少一个片段才进入完成态，零片段会保留为可重试失败。新增 `POST /api/knowledge/doc/processing-tasks/{attachmentId}/retry`，可从当前租户原 OSS 对象重新暂存并入队；正式迁移 `aihr_20260729_media_reprocess_mysql8.sql` 增加 `source_attach_id` 和 `(tenant_id, source_attach_id, id)` 索引。生产已备份 schema、后端和完整站点，发布管理端与后端 JAR `5376b67b33b171b5c85e22cd6a2f20bbb0bc527fc50a223603d0aec3f6587bac`，移动 H5 未重发；发布脚本在重启后等待公开端点真实就绪再执行预检，服务为 `active`，根站、租户和移动首页均返回 HTTP 200。原卡住任务 `1133/1175/1308/1405` 从原文件重试为队列 `1185–1188`，四项均完成、各生成一个片段且向量存在；资料处理页显示“待重试 0”、Tika `1028/1028`、可引用资料 `1028`。该证据证明本次资料恢复和定向发布成功，不代表移动 H5 与当前工作树完整匹配，也不替代 Android 真机或正式试点验收。
 - **2026-07-29，新增移动端 UI token 与渲染态审计，未发布静态资源**：`audit:ui-tokens` 以 `mobile-uni/src/styles/base.css` 为源扫描颜色、字阶、间距和圆角，`audit:ui-rendered` 在 390×844 的真实 Chrome 中审计 H5 构建的六个默认路由并保存截图。两项均把报告写入 Git 已忽略的 `output/ui-ux/`；本地实跑覆盖 53 个源码文件和 6 个渲染路由，渲染路由均无横向溢出或控制台错误，同时如实记录现有 palette 外颜色、孤立字号和非 token 圆角，不能把“脚本执行成功”解释为视觉债务已清零。
 - **2026-07-29，移动端固定码认证与身份失败关闭收口，候选升级为 `0.1.13 (113)`，未发布生产**：生产验证只选择已存在 `app_user` 且双向唯一的在职组织主体；固定码请求、登录、非空项目范围、认证首页、训练历史/画像、五通道、我的反馈、大喇叭、考试、案例/全网只读入口、退出、旧令牌拒绝、等待防刷窗口后的再次获取和重新登录全部通过，应用日志确认两次验证码请求均命中“未真实发送短信”分支。脚本不输出手机号、固定码或令牌，不触发自动注册，不提交反馈、训练、附件、ASR/TTS 或 Agent 请求。后端 `/api/aihr/mobile/me` 与认证首页遇到身份缺失、组织查询异常、无在职身份或后台账号时改为失败关闭；前端角色和岗位加载失败清空缓存并展示明确错误，不再回退普通员工、陈旧岗位或公开首页。干净提交 `af8af2f6` 的统一 RC 已达到 `releaseEligible=true`：移动端 199 项、`ruoyi-aihr` 700 项、类型检查、H5/App、管理端构建、后端打包和 APK 深检全部通过，证据在 `output/aug1-rc/0.1.13-113-af8af2f6-frozen/`。DCloud 云端证书 APK 大小 `33,921,543` 字节、SHA-256 `FA2D2A6DC84AE759714E6D16D146C1E1552A0F3F53C046069422012361D1D0C0`，API 35、v2 测试签名、禁止明文 HTTP、包内业务资源/登录法务/身份失败关闭和敏感值深检通过；候选后端 JAR SHA-256 为 `93AD272118F6A28F88C2BFA305F5C450E163CBE22577FF5BE3E85B3BD3958DAD`，生产只读发布计划通过，现网仍为 `46C99CFF…`。当前双提交交付包 `bangdao-aug1-0.1.13-113-af8af2f6-ops46f4616b.zip` 大小 `192,948,093` 字节、SHA-256 `F6DF4AB2660A4D3523C7E9785C1F8B572770F1F795A841E2D95C88936A8AE9C0`，20 个条目及内部哈希逐项通过；严格门禁会校验固定码模式、5/5 场景、30/30 问题证据、五类负责人签认、每个直通角色至少两名有效处理人、生产场景版本/哈希、五通道正向授权/越权拒绝/一次正式回复，以及受控分发、法务例外和测试签名接受。包内 Go/No-Go 已指向当前包，旧 `ops9c53668c` ZIP 只作历史追溯。机器签认当前准确保持正式场景 `0/5`、问题证据 `0/30`、通道验收 `0/5`、负责人签认 `0/5`、受控分发 `PENDING`，五个处理角色有效绑定均为 `0`。本项未发布后端、H5、数据库或生产静态资源；固定码、登录和重新登录不再列为功能缺口。
@@ -129,7 +129,7 @@ SOP 文档上传第三片已经落最小后端边界：
 | 解析状态聚合 | `GET /api/knowledge/processing/overview` | 聚合 `aihr_knowledge_attach.status`、fragment 数、embedding 数、`sys_oss.ext1.fileSize`，生成资料处理页指标、分类、任务、链路和事件列表 |
 | 服务端目录导入（运维） | `POST /api/knowledge/doc/import-local` | JSON `{ directory, category, limit }`；`directory` 只能是 `AIHR_IMPORT_ROOT` / `aihr.import.root` 下的相对目录，默认根目录为 `./.data/import`；逐文件复用上传解析链路，同步执行，仅保留给运维/调试，不在资料处理页暴露 |
 | 服务端导入任务（运维） | `POST /api/knowledge/doc/import-local-task`、`GET /api/knowledge/doc/import-tasks`、`POST /api/knowledge/doc/import-tasks/{id}/cancel` | 启动后台目录导入并返回任务；任务写入 `aihr_knowledge_import_task`，调用方可查询总数、成功数、失败数、当前文件和进度，运行中任务可取消；仅保留给运维/调试，不在资料处理页暴露 |
-| 批量异步上传 | `POST /api/knowledge/doc/upload-async`（multipart `file`+`category`+`batchId`）、`GET /api/knowledge/doc/upload-items?batchId=`、`POST /api/knowledge/doc/upload-items/{id}/retry`、`POST /api/knowledge/doc/processing-tasks/{attachmentId}/retry` | 上传只做暂存（`aihr.upload.staging`，默认 `./.data/staging`）+ 写入 `aihr_knowledge_upload_item`（0待处理/1处理中/2完成/3失败）即返回；`source_attach_id` 记录从原 OSS 重试的附件。文档、图片、视频和 ZIP 单文件均 ≤500MB，生产 Spring/Undertow multipart 上限为单文件 500MB、请求 520MB；worker 限制最多 1000 个 ZIP 子文件、单个受支持子文件 ≤500MB、解压总量 ≤2GB，拒绝嵌套 ZIP/不安全路径并忽略未知格式；ZIP 文件名优先按 UTF-8 解码，旧版中文 Windows ZIP 自动回退 GBK；同名子文件自动追加编号并以单条批量写入入队；只有片段数大于 0 才记为完成并删除暂存文件，零片段或安全媒体错误保持失败态供重试；卡住 30 分钟（视频 120 分钟）由清扫重置，失败暂存文件保留 72h；同步接口 `POST /api/knowledge/doc/upload` 不支持 ZIP，保留给 SOP 页单文件即时预览且仍按 100MB 契约执行 |
+| 批量异步上传 | `POST /api/knowledge/doc/upload-async`（multipart `file`+`category`+`batchId`）、`GET /api/knowledge/doc/upload-items?batchId=`、`POST /api/knowledge/doc/upload-items/{id}/retry`、`POST /api/knowledge/doc/processing-tasks/{attachmentId}/retry` | 上传只做暂存（`aihr.upload.staging`，默认 `./.data/staging`）+ 写入 `aihr_knowledge_upload_item`（0待处理/1处理中/2完成/3失败）即返回；`source_attach_id` 记录从原 OSS 重试的附件。文档、图片、视频和 ZIP 单文件均 ≤500MB，生产 Spring/Undertow multipart 上限为单文件 500MB、请求 520MB，Tika 文档输入流上限同步为 500MiB；worker 限制最多 1000 个 ZIP 子文件、单个受支持子文件 ≤500MB、解压总量 ≤2GB，拒绝嵌套 ZIP/不安全路径并忽略未知格式；ZIP 文件名优先按 UTF-8 解码，旧版中文 Windows ZIP 自动回退 GBK；同名子文件自动追加编号并以单条批量写入入队；只有片段数大于 0 才记为完成并删除暂存文件，零片段或安全媒体错误保持失败态供重试；卡住 30 分钟（视频 120 分钟）由清扫重置，失败暂存文件保留 72h；同步接口 `POST /api/knowledge/doc/upload` 不支持 ZIP，保留给 SOP 页单文件即时预览且仍按 100MB 契约执行 |
 | 视频解析 | 走批量异步上传，支持 `.mp4/.mov/.avi/.mkv/.webm/.m4v`，单文件 ≤500MB、时长 ≤60 分钟 | 依赖服务器 ffmpeg/ffprobe；抽音轨按 5 分钟分段调 asr 模型转写（`[mm:ss]` 时间戳），按 30s 间隔（≤40 帧）抽关键帧调 vision 模型提取画面文字（相邻重复画面去重）；两类文本合并后走归类/切片/向量化；无音轨、ASR 无文本且 vision 无结果时以 `MEDIA_NO_TEXT` 进入可重试失败态，不冒充仍在排队；视频同时只加工 1 个 |

 模型能力第二片已经落最小后端边界：
@@ -22,7 +22,7 @@

 资料处理中心当前发布约束：

- 异步批量上传的文档、图片、视频和 ZIP 统一为单文件 `≤500MB`，需要管理端校验和后端 `AihrUploadQueueService` 同批发布；
+- 2026-07-29 已将异步批量上传的文档、图片、视频和 ZIP 统一为单文件 `≤500MB`，管理端校验、后端 `AihrUploadQueueService` 和 Tika `500MiB` 输入流上限已同批发布并用 101.6MB XLSX、147.9MB PPTX 完成生产解析与向量入库验证；
 - 生产 Spring/Undertow 继续保持单文件 `500MB`、单请求 `520MB`，无须进一步放大传输层；
 - 同步 SOP 上传和公司文件不属于本次范围，继续保持 `100MB`。

@@ -255,7 +255,7 @@ docker compose -f docker-compose.dev.yml stop
 - 本地组织 seed 带演示手机号；从 `aihr_org_snapshot` 按角色查询测试账号，分别验证员工端岗位识别和主管端项目范围，不在文档保存具体号码
 - 生产移动端回归同样由执行者从 `aihr_org_snapshot` 只读选择账号，不等待人工提供手机号：限定目标岗位、`employment_status='active'`、11 位 `person_phone`，并确认手机号与 `ext_party_id` 双向唯一。账号值只注入当前浏览器进程，不输出到终端、截图、报告或仓库。试点固定码开启时，登录顺序仍为先请求 `/resource/sms/code`、再提交固定码；直接提交固定码会得到 `Captcha invalid`，不应误判为账号或功能故障。
 - SOP 知识库支持 `.txt/.md/.markdown/.pdf/.doc/.docx/.xls/.xlsx/.ppt/.pptx` 上传到 MinIO 后解析入库，接口为 `POST /api/knowledge/doc/upload`，单文件上限 100MB；管理端上传请求单独放宽到 180s，PDF 解析/归类/向量化较慢时不要改全局 axios 超时。
- 资料处理中心异步接口支持文档、图片、视频和 `.zip` 单文件 ≤500MB；生产 Spring/Undertow multipart 配置必须保持 `max-file-size=500MB`、`max-request-size=520MB`（源文件 `backend/ruoyi-admin/src/main/resources/application-prod.yml`，线上外置 `/opt/wygj/config/application-prod.yml`），修改后重启 `wygj-aihr.service`。ZIP 最多 1000 个子文件、单个受支持子文件 ≤500MB、解压总量 ≤2GB，不支持嵌套 ZIP。同步 SOP 上传和公司文件仍按各自的 100MB 契约执行。
+- 资料处理中心异步接口支持文档、图片、视频和 `.zip` 单文件 ≤500MB；生产 Spring/Undertow multipart 配置必须保持 `max-file-size=500MB`、`max-request-size=520MB`（源文件 `backend/ruoyi-admin/src/main/resources/application-prod.yml`，线上外置 `/opt/wygj/config/application-prod.yml`），`TikaKnowledgeDocumentParser.MAX_INPUT_BYTES` 必须同步保持 500MiB，修改后重启 `wygj-aihr.service`。ZIP 最多 1000 个子文件、单个受支持子文件 ≤500MB、解压总量 ≤2GB，不支持嵌套 ZIP。同步 SOP 上传和公司文件仍按各自的 100MB 契约执行。
 - 视频（`.mp4/.mov/.avi/.mkv/.webm/.m4v`，≤500MB、≤60 分钟）只走资料处理中心批量导入（异步队列）：ffmpeg 抽音轨分段调 asr 转写 + 抽关键帧调 vision 提取画面文字，合并后归类切片入库，片段带 `[mm:ss]` 时间戳；**依赖服务器安装 ffmpeg/ffprobe**（macOS `brew install ffmpeg`，Linux `apt install ffmpeg`）
 - 服务端目录导入接口为 `POST /api/knowledge/doc/import-local-task`，只读取导入根目录下的相对目录，后台逐文件复用同一上传解析链路；`POST /api/knowledge/doc/import-tasks/{id}/cancel` 可取消运行中任务；`POST /api/knowledge/doc/import-local` 保留为同步调试接口。这组接口仅供运维/调试，不在资料处理页提供入口。
 - 启用 `aihr_model_config.category='vector'` 的模型配置后，上传会同步写入片段 embedding，并尽力 upsert 到 Qdrant；模型配置页可查看 Qdrant 维度、点数和片段向量数，并在维度不一致时重建索引；未配置或 Qdrant 不可用时只走 MySQL Fulltext/seed fallback，不影响检索。