docs: sync mobile voice release notes
This commit is contained in:
@@ -35,6 +35,11 @@
|
||||
- 验证码接口：`http://127.0.0.1:5173/dev-api/auth/code`
|
||||
- 默认登录：租户 `000000`，管理员 `admin / admin123`。
|
||||
|
||||
## 发布口径
|
||||
|
||||
- 线上移动端 H5：`https://peilian.njzhmj.top/h5/user`，Caddy 服务 `/opt/wygj/www/h5`。
|
||||
- 只发布移动端静态资源时，用 `VITE_BASE=/h5/ npm --prefix mobile run build` 后备份远端 `/opt/wygj/www/h5`，再 `rsync -az --delete mobile/dist/ YCWY:/opt/wygj/www/h5/`；前端静态修复不需要重启后端。
|
||||
|
||||
## 品牌入口
|
||||
|
||||
- 页面标题在 `frontend/.env.development` 与 `frontend/.env.production`。
|
||||
@@ -56,7 +61,7 @@
|
||||
- 移动端员工训练闭环：员工端首页“开始训练”复用 `POST /api/train/practice/start`、`/turn`、`/finish`，请求必须带移动端登录返回的 `Authorization` 与 `clientid`；`mode=mobile` 完成后写入 `aihr_practice_session`，并更新主管端首页完训率、“待复盘对练”、员工训练历史和能力画像。主管端复盘详情查 `GET /api/aihr/mobile/practice/reviews/{id}`，标记复盘用 `POST /api/aihr/mobile/practice/reviews/{id}/reviewed`。
|
||||
- 移动端候选人闭环：候选人端“开始面试/面试练习”复用 `POST /api/recruit/interview/start`、`/answer`、`/finish`；“补充资料”走认证接口 `POST /api/aihr/mobile/candidate/materials`（multipart `file` + `candidateId/candidateName/materialType`）和 `GET /api/aihr/mobile/candidate/materials`，文件先写 `sys_oss`/MinIO，再写 `aihr_candidate_material` 状态 `待审核`。HR 审核复用管理端 `/recruit/interview` 页，接口为 `GET /api/aihr/hr/candidate/materials` 和 `POST /api/aihr/hr/candidate/materials/{id}/review`，状态只用 `待审核/已通过/已驳回`。上传接口不要放进 class-level `@SaIgnore` 的 `AihrMobileController`。
|
||||
- 当前业务页已跑通可演示闭环；后端 API 对接先看 `docs/API_INTEGRATION.md`。三角色对练 `/turn`/`/finish` 已接真 LLM（`AihrPracticeLlmService`，评分 temperature=0 结构化输出），seed 剧本是剧情锚点与兜底，改对练逻辑时必须保留"未配置/失败回退 seed"的降级链，不要让演示依赖外部 API。
|
||||
- 对练语音走 `POST /api/ai/asr`（≤5MB multipart）和 `POST /api/ai/tts`（文本≤300字，返回 base64 dataURL）；模型走 `aihr_model_config` 的 `asr`/`tts` 类目（`category` 全集：chat/vector/rerank/asr/tts/vision）。multipart 头部的 filename/contentType 已做 CRLF 清洗，新增外发 HTTP 时同样注意。
|
||||
- 对练语音走 `POST /api/ai/asr`（≤5MB multipart）和 `POST /api/ai/tts`（文本≤300字，返回 base64 dataURL）；模型走 `aihr_model_config` 的 `asr`/`tts` 类目（`category` 全集：chat/vector/rerank/asr/tts/vision）。移动端 `getUserMedia/MediaRecorder` 不可用或麦克风权限失败时，用隐藏 `audio/*` file input 选择/录制音频后继续走同一 ASR 接口，不要退回只有文字输入。multipart 头部的 filename/contentType 已做 CRLF 清洗，新增外发 HTTP 时同样注意。
|
||||
- 后端业务代码不要塞进上游 `ruoyi-demo`；自有 API 放在 `backend/ruoyi-modules/ruoyi-aihr`，再接入 `ruoyi-admin`。
|
||||
- AI 面试页、三角色对练页、案例沉淀页、SOP 知识库页和移动端三端首页已是 API 优先 + 本地 fallback；SOP 知识库优先查 `aihr_knowledge_fragment` 的 MySQL Fulltext，vector 模型和 Qdrant 可用时混合召回，`category=rerank` 模型启用时融合后语义重排（失败保持 RRF 顺序）；支持 `.txt/.md/.markdown/.pdf/.doc/.docx/.xls/.xlsx/.ppt/.pptx`、图片 `.jpg/.jpeg/.png/.gif/.webp/.bmp` 及视频 `.mp4/.mov/.avi/.mkv/.webm/.m4v` 上传解析入库。
|
||||
- 浏览器批量上传走异步队列 `POST /api/knowledge/doc/upload-async`（暂存目录 `aihr.upload.staging` 默认 `./.data/staging`，队列表 `aihr_knowledge_upload_item`，单文件重试）；同步接口 `POST /api/knowledge/doc/upload` 只留给 SOP 页单文件即时预览，**不要把重加工逻辑加回同步请求线程**。视频（≤500MB/≤60分钟）只走异步队列，依赖服务器安装 ffmpeg/ffprobe。
|
||||
|
||||
@@ -8,7 +8,7 @@
|
||||
|---|---|---|
|
||||
| AI面试 `/recruit/interview` | `POST /api/recruit/interview/start`、`/answer`、`/finish` | 已接入真实模型优先链路：配置 chat 模型后 `/start` 动态生成面试题，`/finish` 按前端提交的真实回答做结构化评分；未配置模型时使用本地 Rubric 估分，不返回固定候选人分数 |
|
||||
| 三角色对练 `/train/practice` | `POST /api/train/practice/start`、`/turn`、`/finish` | 已接入编排 API；数据库启用 chat 模型后，`/turn` 客户回复按人设走真 LLM 生成（seed 剧本作剧情锚点），`/finish` 走单次 temperature=0 结构化评分（4 维分+导师改写+点评）；模型未配置或调用失败自动回退 seed，契约不变 |
|
||||
| 对练语音 | `POST /api/ai/asr`（multipart 字段 `file`，≤5MB）、`POST /api/ai/tts`（JSON `{text≤300字, voice}`，返回 `{audioUrl}` base64 dataURL） | 走 OpenAI-compatible audio 接口（如硅基流动 SenseVoice/CosyVoice2）；模型管理需启用 `category=asr/tts` 配置；未配置或失败返回 fail，前端降级文本 |
|
||||
| 对练语音 | `POST /api/ai/asr`（multipart 字段 `file`，≤5MB）、`POST /api/ai/tts`（JSON `{text≤300字, voice}`，返回 `{audioUrl}` base64 dataURL） | 走 OpenAI-compatible audio 接口（如硅基流动 SenseVoice/CosyVoice2）；模型管理需启用 `category=asr/tts` 配置；移动端优先用浏览器录音，`getUserMedia/MediaRecorder` 不可用或麦克风权限失败时，用 `audio/*` file input 选择/录制音频后继续调同一 ASR 接口；ASR/TTS 未配置或失败返回 fail，前端降级文本 |
|
||||
| 案例沉淀 `/knowledge/cases` | `POST /api/knowledge/case/upload`、`/organize`、`/curate` | `/upload` 改为 multipart 真实语音上传并走 ASR；`/organize` 用真实转写调 chat 模型整理案例，未配置模型时按真实 transcript 本地结构化；不再用固定样例转写冒充成功 |
|
||||
| SOP知识库 `/knowledge/sop` | `POST /api/knowledge/search`、`POST /api/knowledge/doc/upload` | 已接入 MySQL Fulltext + Qdrant 混合召回、OSS-first 文档上传、txt/md/PDF/Word/Excel/PPT 解析和 embedding 写入，失败回退 seed |
|
||||
| 资料处理 `/knowledge/processing` | `GET /api/knowledge/processing/overview`、`POST /api/knowledge/doc/upload-async`、`GET /api/knowledge/doc/upload-items`、`POST /api/knowledge/doc/upload-items/{id}/retry`、`POST /api/knowledge/doc/import-local-task`、`GET /api/knowledge/doc/import-tasks`、`POST /api/knowledge/doc/import-tasks/{id}/cancel` | 已接入解析任务状态聚合；**批量上传走异步队列**：接口只暂存+入队即秒回，后台 worker（并发 2）逐条解析/归类/向量化，页面按批次轮询进度、失败可单文件重试；服务端目录导入、进度轮询和任务取消保留，失败回退 seed |
|
||||
@@ -101,7 +101,7 @@ Qdrant 本地默认值可不配；需要覆盖时用 JVM property 或环境变
|
||||
- 资料处理页面：`frontend/src/views/knowledge/processing.vue`
|
||||
- 模型配置 API 文件：`frontend/src/api/aihr/model.ts`
|
||||
- 模型配置页面：`frontend/src/views/system/model/index.vue`
|
||||
- 移动端独立工程：`mobile/src/App.vue`，路由 `/h5/user`、`/h5/candidate`、`/h5/supervisor`；当前三端首页已按高保真原型实现，未登录先走手机号短信登录，登录后 API 优先请求 `/api/aihr/mobile/home/{role}`，不复用后台页面路由。
|
||||
- 移动端独立工程：`mobile/src/App.vue`，路由 `/h5/user`、`/h5/candidate`、`/h5/supervisor`；当前三端首页已按高保真原型实现，未登录先走手机号短信登录，登录后 API 优先请求 `/api/aihr/mobile/home/{role}`，不复用后台页面路由。语音输入不要新增移动端专用接口，浏览器录音和文件选择兜底都复用 `/api/ai/asr`。
|
||||
- 员工端训练：任务卡“开始训练”复用管理端三角色对练 API，完成两轮后展示评分和导师改写；记录写入 `aihr_practice_session`，员工端展示训练历史和能力画像，主管端展示待复盘列表，点进单条可看评分、话术、导师改写，并可标记“已复盘”。
|
||||
- 候选人端：`/h5/candidate` 的“开始面试/面试练习”复用 AI 面试 API；“补充资料”走候选资料上传接口，成功后展示 OSS ID、资料类型和审核状态。管理端 `/recruit/interview` 底部展示“候选资料审核”，支持通过/驳回。
|
||||
- 演示 fallback 只作为未配置模型或外部接口异常时的降级，不作为真实测试通过证据。
|
||||
|
||||
@@ -15,7 +15,7 @@
|
||||
| 顺序 | 页面 | 点击路径 | 必须看到 |
|
||||
|---|---|---|---|
|
||||
| 1 | 首页 `/index` | 打开首页 | 只展示“首页 / AI面试 / 三角色对练 / 案例沉淀 / SOP知识库 / 资料处理 / 系统设置-模型配置” |
|
||||
| 2 | 移动端三端 `http://127.0.0.1:5174/h5/user`、`/h5/candidate`、`/h5/supervisor` | 打开后先手机号登录；已配置 `AIHR_SMS_LOGIN_TEMPLATE_ID` 时可真实收短信，新手机号会自动注册；员工端首页为「今天要学/练完要复盘/工作中要用/碰到问题要报/我的成长」五个情境区，点“开始训练”完成两轮提交，再打开主管端；点「遇到问题，问一句」可文本/语音查 SOP 并看到引用片段；候选人端点“开始面试/面试练习”和“补充资料”；管理端 `/recruit/interview` 审核候选资料 | 员工端显示评分、“训练完成，主管端待复盘已更新”、训练历史和能力画像；底部 tab 为整页切换（首页/训练/知识/我的互斥渲染、切换回顶）；未实现入口点击弹「本期演示未开放」toast，无死按钮；主管端完训人数、“待复盘对练”计数和待复盘列表增加；点进待复盘记录可看评分、话术、导师改写，并可标记已复盘；候选人端可拉题/答题/评分，资料上传后显示“已提交资料”、`OSS ...`、`待审核`；HR 审核后候选人端显示 `已通过/已驳回`；接口不可用时走本地 fallback |
|
||||
| 2 | 移动端三端 `http://127.0.0.1:5174/h5/user`、`/h5/candidate`、`/h5/supervisor` | 打开后先手机号登录；已配置 `AIHR_SMS_LOGIN_TEMPLATE_ID` 时可真实收短信，新手机号会自动注册；员工端首页为「今天要学/练完要复盘/工作中要用/碰到问题要报/我的成长」五个情境区，点“开始训练”完成两轮提交，再打开主管端；点「遇到问题，问一句」可文本/语音查 SOP 并看到引用片段；候选人端点“开始面试/面试练习”和“补充资料”；管理端 `/recruit/interview` 审核候选资料 | 员工端显示评分、“训练完成，主管端待复盘已更新”、训练历史和能力画像；底部 tab 为整页切换（首页/训练/知识/我的互斥渲染、切换回顶）；未实现入口点击弹「本期演示未开放」toast，无死按钮；主管端完训人数、“待复盘对练”计数和待复盘列表增加；训练页语音输入在浏览器录音失败时应切到“选择语音”而不是死按钮；点进待复盘记录可看评分、话术、导师改写，并可标记已复盘；候选人端可拉题/答题/评分，资料上传后显示“已提交资料”、`OSS ...`、`待审核`；HR 审核后候选人端显示 `已通过/已驳回`；接口不可用时走本地 fallback |
|
||||
| 3 | AI面试 `/recruit/interview` | 生成题目 → 填满参考回答或输入真实回答 → 完成评分 | 配置 chat 模型时真实生成题目和评分；未配置时用本地 Rubric 估分，不返回固定候选人分数；应看到新增面试记录 |
|
||||
| 4 | 三角色对练 `/train/practice` | 开始对练 → 填入参考回复或输入真实回复 → 继续一轮 → 结束并评分 | 已完成闭环、导师改写、新增对练记录；数据库已启用 chat 模型时，客户回复与评分为真实 LLM 生成（回复不再是固定台词，分数随话术变化），未配置时使用本地剧本兜底 |
|
||||
| 5 | 案例沉淀 `/knowledge/cases` | 上传真实语音 → ASR 转写 → AI 整理 → 送审 → 入库 → 查看样片 | 已完成闭环，案例列表新增真实转写生成的记录；视频仍用样片兜底 |
|
||||
|
||||
+12
-1
@@ -95,6 +95,17 @@ TOKEN=<登录后 access_token>
|
||||
curl -fsS http://127.0.0.1:8080/api/knowledge/doc/vector-index-status -H "Authorization: Bearer $TOKEN"
|
||||
```
|
||||
|
||||
## 线上移动端静态发布
|
||||
|
||||
线上 `peilian.njzhmj.top` 由 Caddy 服务，`/h5*` 映射到服务器 `/opt/wygj/www/h5`，并 fallback 到 `/h5/index.html`。只改移动端静态资源时无需重启后端。
|
||||
|
||||
```bash
|
||||
VITE_BASE=/h5/ npm --prefix mobile run build
|
||||
ssh YCWY 'ts=$(date +%Y%m%d%H%M%S); mkdir -p /opt/wygj/backups; cp -a /opt/wygj/www/h5 /opt/wygj/backups/h5-$ts; echo /opt/wygj/backups/h5-$ts'
|
||||
rsync -az --delete mobile/dist/ YCWY:/opt/wygj/www/h5/
|
||||
curl -k -s https://peilian.njzhmj.top/h5/supervisor | sed -n '1,20p'
|
||||
```
|
||||
|
||||
## MVP 页面验证
|
||||
|
||||
登录后侧栏应只展示以下入口：
|
||||
@@ -118,7 +129,7 @@ curl -fsS http://127.0.0.1:8080/api/knowledge/doc/vector-index-status -H "Author
|
||||
- 案例沉淀：进入 `/knowledge/cases`，上传真实语音 → “AI 整理” → “送审” → “入库”，应看到“已完成闭环”和新增案例记录；上传必须先完成 ASR 转写。
|
||||
- SOP知识库：进入 `/knowledge/sop`，可上传 txt/md/PDF/Word/Excel/PPT 文档入库；点击“检索” → “生成训练题”，应看到“已完成闭环”、命中数据库 SOP 原文片段和训练题；数据库不可用时页面回退 seed。
|
||||
- 资料处理：进入 `/knowledge/processing`，应看到资料总量、解析任务表、处理链路、规则与风险；可用少量文件验证“批量导入/选择目录/服务端导入”。**批量导入走异步队列**：提交即返回，页面出现“本次批量上传”进度面板（排队/加工中/完成/失败 + 单条重试），后台 worker 并发 2 逐条解析入库；暂存目录默认 `./.data/staging`（`aihr.upload.staging` 覆盖）。服务端导入读取 `./.data/import` 下的相对目录，启动后台任务并在页面显示进度，运行中任务可点“取消”；目录导入的重试粒度是同目录重新导入，批量上传的重试粒度是单文件。
|
||||
- 移动端员工训练：进入 `http://127.0.0.1:5174/h5/user`，手机号登录（dev 验证码固定 `123456`）。员工端首页为「今天要学/练完要复盘/工作中要用/碰到问题要报/我的成长」五个情境区，底部 tab（首页/训练/知识/我的）为整页切换；未实现入口点击弹「建设中」toast。“开始训练” → 两次“填入建议回复 / 提交本轮”，应看到评分、导师改写、训练历史和能力画像；切到主管端后完训人数与“待复盘对练”计数增加，并展示待复盘列表；点进单条可看评分、话术、导师改写，并可标记已复盘。训练页有“语音输入”和“播报”按钮，需启用 asr/tts 模型后生效，否则降级文本。「遇到问题，问一句」打开查 SOP 面板：文本/语音提问 → 返回回答+依据+引用片段（需后端在跑；语音需 asr 模型）。
|
||||
- 移动端员工训练：进入 `http://127.0.0.1:5174/h5/user`，手机号登录（dev 验证码固定 `123456`）。员工端首页为「今天要学/练完要复盘/工作中要用/碰到问题要报/我的成长」五个情境区，底部 tab（首页/训练/知识/我的）为整页切换；未实现入口点击弹「建设中」toast。“开始训练” → 两次“填入建议回复 / 提交本轮”，应看到评分、导师改写、训练历史和能力画像；切到主管端后完训人数与“待复盘对练”计数增加，并展示待复盘列表；点进单条可看评分、话术、导师改写，并可标记已复盘。训练页有“语音输入”和“播报”按钮，需启用 asr/tts 模型后生效；iOS/WebView 若无法直接访问麦克风，会切到“选择语音”并用系统录音/音频文件继续走 ASR，否则降级文本。「遇到问题，问一句」打开查 SOP 面板：文本/语音提问 → 返回回答+依据+引用片段（需后端在跑；语音需 asr 模型）。
|
||||
- 移动端候选人：进入 `http://127.0.0.1:5174/h5/candidate`，手机号登录（dev 验证码固定 `123456`）→ “开始面试/面试练习”完成答题评分；“补充资料”选择 PDF/Word/图片后上传，应看到“已提交资料”、`OSS ...`、`待审核`。再进入管理端 `/recruit/interview` 底部“候选资料审核”点“通过/驳回”，候选人端刷新后应显示新状态。Codex 内置浏览器不支持本地文件选择时，用真实 HTTP multipart smoke 代替浏览器文件选择。
|
||||
- 真 LLM 激活：在 `/system/model` 给供应商填 api_host/api_key 并启用 `category=chat` 模型后，三角色对练的客户回复与评分即为真实 LLM 生成；再启用 `category=asr/tts`（如硅基流动 SenseVoice/CosyVoice2）语音路径生效。未配置时全链路自动回退 seed。
|
||||
|
||||
|
||||
+1
-1
@@ -6,7 +6,7 @@
|
||||
|
||||
| 文档 | 用途 |
|
||||
|---|---|
|
||||
| [DEV_SETUP.md](DEV_SETUP.md) | 本地端口、账号、启动步骤、基础链路验证 |
|
||||
| [DEV_SETUP.md](DEV_SETUP.md) | 本地端口、账号、启动步骤、基础链路验证、移动端 H5 静态发布 |
|
||||
| [DEMO_ACCEPTANCE.md](DEMO_ACCEPTANCE.md) | 一期 MVP 演示脚本、录屏兜底、MVP 演示流验收清单 |
|
||||
| [API_INTEGRATION.md](API_INTEGRATION.md) | 后端 API 对接顺序、业务模块落点、移动端训练记录/复盘详情、候选资料上传/审核、SOP 上传解析接口 |
|
||||
| [RUOYI_AI_INCREMENTAL_MIGRATION.md](RUOYI_AI_INCREMENTAL_MIGRATION.md) | 从 `ageerle/ruoyi-ai` 分片迁移知识库、模型能力、文档解析、Qdrant/RAG 和 chat 的执行边界 |
|
||||
|
||||
Reference in New Issue
Block a user