46 lines
4.1 KiB
Markdown
46 lines
4.1 KiB
Markdown
# 考研数据工作台设计
|
|
|
|
日期:2026-10-11
|
|
|
|
## 用户目标与已确定的约束
|
|
|
|
用户要求创建独立项目,综合本地 `F:\@Other\yam` 与 `F:\@Other\yzw` 的功能,带图形界面,并连接 `C:\Users\Jayson\Desktop\proxy_pool`。用户选择本地网页界面。目标是同一工作台完成全国招生目录采集、分数线补充、筛选、收藏、对比、历史查看、导入导出和代理池管理。
|
|
|
|
独立目录:`F:\@Other\kaoyan-studio`。原项目存在用户修改,均作为只读参考。代理池现有 manage.ps1 / HTTP API 可直接使用,不修改服务配置。
|
|
|
|
## 方案选择
|
|
|
|
采用 Python FastAPI 后端、SQLite、本地 React + TypeScript 网页。比沿用 Tauri 更适合用户选择的浏览器界面;比启动两个原程序更容易统一年份、数据来源与代理路由。新实现参考两项目的接口与解析规则,保留来源和授权说明,运行不依赖原项目目录。
|
|
|
|
## 数据与采集
|
|
|
|
- 研招目录按省份→院校→专业→研究方向分页采集,每种四门考试组合单独保存。包含学位、学习方式、导师、考试方式和专项计划。
|
|
- 历年分数线与招生计划接入掌上考研接口。分数线区分专业、一级学科、门类,保存原文、来源、时间、年份和匹配粒度;不将参考线变成专业线。
|
|
- 专业清单预置本地 YAM 的目录快照。院校种子仅用于索引和选校,不生成招生计划或分数线。
|
|
- 目录年份显式选择;发现来源页面年份与选择不一致时阻止写入。无法验证年份时记录验证状态并在界面提示。
|
|
- 招生人数保留原文;只有明确专业口径或明确数字字段能结构化为数值。未知、方向级、学院级人数不能被重复累加成学校总计划。
|
|
- SQLite 唯一键包括年份、学校、专业、院系、方向、学习方式、考试组合、专项计划。历史数据与来源不同的计划保持独立。
|
|
- 任务运行在后台线程。支持暂停、恢复、取消;按完成的学校/专业保存断点和已完成工作单元,重启后可恢复。限流退避;失败记为可重试状态,不宣称完整成功。
|
|
|
|
## 代理与登录
|
|
|
|
- 所有研招登录、目录与掌上考研请求共用代理路由。支持直连、代理优先、仅代理,以及备用代理。
|
|
- 使用代理池 /get/?type=https、/all/?type=https、/count/ 接口。网络失败隔离当前代理并换用其他;手动切换不删除健康代理。
|
|
- 无代理时,代理优先模式明确显示直连,严格模式停止请求。429/业务限流采用退避,不把限流当成代理损坏。
|
|
- 提供代理池状态、列表、启动服务、停止受管理服务和切换代理。服务管理复用原 manage.ps1,通过参数数组启动隐藏后台进程。
|
|
- 支持 Cookie 输入、账号密码登录和打开受控浏览器由用户手动登录。登录必须验证业务接口,不能仅凭 HTTP 200。
|
|
- Cookie 保存在项目运行目录并在 Windows 用 DPAPI 加密;密码只用于本次登录,配置和日志不保存。服务仅监听 127.0.0.1,拒绝来自其他网页的跨源写请求。
|
|
|
|
## 界面
|
|
|
|
侧栏:概览、院校工作区、采集任务、代理池、设置与登录。工作区提供关键词、省份、专业代码、院校层级、学位、学习方式、科目、年份和收藏筛选,分页表格,详情抽屉、年度趋势、2–6 项比较与导出。未知值显示“未公开”,来源标签与分数线口径始终可见。
|
|
|
|
## 导入与导出
|
|
|
|
支持 yzw CSV / Excel、YAM JSON 快照与 SQLite(只读)导入,年份不可凭当前日期猜测。CSV / Excel / JSON 导出使用当前筛选条件;导出不包含凭据。CSV 与 Excel 防止公式注入。
|
|
|
|
## 验证与交付
|
|
|
|
测试覆盖分页、多个考试组合、人数口径、跨年去重、分数线粒度、代理严格模式和实际路由、登录验证、任务恢复、上传导出与敏感字段。前端进行类型检查、生产构建及本机 Edge 浏览器操作验证。交付启动/停止脚本、完整源码与中文使用说明,启动后直接访问本地地址。真实研招登录及大规模抓取由用户在界面发起。
|
|
|