64 lines
5.5 KiB
Markdown
64 lines
5.5 KiB
Markdown
# Debian 12 服务器部署
|
||
|
||
服务器:186.241.68.230;域名:https://kaoyan.fjayson.com。部署分支 `feat/debian-server`,应用监听回环 8765,Nginx 提供访问认证;域名通过用户的 CDN 回源。账号密码单独交付,不放入 Git。浏览器第一次访问会提示输入工作台访问账号,这与学信网账号不同。
|
||
|
||
## 目录与服务
|
||
|
||
- `/opt/kaoyan-studio-deploy/app`:代码与构建网页。
|
||
- `/opt/kaoyan-studio-deploy/venv`:Python 3.11 虚拟环境。
|
||
- `/var/lib/kaoyan-studio`:设置、加密 Cookie 与权限 0600 的加密密钥。
|
||
- `/opt/kaoyan-studio-deploy/mysql.json`:MariaDB 私密连接配置,root:kaoyan 权限 0640。
|
||
- `/opt/kaoyan-studio-deploy/proxy_pool` 与 `proxy-venv`:独立原版代理池。
|
||
- MariaDB 数据库 `kaoyan_studio`;数据、收藏、历史分数、任务、日志与断点均写入此库。
|
||
- `kaoyan-studio.service`:工作台,单进程,异常退出自动重启,已设置开机启动。
|
||
- `kaoyan-proxy-api.service`、`kaoyan-proxy-scheduler.service`:代理 API 与定时抓取检测,开机启动。
|
||
- `kaoyan-proxy-redis`:独立 Redis 容器,只映射 `127.0.0.1:6381`,不操作原服务器的 Redis。
|
||
|
||
安装模板在 `deploy/`。Python 依赖按 `requirements.lock` 安装;前端 `npm ci && npm run build`。不要启动多个工作台进程连接同一数据库,否则任务恢复状态会互相影响。原有站点、数据库和 fail2ban 配置不作修改。
|
||
|
||
## 操作
|
||
|
||
```bash
|
||
systemctl status kaoyan-studio kaoyan-proxy-api kaoyan-proxy-scheduler
|
||
journalctl -u kaoyan-studio -f
|
||
systemctl restart kaoyan-studio
|
||
```
|
||
|
||
后台采集与浏览器连接无关,关掉电脑或网页后服务器继续运行。重启仅恢复被服务停止打断的运行任务;手动暂停、取消和等待登录的任务保持原状态。仍可能遇到研招验证码、登录到期、源站限流或免费代理不可用,需要到页面处理后恢复。
|
||
|
||
默认每次请求随机等待 1.2–2.4 秒,每 100 次成功请求轮换代理。设置页可修改上下限和轮换次数;0 表示关闭自动轮换。代理页显示实际成功请求路由、计数和切换次数。登录表单、会话同步、权限验证及紧随其后的失败页重试保持同一路由。免费代理池初次启动可能没有 HTTPS 候选,部署时保留了原电脑代理池的候选作为备用;这些候选仍会经过实际请求与失败隔离。
|
||
|
||
Linux 无桌面环境,界面提供研招网登录入口与粘贴 Cookie。请在自己的电脑浏览器打开研招目录并登录,从开发者工具中复制目录接口请求的单行 Cookie,粘贴到工作台后点验证。服务器重新同步会话并检查受保护的第二页。迁移 Windows Cookie 时只经 SSH 传输加密封装,在服务器重新加密;不继承原验证标记。
|
||
|
||
## 迁移与验证
|
||
|
||
对原 SQLite 使用在线 `backup()` 取得一致性快照,源库只读,原任务保持原状态。使用以下命令导入一个空 MySQL 库:
|
||
|
||
```bash
|
||
python -m studio.migrate /path/to/studio-snapshot.db --config /path/to/private-mysql.json
|
||
```
|
||
|
||
目标非空时拒绝覆盖,并保留已有任务状态;导入失败回滚整批写入。CLI 不执行应用启动的任务恢复。记录 ID、收藏、任务参数、日志 ID 与完成单元均保留,迁移来的任务暂停,验证登录后由用户恢复。
|
||
|
||
正式快照:27,901 条目录、0 条历史线、559 条院校索引、4 个任务、4,302 个断点、4,319 条日志;当前全国任务含 4,282 个完成单元。数据仍处于 2027 招生目录阶段,历史数据不会因部署自动出现。逐表内容校验结果位于服务器 `/opt/kaoyan-studio-deploy/migration-verification.json`。
|
||
|
||
## HTTPS 与 CDN
|
||
|
||
CDN 回源地址为该服务器,应用保持原始 Host `kaoyan.fjayson.com`,使用 HTTPS 443 回源,并转发 Authorization、请求方法与正文。禁止缓存工作台 HTML/API,源站已返回 `Cache-Control: private, no-store`。域名的浏览器证书由 CDN 提供;源站优先使用域名证书,也可使用当前有效的 IP 证书用于 CDN IP 回源。
|
||
|
||
部署时 HTTP-01 的本地回源探测成功,但证书机构访问另一 CDN 节点收到 404,因此没有替换服务器现有证书。`configure-nginx.sh` 优先选择域名证书,否则保留现有源站 IP 证书。可通过 DNS-01 或修正全部 CDN 节点的挑战路径回源后申请域名证书,再重新运行配置脚本。源站证书仍由服务器已有证书维护流程管理。
|
||
|
||
## 备份和升级
|
||
|
||
```bash
|
||
# root 使用 MariaDB 原有本机 socket 认证,备份不在命令行放密码
|
||
umask 077
|
||
mkdir -p /var/backups/kaoyan-studio
|
||
mariadb-dump --single-transaction --default-character-set=utf8mb4 kaoyan_studio > /var/backups/kaoyan-studio/database.sql
|
||
cp -a /var/lib/kaoyan-studio /var/backups/kaoyan-studio/runtime
|
||
```
|
||
|
||
同时保存数据库、运行目录(含 `cookie.key`)、私密 MySQL 配置和访问认证文件。不要把这些文件上传 Git 或公开网盘。升级前备份,停止工作台,拉取该部署分支并构建前端、安装锁定依赖,再启动工作台。原 Windows 项目继续保留 SQLite 模式,可作为原始备份。
|
||
|
||
代理池使用 [jhao104/proxy_pool](https://github.com/jhao104/proxy_pool),数据库适配参考 [PyMySQL 官方文档](https://pymysql.readthedocs.io/en/latest/user/examples.html) 和 [MariaDB 更新冲突记录的语法](https://mariadb.com/docs/server/reference/sql-statements/data-manipulation/inserting-loading-data/insert-on-duplicate-key-update)。
|