From 4b62c33ed9e4067ad7b5c7255a3311b03d3ed940 Mon Sep 17 00:00:00 2001 From: Codex Date: Sun, 11 Oct 2026 19:22:52 +0800 Subject: [PATCH] Finish headless Debian operation and document CDN origin deployment --- README.md | 2 ++ deploy/configure-nginx.sh | 21 +++++++++++++ deploy/nginx-https.conf | 5 ++++ docs/debian-deployment.md | 63 +++++++++++++++++++++++++++++++++++++++ studio/auth.py | 2 +- 5 files changed, 92 insertions(+), 1 deletion(-) create mode 100644 deploy/configure-nginx.sh create mode 100644 docs/debian-deployment.md diff --git a/README.md b/README.md index 4472747..53804dc 100644 --- a/README.md +++ b/README.md @@ -4,6 +4,8 @@ 当前安装位置:`F:\@Other\kaoyan-studio`。原 YAM、yzw 和 proxy_pool 源码不作修改。 +Debian 12 / MariaDB 服务器模式、HTTPS 访问与代理池后台运行见 [服务器部署说明](docs/debian-deployment.md)。服务器适配在 `feat/debian-server` 分支,Windows 继续默认使用 SQLite。设置页支持随机请求间隔上下限及按成功请求次数自动轮换代理。 + ## 启动 双击 **启动工作台.cmd**,浏览器打开 **http://127.0.0.1:8765**。窗口关闭后后台服务继续运行;双击 **停止工作台.cmd** 结束本项目服务。 diff --git a/deploy/configure-nginx.sh b/deploy/configure-nginx.sh new file mode 100644 index 0000000..b77217e --- /dev/null +++ b/deploy/configure-nginx.sh @@ -0,0 +1,21 @@ +#!/bin/bash +# Preserve existing sites. Prefer a domain certificate; CDN IP origins can use +# the server's existing valid IP certificate when HTTP-01 is unavailable. +set -euo pipefail +root=/opt/kaoyan-studio-deploy/app +test -f /etc/nginx/kaoyan-studio.htpasswd +python3 - <<'PY' +from pathlib import Path +root = Path('/opt/kaoyan-studio-deploy/app/deploy') +text = (root / 'nginx-http-bootstrap.conf').read_text() + '\n' + (root / 'nginx-https.conf').read_text() +cert = Path('/etc/letsencrypt/live/kaoyan.fjayson.com/fullchain.pem') +if not cert.exists(): + replacement = '/etc/letsencrypt/live/186.241.68.230/' + if not Path(replacement, 'fullchain.pem').exists(): + raise SystemExit('Install a valid origin certificate before configuring HTTPS') + text = text.replace('/etc/letsencrypt/live/kaoyan.fjayson.com/', replacement) +Path('/etc/nginx/sites-available/kaoyan-studio').write_text(text) +PY +ln -sfn /etc/nginx/sites-available/kaoyan-studio /etc/nginx/sites-enabled/kaoyan-studio +nginx -t +systemctl reload nginx diff --git a/deploy/nginx-https.conf b/deploy/nginx-https.conf index 97197fd..a7e2493 100644 --- a/deploy/nginx-https.conf +++ b/deploy/nginx-https.conf @@ -8,6 +8,11 @@ server { client_max_body_size 100m; auth_basic "Kaoyan Workbench"; auth_basic_user_file /etc/nginx/kaoyan-studio.htpasswd; + location ^~ /.well-known/acme-challenge/ { + root /var/www/kaoyan-acme; + auth_basic off; + add_header Cache-Control no-store; + } location / { proxy_pass http://127.0.0.1:8765; proxy_set_header Host $http_host; diff --git a/docs/debian-deployment.md b/docs/debian-deployment.md new file mode 100644 index 0000000..fa7b0ed --- /dev/null +++ b/docs/debian-deployment.md @@ -0,0 +1,63 @@ +# Debian 12 服务器部署 + +服务器:186.241.68.230;域名:https://kaoyan.fjayson.com。部署分支 `feat/debian-server`,应用监听回环 8765,Nginx 提供访问认证;域名通过用户的 CDN 回源。账号密码单独交付,不放入 Git。浏览器第一次访问会提示输入工作台访问账号,这与学信网账号不同。 + +## 目录与服务 + +- `/opt/kaoyan-studio-deploy/app`:代码与构建网页。 +- `/opt/kaoyan-studio-deploy/venv`:Python 3.11 虚拟环境。 +- `/var/lib/kaoyan-studio`:设置、加密 Cookie 与权限 0600 的加密密钥。 +- `/opt/kaoyan-studio-deploy/mysql.json`:MariaDB 私密连接配置,root:kaoyan 权限 0640。 +- `/opt/kaoyan-studio-deploy/proxy_pool` 与 `proxy-venv`:独立原版代理池。 +- MariaDB 数据库 `kaoyan_studio`;数据、收藏、历史分数、任务、日志与断点均写入此库。 +- `kaoyan-studio.service`:工作台,单进程,异常退出自动重启,已设置开机启动。 +- `kaoyan-proxy-api.service`、`kaoyan-proxy-scheduler.service`:代理 API 与定时抓取检测,开机启动。 +- `kaoyan-proxy-redis`:独立 Redis 容器,只映射 `127.0.0.1:6381`,不操作原服务器的 Redis。 + +安装模板在 `deploy/`。Python 依赖按 `requirements.lock` 安装;前端 `npm ci && npm run build`。不要启动多个工作台进程连接同一数据库,否则任务恢复状态会互相影响。原有站点、数据库和 fail2ban 配置不作修改。 + +## 操作 + +```bash +systemctl status kaoyan-studio kaoyan-proxy-api kaoyan-proxy-scheduler +journalctl -u kaoyan-studio -f +systemctl restart kaoyan-studio +``` + +后台采集与浏览器连接无关,关掉电脑或网页后服务器继续运行。重启仅恢复被服务停止打断的运行任务;手动暂停、取消和等待登录的任务保持原状态。仍可能遇到研招验证码、登录到期、源站限流或免费代理不可用,需要到页面处理后恢复。 + +默认每次请求随机等待 1.2–2.4 秒,每 100 次成功请求轮换代理。设置页可修改上下限和轮换次数;0 表示关闭自动轮换。代理页显示实际成功请求路由、计数和切换次数。登录表单、会话同步、权限验证及紧随其后的失败页重试保持同一路由。免费代理池初次启动可能没有 HTTPS 候选,部署时保留了原电脑代理池的候选作为备用;这些候选仍会经过实际请求与失败隔离。 + +Linux 无桌面环境,界面提供研招网登录入口与粘贴 Cookie。请在自己的电脑浏览器打开研招目录并登录,从开发者工具中复制目录接口请求的单行 Cookie,粘贴到工作台后点验证。服务器重新同步会话并检查受保护的第二页。迁移 Windows Cookie 时只经 SSH 传输加密封装,在服务器重新加密;不继承原验证标记。 + +## 迁移与验证 + +对原 SQLite 使用在线 `backup()` 取得一致性快照,源库只读,原任务保持原状态。使用以下命令导入一个空 MySQL 库: + +```bash +python -m studio.migrate /path/to/studio-snapshot.db --config /path/to/private-mysql.json +``` + +目标非空时拒绝覆盖,并保留已有任务状态;导入失败回滚整批写入。CLI 不执行应用启动的任务恢复。记录 ID、收藏、任务参数、日志 ID 与完成单元均保留,迁移来的任务暂停,验证登录后由用户恢复。 + +正式快照:27,901 条目录、0 条历史线、559 条院校索引、4 个任务、4,302 个断点、4,319 条日志;当前全国任务含 4,282 个完成单元。数据仍处于 2027 招生目录阶段,历史数据不会因部署自动出现。逐表内容校验结果位于服务器 `/opt/kaoyan-studio-deploy/migration-verification.json`。 + +## HTTPS 与 CDN + +CDN 回源地址为该服务器,应用保持原始 Host `kaoyan.fjayson.com`,使用 HTTPS 443 回源,并转发 Authorization、请求方法与正文。禁止缓存工作台 HTML/API,源站已返回 `Cache-Control: private, no-store`。域名的浏览器证书由 CDN 提供;源站优先使用域名证书,也可使用当前有效的 IP 证书用于 CDN IP 回源。 + +部署时 HTTP-01 的本地回源探测成功,但证书机构访问另一 CDN 节点收到 404,因此没有替换服务器现有证书。`configure-nginx.sh` 优先选择域名证书,否则保留现有源站 IP 证书。可通过 DNS-01 或修正全部 CDN 节点的挑战路径回源后申请域名证书,再重新运行配置脚本。源站证书仍由服务器已有证书维护流程管理。 + +## 备份和升级 + +```bash +# root 使用 MariaDB 原有本机 socket 认证,备份不在命令行放密码 +umask 077 +mkdir -p /var/backups/kaoyan-studio +mariadb-dump --single-transaction --default-character-set=utf8mb4 kaoyan_studio > /var/backups/kaoyan-studio/database.sql +cp -a /var/lib/kaoyan-studio /var/backups/kaoyan-studio/runtime +``` + +同时保存数据库、运行目录(含 `cookie.key`)、私密 MySQL 配置和访问认证文件。不要把这些文件上传 Git 或公开网盘。升级前备份,停止工作台,拉取该部署分支并构建前端、安装锁定依赖,再启动工作台。原 Windows 项目继续保留 SQLite 模式,可作为原始备份。 + +代理池使用 [jhao104/proxy_pool](https://github.com/jhao104/proxy_pool),数据库适配参考 [PyMySQL 官方文档](https://pymysql.readthedocs.io/en/latest/user/examples.html) 和 [MariaDB 更新冲突记录的语法](https://mariadb.com/docs/server/reference/sql-statements/data-manipulation/inserting-loading-data/insert-on-duplicate-key-update)。 diff --git a/studio/auth.py b/studio/auth.py index 3bcfde6..869960d 100644 --- a/studio/auth.py +++ b/studio/auth.py @@ -190,7 +190,7 @@ class AuthService: with self.check_lock, self.transport.router.hold_route(): response = self.transport.request("GET", LOGIN_URL) soup = BeautifulSoup(response.text, "html.parser") - form = {node.get("name"): node.get("value", "") for node in soup.select("input[type=hidden][name]")} + form = {node.get("name"): node.get("value", "") for node in soup.find_all("input", attrs={"type": "hidden", "name": True})} if "lt" not in form or "execution" not in form: raise ValueError("登录页面需要人工验证,请使用浏览器登录") form.update(username=username, password=password, _eventId="submit")