采集源配置示例(黄山公共资源)
黄山公共资源交易网 — 交易信息 → 政府采购 → 采购公告
站点:ggzy.huangshan.gov.cn(黄山市公共资源交易中心)
路径:交易信息 → 政府采购 → 采购公告
一、后台采集源配置(按字段填写)
| 配置项 | 填写值 | 说明 |
|---|---|---|
| 采集源名称 | 黄山公共资源-政府采购采购公告 | 可自拟 |
| 站点域名 | ggzy.huangshan.gov.cn | 用于去重与展示 |
| 基础URL | https://ggzy.huangshan.gov.cn | 注意协议与域名一致 |
| 列表URL模板 | {base_url}/004/004003/004003001/subSearch.html | 采购公告第一页(分页脚本中 pageIndex=0 指向 subSearch.html);第2~6页为 2.html~6.html |
| 详情URL模板 | {base_url}/projectInfo.html?infoid={id}&categorynum=004003001 | 站点真实详情页为 projectInfo.html?infoid=uuid&categorynum=004003001 |
| 列表类型 | HTML页面 | 选 HTML |
| 列表项选择器 | tr.ewb-tr | 表格行,表体在 table.ewb-table tbody#xiangmubody 下 |
| 列表-链接属性 | href | 列表为 onclick 跳转,无真实 href,可留空或填 href(由程序从 onclick 解析 id) |
| 列表-标题属性 | text | 取行内文本;标题在 <a><div class="ewb-table-block">标题</div></a> |
| 列表-日期属性 | (留空或 text) | 日期在第三列 <td>,取当前行文本即可 |
| 列表-ID属性 | (留空) | 程序会自动从 onclick="redirectDetail('uuid','...')" 解析 id |
| 详情-标题选择器 | h2.ewb-tab-h | 详情页标题 |
| 详情-日期选择器 | .ewb-tab-bar | 信息时间在该栏文本中,如「信息时间:2022-04-13 14:06:49」 |
| 详情-正文选择器 | .ewb-tab-con | 正文容器 |
| 条件1~10 | 可不填 | 本列表 URL 已写死 004003001,无需 cond |
| 起始页码 | 1 | 当前模板仅第一页 |
| 最大页数 | 1 | 若站点支持 /004/004003/004003001/2.html 可改为 5 并改列表模板为 {base_url}/004/004003/004003001/{page}.html 测试 |
| 请求间隔(秒) | 2 | 建议 ≥2 |
| Cron / 固定时间 | 按需 | 如 0 8 * * * 与 08:00 |
| 状态 | 启用 | |
| 标题关键词 | 可选 | 仅采集标题包含某关键词时填写 |
二、说明
- 列表无 href、仅 onclick
列表行为表格行 tr.ewb-tr,链接为 <a href="javascript:void(0)" onclick="redirectDetail('uuid','004003001')">。
采集服务已支持:当链接为空或为 javascript: 时,从后代 <a onclick> 中解析 redirectDetail('id',...) 的第一个参数作为详情 id,再按 详情URL模板 {base_url}/{id}.html 拼详情页地址。
- 采购公告分类码
菜单「政府采购」下「采购公告」对应路径为 /004/004003/004003001/subSearchzf.html,分类码 004003001 已写在列表 URL 中,无需再填 cond1。
- 分页
当前给的列表 URL 仅第一页。若需多页,需在浏览器确认第 2 页是否为 /004/004003/004003001/2.html 等形式,再决定是否将列表模板改为带 {page} 并增大最大页数。
- 同一站点其它栏目
工程建设、国有产权、土地矿权等列表结构类似(均为 tr.ewb-tr + onclick="redirectDetail(...)"),可复制本配置后只改「采集源名称」「列表URL模板」和 cond(若用)即可。
三、导入用 txt/csv 一行示例(制表符分隔)
黄山公共资源-政府采购采购公告 ggzy.huangshan.gov.cn https://ggzy.huangshan.gov.cn {base_url}/004/004003/004003001/subSearch.html {base_url}/projectInfo.html?infoid={id}&categorynum=004003001 1 tr.ewb-tr text 1 1 2 0 8 * * * 08:00 1 h2.ewb-tab-h .ewb-tab-bar .ewb-tab-con
按列顺序:名称、站点域名、基础URL、列表URL模板、详情URL模板、列表类型、列表项选择器、列表-链接属性、列表-标题属性、列表-日期属性、列表-ID属性、起始页、最大页、请求间隔、cron、固定时间、状态、标题关键词、详情-标题选择器、详情-日期选择器、详情-正文选择器。
