火车头采集规则：目标怎样拆成页面任务，先做哪一步更省时间
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /02ccb2e2e35e.html
📄
火车头采集规则：目标怎样拆成页面任务，先做哪一步更省时间
把采集目标拆成页面任务，核心不是先写规则，而是先确定“一个页面要承载什么信息、对应哪个列表入口、需要哪些字段”。对火车头采集规则来说，比较稳妥的拆法是：先按页面类型分组，再按字段和翻页方式细化，最后才配置标签。时间人手有限时，优先做列表页和详情页的字段映射，比一开始追求全站规则更省返工。
先分清列表页、详情页和分页任务
火车头采集规则通常围绕三类页面展开。列表页负责发现内容链接，详情页负责提取正文、标题、发布时间等字段，分页任务负责让列表继续往后翻。把这三类混在一条规则里，常见结果是链接抓到了但字段为空，或者字段抓到了却只采到第一页。
- 列表页任务：目标是拿到详情页网址，检查项是链接是否完整、是否重复、是否包含非目标栏目。
- 详情页任务：目标是拿到标题、正文、时间、来源等字段，检查项是字段是否落在同一内容区块内。
- 分页任务：目标是让列表页继续翻页，检查项是下一页链接是否随页码变化，终止条件是否明确。
判断顺序可以这样定：如果详情页网址都拿不到，先修列表页；如果网址有了但正文为空，先修详情页字段；如果只拿到前几页，再回头处理分页。这个顺序能避免在错误环节反复改规则。
按字段而不是按页面数量拆任务
很多人按“先采100个页面”来拆任务，结果字段缺失后整批重来。更实际的拆法是把一个详情页拆成若干字段任务：标题、正文、发布时间、作者、来源、标签。每个字段单独确认采集范围和过滤条件，再合并成一条规则。
例如，假设一个详情页的正文在<div class="article-content">内，标题在<h1>内，那么任务可以拆成：先只提取标题，确认能取到；再只提取正文，确认不夹带推荐阅读和版权声明；最后把两个字段放进同一规则。这样做的好处是，出错时能快速定位是字段选择问题，还是列表入口问题。
比较两种拆法：先全站还是先单栏目
时间和人手有限时，常见选择是先做全站规则，还是先做一个栏目。两种做法的代价不同：
- 先全站：看起来覆盖广，但不同栏目的列表结构、详情页模板可能不同，字段容易互相干扰，返工范围大。
- 先单栏目：覆盖窄，但能先验证列表入口、分页、字段提取这条链路是否跑通，后续复制到其他栏目时只需替换网址和少量选择器。
如果目标是尽快得到可用数据，先做单栏目更稳；如果各栏目页面结构完全一致，也可以先做全站，但必须先用少量页面验证字段是否一致。判断依据不是栏目数量，而是页面模板是否相同。
可执行的选择步骤
- 列出目标页面类型：哪些是列表页，哪些是详情页，是否存在分页。
- 为每个详情页写出必须字段，并标注哪些字段可以为空。
- 选一个结构最典型的栏目，先配置列表页采集网址，再配置详情页字段。
- 用少量页面试跑，检查链接是否重复、字段是否错位、分页是否继续。
- 确认单栏目稳定后，再按相同字段复制到其他栏目，只改入口网址和必要选择器。
如果试跑时发现正文里混入无关区块，优先调整字段的采集范围，而不是增加更多过滤规则；如果发现链接重复，先检查列表页是否有多个相同入口，再决定是否去重。
下一步先做最小可运行规则
不要等所有栏目都整理完再动手。先选一个栏目，做出“列表页能翻页、详情页能取到标题和正文”的最小规则，跑通后再扩展字段和栏目。这样每一步都有明确检查结果，也更容易判断问题出在入口、分页还是字段提取上。
