站点索引库如何定期清理失效条目
索引站规模变大后,失效条目会迅速稀释检索结果的质量。定期清理不是简单删除,而是一套可回溯的维护流程。
回访机制
- 按收录时间分批回访,优先处理 90 天以上未校验的条目。
- 记录每次回访的做种数量与响应时间,形成健康度曲线。
- 连续三次回访无响应的条目转入待下架队列。
失效阈值
建议以「连续 30 天无活跃节点」为下架阈值,同时对刚收录 7 天内的新条目豁免,避免误杀冷门但仍有源的资源。
保留历史记录
下架不等于删除数据。保留 infohash 与下架时间,可以在资源重新出现时快速恢复条目,也便于统计各分类的失效率。
清理完成后同步更新 sitemap,让搜索引擎尽快剔除已下架页面,避免出现大量 404 影响站点评级。