留学目录站遭爬虫抓取，D1单日读取50亿行

免费留学目录站 Studies Multiverse 的开发者复盘称，站点被爬虫抓取约 5 万页面后，Cloudflare D1 数据库单日读取量一度达到 50 亿行。该站收录 224 个国家的 31,000 所院校，运行在 Cloudflare Workers 和 D1 上。 开发者称已做三项修复：筛选列表本就设 noindex 并指向普通列表，现在对爬虫直接返回 301 跳转到普通列表；课程详情页暂设 noindex，对爬虫返回简短的 403；普通用户访问不受影响。 这些措施能否把读取量降回正常水平，报道未给出后续数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。