Hacker News · Show HN· maddhruvhn·· 3 小时前精选AI 评分72
Huntsman:一款将网页转换为 Markdown 的自托管轻量级抓取工具
Show HN: Huntsman – Self-hosted web scraper that turns pages into Markdown
AI 导读
Huntsman 是一款开源的自托管网页抓取工具,能够将网页内容转换为干净的 Markdown 格式,专为大模型和搜索任务设计。它通过 Go 语言编写,利用 Lightpanda 渲染 JavaScript,无需 Redis 或 Chrome 等重型依赖,在 8-vCPU 机器上的抓取效率是 Firecrawl 的 4 倍。
推荐理由
Huntsman 是一个轻量级自托管网页抓取工具,兼容 Firecrawl API 接口,适合需要高性能、低资源占用抓取方案的开发者。
来源:Hacker News · Show HN · github.com