跳到正文
Hacker News · Show HN· maddhruvhn·· 3 小时前精选AI 评分72

Huntsman:一款将网页转换为 Markdown 的自托管轻量级抓取工具

Show HN: Huntsman – Self-hosted web scraper that turns pages into Markdown

AI 导读

Huntsman 是一款开源的自托管网页抓取工具,能够将网页内容转换为干净的 Markdown 格式,专为大模型和搜索任务设计。它通过 Go 语言编写,利用 Lightpanda 渲染 JavaScript,无需 Redis 或 Chrome 等重型依赖,在 8-vCPU 机器上的抓取效率是 Firecrawl 的 4 倍。

推荐理由

Huntsman 是一个轻量级自托管网页抓取工具,兼容 Firecrawl API 接口,适合需要高性能、低资源占用抓取方案的开发者。

来源:Hacker News · Show HN · github.com