跳到正文
掘金· Flynt·· 16 小时前精选AI 评分38

Lightpanda内存省14倍实测:爬虫首选但并发代码需重写

内存省16倍的Lightpanda实测:数字是真的,但并发代码要重写

AI 导读

作者在2GB Ubuntu 机器上实测Lightpanda与Chrome headless,内存占用从Chrome的469MB降到43MB,省约14倍。速度上,CPU密集型页面快1.5-2倍,网络瓶颈下两者相当。

推荐理由

作者实测Lightpanda内存省14倍,适合小机器跑爬虫任务,但并发代码要从多页签改为多进程管理。

来源:掘金 · juejin.cn