700个数据源爬出来的代理,有多少是真的能用?
原创
我最近看到一个挺有意思的项目:有人写了个代理爬虫,一口气扫了700个数据源,还要逐个验证可用性。这想法本身不算新鲜,但把"量"和"验"结合在一起,至少比那些只吐列表、不管死活的工具强多了。问题是——Hacker News上只有1个赞、零评论。要么这工具还没打磨到能用的程度,要么大家早就有更好的方案了,只是懒得再为这类开源项目点赞。我倾向于后者。代理市场本身就在快速变化,今天能用的源明天可能就废了,靠定期爬取来维持一个"活"的列表,本质上是在和时间赛跑。能不能跑赢,取决于你愿不愿意持续投入运维。
原文:Show HN: I built a proxy scraper that checks 700 sources and verifies proxy · 来源:Hacker News
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123



