剑客
关注科技互联网

标签:Squid

技术教程

如何构建爬虫代理服务?

阅读(67)评论(0)

如何构建爬虫代理服务 专栏作者:Kaito 起因做过爬虫的人应该都知道,抓的网站和数据多了,如果爬虫抓取速度过快,免不了触发网站的防爬机制,几乎用的同一招就是封IP。解决方案有2个:

技术教程

Tail Notes

阅读(47)评论(0)

周日一觉醒来看到airflow上这么一排红色的 failed , 心中万头羊驼呼啸而过 需求很简单, 就是一直读取squid的日志然后把日志塞到队列里(通过http请求的方式), 大致的代码如下