作者：jiaqiangwang，腾讯 IEG 后台开发工程师 背景 在大数据及机器学习日益火爆的今天，数据作为基石发挥了至关重要的作用。网页内容爬取作为数据的一个重要补充来源，数据爬取开发成了一个必不可少的工作。 在业界，普遍的做法是采用 scrapy 等框架不断进行 case by case 的爬