爬虫都可以干什么？

爬虫，又叫spider，是在互联网行业抓取公开数据的一种自动化工具。

在搜索、新闻资讯或电商等行业，是一种常见的获取大数据的行为。

一般通过爬虫在抓取行业数据后，做直接转发或者保存到自己的服务器中做二次加工，作为自己产品的一部分。

如果数据用来从事商业行为，请务必重视版权问题，特别是利用、加工处理别人的数据，需要得到授权，并明确标注来源，否则会有法律风险。

我是一个产品研发老兵，请关注产品研发那点事，不断分享大厂的亲身经历。