爬虫概述

一、爬虫能做什么？

抓取数据
- 网络小说
- 价格变动
尽职调查

抓取公司或人在网络上的痕迹

刷流量和秒杀
- 刷流量：增加访问量
- 秒杀
  - 抢优惠券
  - 抢机票
  - 抢火车票

二、爬虫技术

技术：各种语言和框架的使用
思想、流程和调度
- 如何突破反爬虫
- 如何隐藏爬虫
- 如何模拟人的行为
- 遇到没有见过的反爬虫策略如何思考
- 使用爬虫爬取非网页内容