成为VIP
课程简介：
定向爬虫可以精准的获取目标站点信息。
定向爬虫获取信息，配上手工或者自动的模版进行信息匹配，将信息进行格式化分析存储。
优势：
基于模版的信息提取技术，能提供更加精准的信息。比如价格，房屋面积，时间，职位，公司名等等。
劣势：
目标网站难以大面积覆盖，因为基于模版匹配的信息提取技术，需要人工的参与配置模版，欲要大面积覆盖各个目标网站，需要大量的人力成本，同样维护模板也需要很大的人力成本。
本课程讲解如何编写定向爬虫。首先讲解爬虫的基本原理，并使用Python的Requests模块和正则表达式编写简单的爬虫。接下来使用Scrapy开源爬虫框架与Redis数据库提高爬取效率。最后讲解动态加载网页内容的爬取和应对一些反扒虫机制的方法。
文件目录
├──1、基本的正则表达式
| ├──1. Pycharm 的安装与配置.mp4
| ├──2. 正则表达式符号与方法.mp4
| ├──3. 正则表达式的应用举例.mp4
| └──4. 实战——制作文本爬虫.mp4
├──2、Python 单线程爬虫
| ├──1. Requests 介绍和安装.mp4
| ├──2. 第一个网页爬虫.mp4
| ├──3. 向网页提交数据.mp4
| └──4. 实战——爬虫.mp4
├──3、XPath 与多线程爬虫
| ├──1. 神器 XPath 的介绍与配置.mp4
| ├──2. 神器 XPath 的使用.mp4
| ├──3. 神器 XPath 的特殊用法.mp4
| ├──4. Python 并行化介绍与演示.mp4
| └──5. 实战——百度贴吧爬虫.mp4
├──4、简单的模拟登录
| ├──1. 抓包利器 Fiddler.mp4
| ├──2. Cookies 与保持登录.mp4
| ├──3. Cookies 模拟登录.mp4
| ├──4. 模拟登录新浪微博.mp4
| └──5. 实战——追女神助手v0.1.mp4
├──5、Scrapy 初探
| ├──1. Scrapy 介绍与安装.mp4
| ├──2. Scrapy 爬取网页.mp4
| ├──3. Scrapy 文件结构.mp4
| └──4. 实战——豆瓣爬虫.mp4
├──6、MongoDB 与 Scrapy
| ├──1. MongoDB 介绍与安装.mp4
| ├──2. Python 与 MongoDB.mp4
| ├──3. Scrapy 应用 MongoDB.mp4
| └──4. 实战——小说爬虫.mp4
├──7、Scrapy 与 Redis 入门
| ├──1. Redis 的介绍与安装.mp4
| ├──2. Scrapy 配置 Redis.mp4
| └──3. 实战——小说爬虫0.2.mp4
└──8、动态加载网页的爬取
| ├──1. AJAX 介绍与网页展示.mp4
| ├──2. 从 JavaScript 文件读取内容.mp4
| ├──3. 构造目标地址.mp4
| └──4. 实战——腾讯视频评论爬虫.mp4
声明：本站所有资源版权均属于原作者所有，这里所提供资源均只能用于参考学习用，请勿直接商用。若由于商用引起版权纠纷，一切责任均由使用者承担。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理，邮箱：502212423@qq.com。
jamison
