爬虫学习

TODO

• 爬虫框架

  • Go-Colly
  • Scrapy

• 浏览器扩展 - 可视化自动爬取(类似于鼠标移动轨迹记录)

• 爬虫抓取工具

  • Chrome
  • Fiddler

目录索引

爬虫简介

• Crawl-简介
• Crawl-爬虫框架对比
• Crwal-法律意识

爬虫基础

• PyQuery-页面解析
• Re-正则表达式
• Xpath-页面解析

爬虫功能

• Crawl-用户登录
• Crawl-反爬虫机制
• Crwal-下载进度条
• Crwal-大文件断点续传

参考资源

• Python 爬虫学习
• Python 3 爬虫｜第 8 章：使用 asyncio 模块实现并发
• Python 3 爬虫｜第 7 章：协程 Coroutines
• Python 3 爬虫｜第 9 章：使用 asyncio + aiohttp 并发下载
• Python 3 爬虫｜第 6 章：可迭代对象 / 迭代器 / 生成器
• Python 3 爬虫｜第 5 章：多线程并发下载
• Python 3 爬虫｜第 4 章：多进程并发下载
• Python 3 爬虫｜第 1 章：I/O Models 阻塞/非阻塞 同步/异步
• Python 3 爬虫｜第 3 章：同步阻塞下载
• Python 3 爬虫｜第 2 章：Python 并发编程