PyQuery-网页解析库

支持网页解析，添加修改删除元素属性等。风格类似于 Jquery, 上手简单。 查找语法： 1234567891011121314151617# 查找 div里面tr的元素div tr# 获取item元素href的值item.attr("href")# 获取文本值item.text ...
2021-10-23

爬虫基础

TODO 爬虫系列 思维导图 基础知识请求方法(Get/POST/PUT/Delete)详见 文内 URL-xxx HTTP 状态码详见 文内 URL-xxx 参考链接：常见的 HTTP 状态码 HTTPS 和 HTTP 的差异详见 文内 URL-xxx HTTP 请求头和响应头HTTP 请求头和响 ...
2021-10-23

爬虫框架-对比分析

https://github.com/fansichao/Spiders.git 分布式爬虫 Redis-Scrapy https://www.cnblogs.com/Mint-diary/p/9728435.html scrapy-redis使用redis集群进行分布式爬取 http://30da ...
2021-10-23

身份认证(BaseAuth, OAuth)

开放平台有两种认证方式，一种是 Basic Auth，一种是 OAuth Basic Auth(HTTP Auth)Basic Auth 简单点说明就是每次请求 API 时都提供用户的 username 和 password。【base64encode(username+”:”+password)】 ...
2021-10-23

爬虫进阶-下载进度条显示

多文件下载进度条Progress Bar 2 大文件下载进度条123456789101112131415from tqdm import tqdmfilename = '_test.txt'file_size = ''url = ''wit ...
2021-10-23

爬虫学习

TODO 爬虫框架 Go-Colly Scrapy 浏览器扩展 - 可视化自动爬取(类似于鼠标移动轨迹记录) 爬虫抓取工具 Chrome Fiddler 目录索引爬虫简介 Crawl-简介 Crawl-爬虫框架对比 Crwal-法律意识 爬虫基础 PyQuery-页面解析 ...
2021-10-23

crawl-anti-spider

常见反爬虫机制滑动验证码验证机制 常见反爬虫机制 基础反爬机制 robots 协议 验证码 请求头验证 refer、UA IP 封锁 登陆认证、Cookie 认证 复杂反爬机制 动态 JS、动态变化的请求参数、动态数据的捕获 JS 加密 js 混淆 错误数据 延迟加载 自定义字体 模型反 ...
2021-10-23

Chrome

tags: 2021 目录大纲 Chrome 目录入门篇功能-Chrome 软件下载功能-安装 Chrome 插件资源-Chrome 相关网站主题篇主题-Github 篇主题-DevTools 开发者工具主题-必备神器设置篇设置-配置浏览器启动参数 必备神奇优质插件有趣插件主题插件Github图片截 ...
2021-10-23

Chrome 插件

tags: Chrome plugins [toc] 安装插件在线安装方法 1：有梯子 直接访问 Chrome 商店 即可 方法 2：没有梯子，使用 谷歌访问助手 下载安装 谷歌访问助手， 使用离线方法安装后，打开助手， 即可正常访问 Chrome 商店 离线安装 Chrome 插件安装步骤： 下 ...
2021-10-23

功能模块

配置浏览器启动参数参数 --ignore-certificate-errors 解决问题： 文件下载失败，浏览器提示网络错误 忽略浏览器提示的证书错误信息 如图所示(注：务必找到程序所在位置的第一层级添加参数，如果是快捷方式创建的快捷方式，可能存在失效问题) 浏览器页面出现 您使用的是不受支持额 ...
2021-10-23
1…910111213…25