「docker实战篇」python的docker爬虫技术-fiddler抓包工具(三)
2019-04-25 08:46:48
李明
  • 访问次数: 375
  • 注册日期: 2018-07-09
  • 最后登录: 2019-08-08
原创文章,欢迎转载。转载请注明:转载自 IT人故事会,谢谢! 原文链接地址: 「docker实战篇」python的docker爬虫技术-fiddler抓包工具(三)
fiddler转包软件的安装和介绍。

16a51f4dc7c90193?w=720&h=401&f=png&s=762

对比3款APP抓包工具

软件名称支持的操作系统使用平台调试难易程度软件功能程度fiddlerWindows/linux/mac网页端,APP端一般多mitmproxyWindows/Mac/Linux网页端,APP端一般多packetCapture安卓APP端简单少

fiddler

  • 历史
Fiddler 是用C#写出来的,它包含一个简单却功能强大的基于JScript .NET 事件脚本子系统,它的灵活性非常棒,可以支持众多的http调试任务,并且能够使用.net框架语言进行扩展。
  • 官网
https://www.telerik.com/fiddler

16a51f4dc7b65616?w=720&h=305&f=png&s=138
  • 介绍
Fiddler 是一款web调试代理平台,可以监控和修改web数据流。

16a51f4dcd23e0ad?w=720&h=324&f=png&s=125
  • 功能强大

16a51f4dcf80e44d?w=720&h=142&f=png&s=566
  • 优点
  1. 可以查看所有浏览器,客户端应用或服务之间的web数据流
  2. 手动或者自动修改任意的请求和响应
  3. 可以解密https数据流以便查看和修改
  • 缺点
  1. fiddler只支持http,https,ftp,websocket数据流相关的协议
  2. 无法监测或修改其他数据,如pop3,smtp等。
  3. fiddler无法处理请求和响应超过2gb的数据。
  • 下载
https://www.telerik.com/fiddler

16a51f4dcfb012d0?w=720&h=251&f=png&s=115
选择类型,填写邮箱地址,选择国家

16a51f4dcfa1013d?w=720&h=442&f=png&s=629

16a51f4e0ae8ae48?w=720&h=387&f=png&s=556
  • 安装后的界面
16a51f4e8dde9f41?w=720&h=382&f=png&s=113

功能介绍

  • 界面功能
16a51f4ea8349f6e?w=720&h=381&f=png&s=160
  • 支持https
发出去的请求,由fiddler进行捕获,捕获后由fiddler的证书进行加密转发服务端,服务端完成解密发送给fiddler,fiddler进行解密然后明文的方式告诉给客户端。fiddler在中间做了中间人的作用。

16a51f4ea859974d?w=720&h=403&f=png&s=165
四种类型
  1. 所有的请求
  2. 浏览器请求
  3. 去除浏览器的所有请求
  4. 远程客户端请求(APP爬虫就需要这个栏目)

16a51f4ebcbae6c8?w=518&h=304&f=png&s=152
端口随意,只要跟现有的端口不冲突 必须允许远程调用

16a51f4ec7e8047b?w=720&h=485&f=png&s=119
下一步安装google浏览器插件,前提《科学上网》  chrome://apps/

16a51f4ee5eb80b5?w=720&h=402&f=png&s=376
安装插件:switchyomega

16a51f4ed857fb09?w=720&h=200&f=png&s=343
添加swichyomega的场景

16a51f4ee5da29cb?w=720&h=404&f=png&s=125
google浏览器选择对应的fiddler

16a51f4eecd2ab7c?w=447&h=515&f=png&s=360
重点是:fiddler设置完后,需要重启。

登录baidu查看效果

浏览器登录google浏览器,然后fiddler开始工作,前提google浏览器开启了swichyomega中的场景,开始decode,自动转码,一般查看都是用Raw,看看request和response的方式。

16a51f4f169adddb?w=720&h=383&f=png&s=193
PS:这是web端的fiddler里面的抓取设置,后续增加app端的抓取设置。重点是先了解熟悉这个软件。

16a51f4f2c3e0dbd?w=720&h=361&f=png&s=249

v2-5e0719d9fc7dd03ce32e624534c0b631_hd.p