「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)

zhugeaming 2019-05-18 22:05:11
原创文章,欢迎转载。转载请注明:转载自 IT人故事会 ,谢谢!原文链接地址: 「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)
之前说了安卓模拟器使用和抓包工具的使用,之前其实就是在磨刀,俗话说的好磨刀不误砍柴工,下一步就是数据的抓取。

v2-58776211691e0302722d3f9e1d896b4f_hd.p

准备工作
  • 启动fiddler
v2-13066b1435d31e77c7cff06fe3efe695_hd.p

v2-f073c524fca9ae444122ed4d2d5946ec_hd.p
本机ip 192.168.1.122

v2-8051c7df48b47377b152cd6b9b0d5eb5_hd.p
  • 夜神模拟器设置
桥接

v2-c839448f2c2940d4af7df22694cc7559_hd.p
wifi设置

v2-7a5b9d6bfa20ef4885447b8c29adc039_hd.p
刚才windows系统查询出来的ip

v2-45b0225dc90d79afb5ba958eb4c89bd8_hd.p
  • app安装(XX美食)
找个比较容易抓取的开始上手吧,在夜神模拟器市场中搜:豆果,下载图片中的app

v2-0333378a3ecef5f3e4266a2cf70b9223_hd.p

v2-d85ccae3dbd43ce0407b6d9800f7df3c_hd.p

v2-93d3e7675f27837207f616df8073a420_hd.p

抓取目标
点击图片中的分类

v2-c2766674d1507d2c7da8d0243f115470_hd.p

v2-5ab82915235110c22b9d9db3804951c1_hd.p

v2-8a12123024855dfa02217c12cf1103b2_hd.p
  • 分析app的数据
正常的app,请求的连接都是域名的方式,并且跟自己的app的名称相关。例如:豆果美食,app的请求连接也都是有dougou。

v2-a21f13236c75a1b4399bbfd0fa6e7e12_hd.p
进入fiddler里面,ctrl+f,输入dougou

v2-90d59e732ba9d3b9eac32684727bc696_hd.p
找到一个请求,发现返回是Unicode编码,需要进行一些解码

v2-c89bf61a9be306b40799588855f8b895_hd.p
复制返回结果Unicode编码到json.cn查看

v2-3e46d2d631268f7ac71f20ca28edeffb_hd.p
分类发现跟app一致,任何app想进行动态的开发,都是通过请求获取的。

v2-1c3fc99b44b7ac56049e8d140fc51063_hd.p
查看详情

v2-0d665e0e5db4f380264d549babac2694_hd.p
下拉类别下牛肉的发现一个规律,原来每页15条,哈哈url里面有规律

v2-0f007420c95ca632703e1ce9cc60f720_hd.p
PS:本次通过fiddler监控和发现app请求的规则。下次开始写python脚本进行爬取数据。

v2-7f75c93f587eca2c35da2664ce67e513_hd.p
蝉知2.0