「docker实战篇」python的docker-打造多任务端app应用数据抓取系统(终结)(36)
2019-07-09 10:58:12
李明
  • 访问次数: 375
  • 注册日期: 2018-07-09
  • 最后登录: 2019-08-08

通过前面35篇文章,完成了python和docker配合抓取移动端,一起总结下吧。

总结

爬虫分为:web网页数据的抓取,app应用数据的抓取,软件应用数据的抓取,本「docker实战篇」主要是针对app应用数据的抓取的,爬虫的工程师抓取应用的时候的痛点有哪些呢?

  1. 不会抓包,不知道手机移动数据如何抓包
  2. 有些app为了防止破解做了加壳,强证书校验,导致无从下手
  3. 只知道appium移动自动化工具可以支持自动化,却不知道它还可以做爬虫
  4. 不知道爬虫系统是如何部署到服务器上的
  • 解决方案
  1. 针对没有安卓二手手机的问题,我们通过模拟器的方式来进行模拟安卓手机来进行爬取。用自己的手机确实很疼,没有没关系可以用模拟器。

  2. fiddler 和 mitmpoxy的使用,拦截过滤和Python脚本的交互都进行了实验。

  3. 强证书校验的时候,可以通过破解的方式来进行处理。

  4. web界面抖音的js的破解方式也做了说明。

  5. appium是自动化测试工程师手中的利器,会爬虫的老铁也可以拿来用的。

  6. python爬虫脚本准备好后,可以通过虚拟机挂载共享文件的方式,把本地文件映射到虚拟机,然后映射到docker容器中。

PS:最后docker的实践,关于爬虫这块高级docker的承诺,我也兑现了,其实很多时候就是缺少一个思路,工具真的是一大把,条条大路通罗马,多学多问,通过爬虫的实践,让老铁对docker越走越远,越用越专。谢谢各位老铁的支持了。

>>原创文章,欢迎转载。转载请注明:转载自 IT人故事会 ,谢谢!
>>原文链接地址: 「docker实战篇」python的docker-打造多任务端app应用数据抓取系统(终结)(36)