AntiCrawlerSolution(反爬解决方案)

1 . 写在开头

• 1.1 项目初衷
• 1.2 项目介绍
• 1.3 加入我们
• 1.4 感谢

2 . 反爬分类以及对应解决方案

• 2.1 消息头鉴别

  • 2.1.1 Referer鉴别
    • 2.1.1.1 反爬原理
    • 2.1.1.2 真实场景还原
    • 2.1.1.3 解决方案
  • 2.1.2 UserAgent鉴别
    • 2.1.2.1 反爬原理
    • 2.1.2.2 真实场景还原
    • 2.1.2.3 解决方案
  • 2.1.3 Cookie鉴别
    • 2.1.3.1 反爬原理
    • 2.1.3.2 真实场景还原
    • 2.1.3.3 解决方案

• 2.2 IP判别

  • 2.2.1 相同IP鉴别
    • 2.2.1.1 反爬原理
    • 2.2.1.2 真实场景还原
    • 2.2.1.3 解决方案

• 2.3 请求参数、主体判别

  • 2.3.1 请求参数鉴别
    • 2.3.1.1 反爬原理
    • 2.3.1.2 真实场景还原
    • 2.3.1.3 解决方案
  • 2.3.2 请求主体鉴别
    • 2.3.2.1 反爬原理
    • 2.3.2.2 真实场景还原
    • 2.3.2.3 解决方案

• 2.4 验证码判定

  • 2.4.1 图片验证码
    • 2.4.1.1 反爬原理
    • 2.4.1.2 真实场景还原
    • 2.4.1.3 解决方案
  • 2.4.2 语音验证码
    • 2.4.2.1 反爬原理
    • 2.4.2.2 真实场景还原
    • 2.4.2.3 解决方案
  • 2.4.3 极验验证码
    • 2.4.3.1 反爬原理
    • 2.4.3.2 真实场景还原
    • 2.4.3.3 解决方案

• 2.5 用户行为判别

  • 2.5.1 页面行为检测
    • 2.5.1.1 反爬原理
    • 2.5.1.2 真实场景还原
    • 2.5.1.3 解决方案
  • 2.5.2 浏览器指纹检测
    • 2.5.2.1 反爬原理
    • 2.5.2.2 真实场景还原
    • 2.5.2.3 解决方案

• 2.6 前端反调试Debug

  • 2.6.1 死循环Debug拦截DevTools
    • 2.6.1.1 反爬原理
    • 2.6.1.2 真实场景还原
    • 2.6.1.3 解决方案

• 2.7 APP验签

  • 2.7.1 代码混淆
    • 2.7.1.1 反爬原理
    • 2.7.1.2 真实场景还原
    • 2.7.1.3 解决方案

3 . 大V推荐

1 写在开头

1.1 项目初衷

创建这个项目的初衷是有几点在日常工作和学习中的感悟：
    （1）接触到的反爬场景少，预先的知识储备不足，真正面对的时候学习周期长，解决难题时间长以致项目延期。
    （2）想要抽空学习，却不知道从哪里入手，没有合适的反爬的社群来交流讨论经验，没有完整可用的案例来辅助学习，网上的案例简单并且基础，不适合想要深入学习的人。
    （3）追求挑战性，这点我想是很多爬虫爱好者的“天性”，正如安全圈子一样，大家总用“英雄主义”的理想，想着没有攻克的难关，所以，就需要新的“难关”抛出，于是，就希望建立这个项目以及相关小组能够帮助大家实现自己的“英雄梦”。

1.2 项目介绍

   项目其实很简单，我们会主要分为两个部分，也就是大家通常学习的顺序 - “理论”和“实战”，还有一些我们小组自研的开源库，帮助大家平常减少重复造轮子。
   理论方面： 我们会总结一下常见的反爬类型以及对应的解决方案、实际案例。
   实际案例方面：我们会结合真实的网站，详细的针对其反爬手段来进行分析。 

1.3 加入我们

我们的想法很简单：“正如没有穿不透的墙，也没有反不了的反爬”
加入我们，反“反爬”。

1.4 感谢

2 反爬分类以及对应解决方案

2.1 消息头鉴别

2.1.1 Referer鉴别

2.1.1.1 消息头鉴别

2.1.1.2 真实场景还原

2.1.1.3 解决方案

2.1.2 UserAgent鉴别

2.1.2.1 消息头鉴别

2.1.2.2 真实场景还原

2.1.2.3 解决方案

2.1.3 Cookie鉴别

2.1.3.1 消息头鉴别

2.1.3.2 真实场景还原

2.1.3.3 解决方案

---

2.2 IP判别

2.2.1 相同IP鉴别

2.2.1.1 消息头鉴别

2.2.1.2 真实场景还原

2.2.1.3 解决方案

---

2.3 请求参数、主体判别

2.3.1 请求参数鉴别

2.3.1.1 消息头鉴别

2.3.1.2 真实场景还原

2.3.1.3 解决方案

2.3.2 请求主体鉴别

2.3.2.1 消息头鉴别

2.3.2.2 真实场景还原

2.3.2.3 解决方案

---

2.4 验证码判定

2.4.1 图片验证码

2.4.1.1 消息头鉴别

2.4.1.2 真实场景还原

2.4.1.3 解决方案

2.4.2 语音验证码

2.4.2.1 消息头鉴别

2.4.2.2 真实场景还原

2.4.2.3 解决方案

2.4.3 极验验证码

2.4.3.1 消息头鉴别

2.4.3.2 真实场景还原

2.4.3.3 解决方案

---

2.5 用户行为判别

2.5.1 页面行为检测

2.5.1.1 消息头鉴别

2.5.1.2 真实场景还原

2.5.1.3 解决方案

2.5.2 浏览器指纹检测

2.5.2.1 消息头鉴别

2.5.2.2 真实场景还原

2.5.2.3 解决方案

---

2.6 前端反调试Debug

2.6.1 死循环Debug拦截DevTools

2.6.1.1 消息头鉴别

2.6.1.2 真实场景还原

2.6.1.3 解决方案

---

2.7 APP验签

2.7.1 代码混淆

2.7.1.1 消息头鉴别

2.7.1.2 真实场景还原

2.7.1.3 解决方案

3 大V推荐

验证码相关： 冷月的博客

脱壳破解相关：吾爱破解