• 爬虫技术
  • 代理ip
    • 闪臣
  • http请求
    • 指纹
      • curl_cffi
      • tls-client
      • request-go
      • wreq
    • 默认的
      • requests
      • Niquests,request增强
    • 异步请求
      • aiohttp
    • 请求增强
      • request-go
  • 浏览器爬虫框架
    • Selenium
    • Playwright
    • Puppeteer
    • Cheerio
    • (drissionpage)[https://www.drissionpage.cn/]
  • ai无头浏览器
    • (obscura)[https://github.com/h4ckf0r0day/obscura]
  • gui
    • (pywebview)[https://pywebview.idepy.com/]
    • pyqt6,Qt WebEngine
  • 验证码
    • 云码
  • 浏览器插件
    • 油猴插件
    • 插件开发

详解

指纹http套件

curl_cffi

优点：对各个系统的支持都比较OK。
缺点：只支持低版本的指纹，对于热门，最新版本的指纹不积极。

tls-client

优点：支持最新版本的指纹相关的操作

缺点：在window环境下对代理的设置不友好,常用的代理方式基本无效，只能通过环境变量的方式去设置。

ai无头浏览器

obscura ：使用rust编写，是给ai使用的浏览器，支持mcp。
隐藏了浏览器特征，目前阅读下来，主要做了两个事情

1.js 环境伪造

在 bootstrap.js里面 添加通用chrome 特征信息，浏览器指纹（Canvas、WebGL、TLS、navigator 等）

TLS/HTTP2 指纹（JA3/JA4）

模拟了chrome 145

整体来说，解决不了ip被封，验证码之类， 的问题，还是需要另外想办法，

核心的逻辑还在wreq里面

浏览器爬虫框架

Playwright

对于浏览器的支持很OK，基本支持最新的版本

Selenium

很老的无头浏览器，

drissionpage

Selenium 和 requests的集成。

gui

pyqt6,Qt WebEngine

Qt WebEngine 基于Chromium，和chrome引擎类似，但是引擎的版本比较老，容易被快手这类应用风控。

pywebview

目前应用了下还可以，而且能打开快手对浏览器的监控。

视频下载工具

(yt-dlp)[https://github.com/yt-dlp/yt-dlp]

抖音，

浏览器插件

抖音视频获取

阿抖-抖音视频采集助手 比较适合抓某个博主的全部视频，比较好用，单个视频不是太好抓。

社媒助手 这个插件更加好用下，单个视频，分享到飞书这些都OK。