python + scrapy + splash + docker,可以透過 API 來完成自動下載。
安裝 python 和 pip3(for debian, ubuntu)
sudo apt install python3
sudo apt install python3-pip
安裝 scrapy, requests, splash
sudo pip3 install scrapy
sudo pip3 install requests
sudo pip3 install scrapy_splash
docker 官方安裝腳本
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
sudo docker pull scrapinghub/splash
以及啟動splash
sudo docker run -itd -p 8050:8050 --rm scrapinghub/splash
更改設定 php session id cd 至 專案資料夾
scrapy crawl pixiv
此代碼緊供技術交流研討之用途。若有不正確或可改善之處歡迎聯絡。