prettyrhythm-prismstone-scrapy

プリズムストーンリスト (http://www.prettyrhythm.jp/list/index.php) のストーンの情報を、インターネットアーカイブからスクレイピングするコード。プリズムストーンリストのページが壊れてしまっているので(2018/01/09現在)、正しく検索できるページを作るための準備として作りました。

2020年12月13日に確認したら、ウェブサイトのプリズムストーンリストのページが消されてしまっているみたいでした。画像のURLにもアクセスできなくなってしまったので、Google Cloud StorageのURLを使用したリストを作成しました。

プリズムストーンリスト

• 閲覧用: prismstone_with_brand_gcs.md
• GitHub Pages hosted JSON: https://sakuramochi0.github.io/prettyrhythm-prismstone-scrapy/prismstone_with_brand_gcs.json
• You can also use the image mirror storage created for the archive: https://storage.googleapis.com/prettyrhythm-prismstone-album/
  • i.e.: https://storage.googleapis.com/prettyrhythm-prismstone-album/gif/s05-rad-03r-l.gif (original)
  • i.e.: https://storage.googleapis.com/prettyrhythm-prismstone-album/webp/s05-rad-03r-l.webp

コードのライセンス

• GNU General Public License v3.0

ただし、プリズムストーンのデータ *.json と *.md を除く。

使い方

*.json の作り方

1. Python3 をインストールする。
2. $ pip install -r requirements.txt
3. $ scrapy runspider main.py -o prismstone.json
4. $ scrapy runspider brand.py -o brand.json

*.json を *.md に変換する方法

1. Node.js をインストールする。
2. $ npm install
3. $ npm run convert

バグ

• 同じアイテムを重複して取得してしまう問題があります。リポジトリにあるデータは、重複を手動で取り除いたものになっています。