taobaoSpider 抓取淘宝的指类目信息,可通过新品,热销排序。 防止淘宝封IP,使用crontab定时抓取。 半夜时对白天抓取下来的itemid进行获取淘宝各项评分的操作。 横向共有40个字段。 采用该系统抓取了3000万+个淘宝女鞋类目的商品信息。 刚毕业的时候写的,没有用框架,纯粹为了实现功能,代码渣且乱,若有需要再全部重构哈。^_^