uicoolcn / UiCoolVisualWebSpider Star 3 Code Issues Pull requests 📄【优爱酷可视化网站网页数据采集系统】 采用先进的可视化采集技术,智能识别网页元素类型,如:图片、文字、链接、HTML 、文件等,支持运行Javascript脚本、应用正则表达式、自动滚屏、自动翻页、打开弹出窗口并采集数据,支持数据自动去重、仿人工间歇暂停防IP阻塞、自动保存等采集设置;支持浏览器Cookie和缓存等浏览器设置;支持代理轮换科学上网采集;支持“类别/关键字”;支持图像重命名等; 更可支持多线程采集等高级采集选项设置,vip版还可支持定时计划采集。 javascript regex regex-pattern high-speed multi-thread run deduplication dedup visual-web-spider visual-website-miner auto-scrool-web chromium-webbrowser-core images-extrator words-text-miner links-spider auto-save-to-excel export-to-database proxy-swith scheduled-data-miner table-list-grid-autotech Updated Aug 12, 2019
moj124 / web_crawler Star 0 Code Issues Pull requests The web_crawler is a asynchoronous gevent link crawler that maps all the associated local links constrained by the input webpage url. crawler crawler-python links-spider Updated Oct 22, 2021 Python