DataDigger - это мощное веб-приложение, предназначенное для извлечения и анализа структурированных данных с веб-сайтов. Разработанное на языке Go, оно обеспечивает удобный опыт для извлечения, анализа и экспорта данных.
DataDigger организует извлеченные данные по следующим категориям:
| Тип контента | HTML тег | Текст | URL | Метаданные | Дата |
|---|---|---|---|---|---|
| title | title | Заголовок веб-сайта | 2023-05-20 | ||
| heading | h1 | Основной заголовок | 2023-05-20 | ||
| paragraph | p | Текст содержания... | 2023-05-20 | ||
| link | a | Текст ссылки | https://example.com | 2023-05-20 | |
| image | img | Альтернативный текст | https://example.com/image.jpg | 2023-05-20 | |
| metadata | description | Описание сайта | 2023-05-20 |
-
Комплексное извлечение данных: Автоматически собирает и организует:
- Заголовки страниц и метаданные
- Заголовки (H1-H6)
- Текст параграфов
- Списки (упорядоченные и неупорядоченные)
- Ссылки с их текстом и URL-адресами
- Изображения с их альтернативным текстом и URL-адресами
- Таблицы с форматированным содержимым
-
Экспорт в Excel: Экспорт в формат Excel (.xlsx) одним кликом с правильно форматированными листами и столбцами
-
Удобный интерфейс: Чистый, интуитивно понятный дизайн, не требующий технических знаний
-
Обработка в реальном времени: Быстрый и эффективный механизм сбора данных с немедленными результатами
- Введите URL любого веб-сайта, который вы хотите проанализировать, в поле ввода
- Нажмите "Извлечь данные" и позвольте DataDigger сделать свою магию
- Получите структурированный файл Excel со всеми извлеченными данными
- Просмотрите организованный контент, классифицированный по типу и HTML-элементу
- Маркетинговые исследования: Анализ сайтов конкурентов и информации о продуктах
- Агрегация контента: Создание баз данных информации из нескольких источников
- SEO-анализ: Извлечение и анализ заголовков, метаданных и структуры контента
- Журналистика данных: Сбор данных для отчетности и анализа
- Академические исследования: Сбор информации из онлайн-источников для исследований
DataDigger построен с использованием:
- Go (Golang) для обработки на серверной стороне
- GoQuery для парсинга HTML
- Excelize для генерации файлов Excel
- Чистый HTML/CSS/JavaScript на фронтенде
- Go 1.19 или выше
- Клонируйте репозиторий
- Выполните
go mod downloadдля установки зависимостей - Запустите сервер с помощью
go run main.go - Получите доступ к приложению по адресу http://0.0.0.0:8080
Этот проект лицензирован под лицензией MIT - см. файл LICENSE для деталей.
Вклады приветствуются! Не стесняйтесь отправлять запросы на включение изменений или открывать проблемы.
Сделано с ❤️ от Solrikk