Skip to content

Um web crawler usando Cheerio e Next.js que pega notícias de um site, formata e exibe-as em uma tabela.

Notifications You must be signed in to change notification settings

KaioFelps/live-crawler

Repository files navigation

Live Crawler

Um pequeno web-crawler que busca e trata o DOM da página de promoções ativas do Habblive, transformando as notícias em um tipo de dado consistente e apresentando as promoções numa interface simples construída com React Bootstrap.

Rodando a aplicação

Desenvolvimento:

npm run dev
# or
yarn dev
# or
pnpm dev

Acesse http://localhost:3000 no navegador para carregar a home.

Changelog

v0.2.0

O html da página é buscado (através do fetch nativo).

Utilizando a biblioteca Cheerio, o DOM é manipulado de modo a obter os dados necessários para inicializar instâncias da entidade Article.

  • A plataforma browserless não é mais utilizada;
  • A biblioteca Puppeteer não é mais utilizada.

v0.1.0

Utiliza-se a biblioteca Puppeteer para acessar a página e buscar os dados, formatando-os na página .tsx.

Como browser, utilizava-se a plataforma browserless para acessar o site do Habblive num ambiente serverless..

About

Um web crawler usando Cheerio e Next.js que pega notícias de um site, formata e exibe-as em uma tabela.

Topics

Resources

Stars

Watchers

Forks

Packages

No packages published