Cria projeto inicial para acomodar gerenciador de logs, cálculo de métricas de acesso e api sushi by pitangainnovare · Pull Request #1 · scieloorg/usage

pitangainnovare · 2024-04-08T01:50:18Z

O que esse PR faz?

Este PR cria, inicialmente, uma estrutura baseada nos templates scms (core, upload, entre outros) para acomodar, numa única app, as funcionalidades de:

Gerente de logs de acesso
Cálculo de métricas COUNTER
Disponibilização de relatórios de acesso SUSHI

Este PR abarca a construção inicial do projeto, com os apps de rastreamento de erros (tracker), execução de tarefas assíncronas (Celery), modelagem de gerente de logs (log_manager) e indexação de dados (Solr).

Por onde a revisão poderia começar?

Sugere-se revisar por commits. A partir do commit 682519d códigos novos, de fato, são adicionados ao projeto. Antes dele, alguns trechos aproveitados dos projetos core e upload são maioria - ainda assim, sugere-se também analisar os arquivos de configuração do projeto (config) e requirements.

Como este poderia ser testado manualmente?

Pode-se seguir os seguintes passos para construir e rodar a aplicação, estando na raiz do projeto:

make build compose=local.yml
make django_makemigrations
make django_migrate
make django_createsuperuser
make up

Após o quinto passo, a aplicação deverá estar funcional e acessível por meio da url http://0.0.0.0:8009/admin

Acesse a url http://0.0.0.0:8009/admin/
Entre com as credenciais do superusuário
Observe que há, no menu principal, um item chamado Log Manager, que, quando acionado, lista os cinco items seguintes: Application Configuration, Collection Configuration, Log File Dates, Log File e Log Processed Row.

Para testar a aplicação, é preciso realizar algumas adições de conteúdo, como ter uma lista de coleções e configurações associadas à aplicação e às coleções. Os passos 9 a 11 ilustram como fazer isso:

Adicione coleções acessando o django shell e aproveitando-se da task da app collections

# Entre no django shell
make django_shell

# Carregue as coleções
from collection import tasks
tasks.task_load_collections(username="NOME-DO-SUPERUSER")

Crie configurações para diretório de suplementos, suplementos de mapa de geolocalizações, arquivos de bots COUNTER, e extensões de log suportadas, como mostra a imagem

Crie uma configuração de coleção para indicar qual é o diretório de arquivos de logs, como mostra a imagem seguinte

Copie alguns arquivos de log para o diretório indicado no passo 11 (obtenha esses arquivos no servidor Matomo ou contato o autor deste PR)

Adicione period_tasks para fazer download dos insumos de bots COUNTER e de mapa de geolocalizações (informe o parâmetro username: "SEU_NOME_DE_USUARIO" no campo keyword arguments, além dos parâmetros "url_robots" e "url_mmdb", como mostra a imagem e dicionário seguintes)

{
    "username": "SEU_NOME_DE_USUARIO", 
    "url_robots": "https://raw.githubusercontent.com/atmire/COUNTER-Robots/master/COUNTER_Robots_list.json", 
    "url_mmdb": "https://download.db-ip.com/free/dbip-city-lite-2024-03.mmdb.gz",
}

Entre no django_shell e execute a task discover_logs, como indicado (acesse o shell por meio de make django_shell). Também é possível configurar periodic_task, bastando acrescentar o username no campo keyword arguments.

from log_manager import tasks

# descubra novos logs
tasks.task_discover(collection_acron2="wi", username="SEU_NOME_DE_USUARIO")

# confira os logs na tela Log Files

Valide e prorocesse logs

from log_manager import tasks

# valide logs para mudar o status de "CREATED" para "QUEUE" (ou "INVALIDATED")
tasks.task_validate_logs(collection_acron2="wi", user_id=1)

# processo os logs em QUEUE
tasks.task_parse_logs(collection_acron2="wi", username="SEU_NOME_DE_USUARIO")

# confira os resultados na tela Log Processed Row

O último passo é indexar os dados no Solr. Faça

make django_bash
python manage.py update_index

Confira os resultados no Solr

Algum cenário de contexto que queira dar?

N/A

Screenshots

N/A

Quais são tickets relevantes?

N/A

Referências

N/A

gitnnolabs · 2024-04-26T19:02:40Z

Grato! Em sex., 26 de abr. de 2024 às 11:11, Pitanga Innovare < ***@***.***> escreveu:

…

@rafaelpezzuto <https://github.com/rafaelpezzuto> Poderia me enviar alguns arquivos de logs para exemplo ? Para realizar alguns testes de execução. Grato! Bom dia, sim, claro. Acabei de enviar alguns exemplares para seu e-mail @ innolabs.com.br. Qualquer dúvida, estou à disposição. — Reply to this email directly, view it on GitHub <#1 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AUXWFJQFSVTCPKUIGO4EAN3Y7JN7RAVCNFSM6AAAAABF32E6W2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZZGQ3TIOBQGA> . You are receiving this because your review was requested.Message ID: ***@***.***>

-- Jamil Atta Junior * innoLabs* www.innolabs.com.br

samuelveigarangel · 2024-05-02T01:18:59Z

tracker/tasks.py

+User = get_user_model()
+
+
+def _get_user(request, username=None, user_id=None):


Utilizar a funcao '_get_user' que esta localizado em core/utils/utils.py e apagar esta

Essa app foi extraída do repositório core. Fiz alguns ajustes para padronizar com o sugerido. Obrigado.

samuelveigarangel · 2024-05-02T01:20:32Z

tracker/models.py

+    ...
+
+
+class EventReportDeleteEventsError(Exception):


Talvez seja melhor colocar essas execeções em um arquivo excepetions.py

samuelveigarangel · 2024-05-02T01:23:29Z

core/api/v1/serializers.py

@@ -0,0 +1,24 @@
+from rest_framework import serializers


Esses modulos de APi vao ser utilizados?

Não no contexto da app core e sim em uma app nova (sushi).

samuelveigarangel · 2024-05-02T01:29:40Z

collection/tasks.py

+
+@celery_app.task(bind=True)
+def task_load_collections(self, user_id=None, username=None):
+    if user_id:


Utilizar funcao '_get_user'

samuelveigarangel · 2024-05-02T01:52:59Z

log_manager/models.py

+
+    @classmethod
+    def get(cls, config_type, sorting_field='-version_number'):
+        return cls.objects.filter(


Alterar o nome do método para de acordo com o função. Ou alterar a query para cls.objects.get(config_type=config_type)

Preciso que seja filter. Mudarei o nome.

samuelveigarangel · 2024-05-02T01:53:10Z

log_manager/models.py

+    @classmethod
+    def create(cls, user, config_type, value, is_enabled=True, version_number=None):
+        try:
+            last_config = cls.objects.filter(config_type=config_type).order_by('-version_number').first()


Com esse trecho de código, não acontecerá a exceção 'cls.DoesNotExist'.

Verdade, só ocorre com get. Obrigado. Corrigi.

samuelveigarangel · 2024-05-02T01:56:10Z

log_manager/models.py

+    base_form_class = CoreAdminModelForm
+
+    panels = [
+        FieldPanel('collection'),


Utilizar AutocompletePanel.

from wagtailautocomplete.edit_handlers import AutocompletePanel panels = [ AutocompletePanel("collection") ]

samuelveigarangel · 2024-05-02T01:56:48Z

log_manager/models.py

+
+    @classmethod
+    def get(cls, collection_acron2, config_type, is_enabled=True):
+        return cls.objects.filter(


Utilizar get.

Não devp, pois aqui posso obter mais de um elemento (como num outro caso já citado). Mudei o nome do método para ser mais claro. Obrigado.

samuelveigarangel · 2024-05-02T01:57:22Z

log_manager/models.py

+
+    panel = [
+        FieldPanel('date'),
+        FieldPanel('log_file')


AutocompletePanel

samuelveigarangel · 2024-05-02T01:58:21Z

log_manager/models.py

+    @classmethod
+    def create(cls, user, collection, path, stat_result, hash, status=None):
+        try:
+            obj = cls.objects.get(hash=hash)


cls.get(hash=hash)

samuelveigarangel · 2024-05-02T01:58:44Z

log_manager/models.py

+        FieldPanel('path'),
+        FieldPanel('stat_result'),
+        FieldPanel('status'),
+        FieldPanel('collection'),


AutocompletePanel

samuelveigarangel · 2024-05-02T01:59:15Z

log_manager/wagtail_hooks.py

+        "date",
+        "log_file__collection",
+    )
+    search_fields = ()


Sim, ficará vazio por enquanto.

samuelveigarangel · 2024-05-02T01:59:44Z

log_manager/models.py

+    base_form_class = CoreAdminModelForm
+
+    panels = [
+        FieldPanel('log_file'),


AutocompletePanel

samuelveigarangel · 2024-05-02T02:15:05Z

log_manager/tasks.py

+    """
+    col = Collection.objects.get(acron2=collection_acron2)
+
+    col_configs_dirs = models.CollectionConfig.get(


No método de classe CollectionConfig.get(), ao mudar de filter() para get(), esse trecho de código ficaria com mais clareza e garantiria que trataremos a ausência do objeto esperado de forma explícita

try: col_configs_dirs = models.CollectionConfig.get( collection_acron2=collection_acron2, config_type=choices.COLLECTION_CONFIG_TYPE_DIRECTORY_LOGS, is_enabled=is_enabled, ) except models.CollectionConfig.DoesNotExist: raise exceptions.UndefinedCollectionConfigError('ERROR. Please, add a Collection Config for the Logs Directory.')

Ou então utilizar filter

Exato. A confusão esteve em nomear como "get" um elemento que usa filter. Corrigi o nome e creio ter ficado mais claro.

samuelveigarangel · 2024-05-02T02:19:03Z

log_manager/utils.py

+
+
+def temporal_reference_to_datetime(text):
+    text = text.lower()


Colocar esta linha dentro do if para evitar erros de NoneType

samuelveigarangel · 2024-05-02T02:26:04Z

log_manager/tasks.py

+    Returns:
+        None.
+    """
+    if username:


utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:30:47Z

log_manager/tasks.py

+
+
+@celery_app.task(bind=True, name=_('Create Log File'))
+def task_create_log_file(self, collection, path, user_id=None, username=None):


celery precisa serializar os argumentos para envia-los ao workers. Então, seria interessante voce passar algum identificador de collection para você obter ele dentro da task e assim passar o objeto collection para o método create()

samuelveigarangel · 2024-05-02T02:32:57Z

log_manager/tasks.py

+
+@celery_app.task(bind=True, name=_('Validate Log'), timelimit=-1)
+def task_validate_log(self, log_file_hash, user_id=None, username=None):
+    if username:


utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:36:56Z

log_manager/tasks.py

+    Returns:
+        None.
+    """
+    if username:


Utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:37:30Z

log_manager/tasks.py

+
+@celery_app.task(bind=True, name=_('Download Supplies'))
+def task_download_supplies(self, url_robots, url_mmdb, user_id=None, username=None):
+    if user_id:


utilizar '_get_user'

samuelveigarangel · 2024-05-02T02:41:08Z

requirements/base.txt

+
+# Django
+# ------------------------------------------------------------------------------
+django==4.2.7


Atualizar django e wagtail para versões mais recente

samuelveigarangel · 2024-05-02T03:12:02Z

local.yml

+      context: .
+      dockerfile: ./compose/local/django/Dockerfile
+    image: scielo_core_local_django
+    container_name: scielo_core_local_django


mudar nome dos containers tanto em local.yml como em production.yml.
Sugestão: scielo_usage_local...

samuelveigarangel · 2024-05-02T03:59:11Z

log_manager/tasks.py

@@ -78,3 +78,32 @@ def task_discover(self, collection_acron2, is_enabled=True, temporal_reference=N

                if not (temporal_reference or from_date) or file_ctime > obj_from_date:
                    task_create_log_file(col, file_path, user_id, username)


task_create_log_file.apply_async(args=(collection_acron2, file_path, user_id, username))

gitnnolabs · 2024-05-02T13:20:37Z

@pitangainnovare solicitei para o @samuelveigarangel realizar a validação! Assim que possível por gentileza, verifique a possibilidade dos ajustes solicitado pelo @samuelveigarangel

gitnnolabs · 2024-05-06T10:28:24Z

Pessoal irei aprovar esse PR para que tenhamos um ambiente de homologação.

Aplica correções sugeridas pela revisão realizada no Pull Request #1

rafaelpezzuto added 30 commits April 7, 2024 22:22

Adiciona a .gitignore o diretório de dados Solr

da01689

Adiciona app tracker

7ae17a3

Adiciona diretório de requirements

e43f61f

Adiciona diretório de traduções

c230449

Adiciona diretório de documentações

ec9fc36

Adiciona módulo Celery

317b58b

Adiciona app core

72afbcc

Adiciona app core_settings

5cf7255

Adiciona diretório de configurações

18226ac

Adiciona diretório compose

46095ee

Adiciona app collection

b17d697

Adiciona configurações github

d42a867

Adiciona diretório de credenciais

97fbdde

Adiciona arquivos de configuração do repositório

ad0e033

Adiciona outros arquivos de configuração do repositório e do projeto

30d4316

Adiciona yml

6cb5d37

Adiciona configuração Solr

682519d

Adiciona arquivos iniciais do app log_manager

446d2fa

Adiciona arquivo choices para log_manager

4cc0915

Adiciona arquivo com exceptions de log_manager

0a7526a

Adiciona arquivo de utilitários inicial

bf457e4

Adiciona modelo ApplicationConfig em app log_manager

aea4cb1

Adiciona modelo CollectionConfig em app log_manager

26da4fa

Adiciona modelo LogFileDate em app log_manager

afb4e23

Adiciona modelo LogFile em app log_manager

3eba0b5

Adiciona modelo LogProcessedRow em app log_manager

2268fb4

Adiciona Snipet que agrupa Fragmentos em wagtail de app log_manager

0b02dc3

Adiciona task que descobre logs

e95d705

Adiciona task que cria registro de arquivo de log

37de3af

Adiciona tasks de validação de log(s)

ba9a01f

samuelveigarangel reviewed May 2, 2024

View reviewed changes

log_manager/models.py

base_form_class = CoreAdminModelForm

panels = [

FieldPanel('log_file'),

Copy link

samuelveigarangel May 2, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

AutocompletePanel

samuelveigarangel reviewed May 2, 2024

View reviewed changes

log_manager/tasks.py

Returns:

None.

"""

if username:

Copy link

samuelveigarangel May 2, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

utilizar '_get_user'

pitangainnovare reacted with thumbs up emoji

samuelveigarangel reviewed May 2, 2024

View reviewed changes

log_manager/tasks.py

Returns:

None.

"""

if username:

Copy link

samuelveigarangel May 2, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Utilizar '_get_user'

pitangainnovare reacted with thumbs up emoji

samuelveigarangel reviewed May 2, 2024

View reviewed changes

gitnnolabs merged commit 00bb1d7 into scieloorg:main May 6, 2024

pitangainnovare mentioned this pull request May 9, 2024

Aplica correções sugeridas pela revisão realizada no Pull Request #1 #12

Merged

pitangainnovare added a commit that referenced this pull request May 10, 2024

Merge pull request #12 from pitangainnovare/fix/pr-1

31c9607

Aplica correções sugeridas pela revisão realizada no Pull Request #1

pitangainnovare mentioned this pull request May 25, 2024

Cria funcionalidade para notificar ausência de arquivos de log #15

Merged

		User = get_user_model()


		def _get_user(request, username=None, user_id=None):



		def temporal_reference_to_datetime(text):
		text = text.lower()



		@celery_app.task(bind=True, name=_('Create Log File'))
		def task_create_log_file(self, collection, path, user_id=None, username=None):

		@@ -78,3 +78,32 @@ def task_discover(self, collection_acron2, is_enabled=True, temporal_reference=N

		if not (temporal_reference or from_date) or file_ctime > obj_from_date:
		task_create_log_file(col, file_path, user_id, username)

Conversation

pitangainnovare commented Apr 8, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

O que esse PR faz?

Por onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Uh oh!

gitnnolabs commented Apr 26, 2024 via email

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

samuelveigarangel May 2, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

pitangainnovare May 9, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

samuelveigarangel May 2, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

samuelveigarangel May 2, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

pitangainnovare commented Apr 8, 2024 •

edited

Loading

samuelveigarangel May 2, 2024 •

edited

Loading

pitangainnovare May 9, 2024 •

edited

Loading

samuelveigarangel May 2, 2024 •

edited

Loading

samuelveigarangel May 2, 2024 •

edited

Loading