Bem-vindo ao repositório do Adapta Parser, uma ferramenta avançada para análise e validação de arquivos de planilhas, especialmente projetada para preparar e verificar dados antes de sua submissão à plataforma Adaptabrasil.
- Python: O Adapta Parser é desenvolvido em Python, aproveitando sua versatilidade e as extensas bibliotecas disponíveis para manipulação de dados.
- Pandas: Utilizado para a leitura, manipulação e análise de dados em arquivos de planilhas.
- OpenPyXL: Uma biblioteca para leitura e escrita de arquivos Excel, necessária para manipular arquivos
.xlsx. - Argparse: Facilita a criação de interfaces de linha de comando, permitindo a passagem de argumentos para o script.
- PyHunspell: Uma interface Python para o verificador ortográfico Hunspell.
- Python 3.6+: A versão mínima do Python necessária para executar o Adapta Parser.
Certifique-se de que python-dev e libhunspell-dev estejam instalados.
sudo apt-get install python3-dev libhunspell-dev pip install pyhunspellconda create -n adapta_data -c conda-forge python numpy pandas -y
conda activate adapta_data
pip install -r requirements.txtInstale os requerimentos
pip install -r requirements.txt- Verificação de Formato de Arquivo: Assegura que os arquivos de entrada estão no formato
.xlsx. - Análise de Hierarquia e Indicadores: Examina as relações de hierarquia e os indicadores nas planilhas.
- Detecção de Inconsistências: Identifica e relata inconsistências nos dados, como formatos de dados errados ou campos obrigatórios ausentes.
- Validação de Relações de Dados: Verifica as relações e dependências entre diferentes conjuntos de dados.
- myparser.py: Contém a lógica principal e as funções de verificação.
- main.py: Ponto de entrada do programa, lida com argumentos da linha de comando.
- test_parser.py: Script para testar o parser, garantindo a consistência e a confiabilidade dos resultados.
Para executar o Adapta Parser, use o seguinte comando:
python3 main.py --input_folder=input_data/data_ground_truth_01/-
--input_folder(obrigatório): Especifica o caminho para a pasta de entrada contendo os arquivos.xlsxa serem analisados. Este argumento é obrigatório e deve ser seguido pelo caminho da pasta.Exemplo:
--input_folder=caminho/para/pasta -
--no-spellchecker: Quando este argumento é usado, o script não executa a verificação ortográfica nos arquivos.xlsx. É útil se você deseja acelerar o processo de análise ou se a verificação ortográfica não é necessária. Exemplo:--no-spellchecker -
--lang-dict(padrão:pt): Define qual a linguagem do dicionário ortográfico a ser usado. O valor padrão épt(português). Você pode alterar paraen(inglês) ou qualquer outro idioma suportado. Para adicionar novas palavras ao dicionário extra do verificador ortográfico, adicione-as ao arquivodictionaries/extra-words.dic, onde a primeira linha deve ser o número de palavras adicionadas e as linhas seguintes devem conter as palavras adicionadas.Exemplos:
--lang-dict=pt --lang-dict=en -
--debug: Executa o programa em modo de depuração. Isso pode incluir a impressão de mensagens de depuração adicionais, úteis para desenvolvimento ou diagnóstico de problemas.Exemplo:
--debug -
--no-warning-titles-length: Quando este argumento é usado, o script não emite avisos sobre títulos de planilhas que excedem o limite de caracteres. Isso pode ser útil se você deseja ignorar avisos sobre títulos longos.Exemplo:
--no-warning-titles-length
pip install coverageExecute o código test_parser.py para realizar testes automatizados, garantindo que o parser funcione conforme esperado em diferentes cenários de dados.
pytest --collect-only
pytest -v -s
# Ou
pytest tests/unit/test_parser.py -v
# Ou
coverage run -m pytest -v -s
coverage run -m pytest tests/unit/test_parser.py -v
coverage report -m
# Ou
coverage run --source=src/ -m pytest -v -s && coverage report -mpip install ruffruff myparser.py
Ou
ruff check . --fix
Ou
ruff check --target-version=py310 .pip install enum34