Курсовая работа по главе 5.

.env_sample

@@ -0,0 +1,6 @@
+POSTGRES_HOST=localhost
+POSTGRES_USER=user
+POSTGRES_PASSWORD=password
+POSTGRES_PORT=5432
+POSTGRES_DB=hh_database
+EMP_ID_LIST="6041,2227671,2748,3776,3529,78638,4233,5390761,2180,906557"

main.py

@@ -0,0 +1,127 @@
+import os
+
+import psycopg2
+from dotenv import load_dotenv
+from src.db_util import create_db,create_tables
+from src.api_hh import insert_vac_data,insert_emp_data
+from src.db_manager import DBManager
+
+load_dotenv()
+
+db_config = {
+    "user": os.getenv("POSTGRES_USER"),
+    "password": os.getenv("POSTGRES_PASSWORD"),
+    "host": os.getenv("POSTGRES_HOST"),
+    "port": os.getenv("POSTGRES_PORT"),
+    "dbname": os.getenv("POSTGRES_DB")
+}
+
+
+def check_db() -> bool:
+    """функция проверяет наличие базы данных """
+    with psycopg2.connect(
+        database="postgres",
+        user=os.getenv("POSTGRES_USER"),
+        password=os.getenv("POSTGRES_PASSWORD"),
+        host=os.getenv("POSTGRES_HOST"),
+        port=os.getenv("POSTGRES_PORT"),
+        ) as conn:
+        cur = conn.cursor()
+        cur.execute(
+            "SELECT count(datname) FROM pg_database WHERE datname = (%s) ",
+            (db_config["dbname"],),
+        )
+        rows = cur.fetchall()
+        cur.close()
+
+
+        if rows[0][0] != 1:
+            return False
+        else:
+            return True
+        conn.close()
+
+
+
+
+
+def main():
+    db_create: bool
+    db_create = check_db()
+    if db_create is False:
+        print(f"База {os.getenv("POSTGRES_DB")} не существует")
+        create_db()
+        print(f"База {os.getenv("POSTGRES_DB")} создана")
+        create_tables()
+        print(" таблицы созданы")
+        print()
+    else:
+        print(f"База {os.getenv("POSTGRES_DB")} существует")
+        create_tables()
+
+
+    list_empl_str=os.getenv("EMP_ID_LIST").split(',')
+    for item in list_empl_str:
+        insert_emp_data(int(item))#вставка данных о работодателях
+        insert_vac_data(item, 100)#вставка данных о вакансиях
+
+    print("Данные из api.hh.ru загружены ")
+    db_manager=DBManager()
+
+    print("Вывод списка работодателей и количества вакансий в базе ")
+    m = input("Нажмите Enter для продолжения")
+    result = db_manager.get_companies_and_vacancies_count()
+    for item in result:
+        print(*item, sep=" ** ")
+
+    print("Все вакансии:")
+    m = input("Нажмите Enter для продолжения")
+    result = db_manager.get_all_vacancies() #все вакансии
+    for item in result:
+        print(*item, sep=" ** ")
+
+    print("Вычисление средней зарплаты:")
+    m = input("Нажмите Enter для продолжения")
+    result = db_manager.get_avg_salary()#Средняя зарплата
+    print(f"Средняя зарплата: {result}")
+
+    print("Список вакансий c зарплатой выше средней:")
+    m = input("Нажмите Enter для продолжения")
+    result = db_manager.get_vacancies_with_higher_salary()
+    for item in result:
+        print(*item, sep=" ** ")
+
+    print("Поиск вакансий по ключевому слову")
+    keyword=input("Введите ключевое слово : ")
+    result = db_manager.get_vacancies_with_keyword(keyword)
+
+    for item in result:
+        print(*item, sep=" ** ")
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+if __name__ == "__main__":
+    main()
+
+    # print(db_config1)
+    # list_empl:list[int] = []
+    # env_list = os.getenv("EMP_ID_LIST")
+    # list_empl_str=env_list.split(',')
+    # for item in list_empl_str:
+    #     list_empl.append(int(item))
+    #
+    # print(list_empl)
+    # db_config1['dbname'] = "postgres"
+    # print(db_config1)

pyproject.toml

@@ -0,0 +1,30 @@
+[tool.poetry]
+name = "cw-5-database"
+version = "0.1.0"
+description = ""
+authors = ["Michael Gorbunov"]
+license = "free"
+readme = "README.md"
+
+[tool.poetry.dependencies]
+python = "^3.12"
+psycopg2 = "^2.9.9"
+requests = "^2.32.3"
+python-dotenv = "^1.0.1"
+types-psycopg2 = "^2.9.21.20240819"
+types-requests = "^2.32.0.20240712"
+
+
+[tool.poetry.group.lint.dependencies]
+flake8 = "^7.1.1"
+black = "^24.8.0"
+isort = "^5.13.2"
+mypy = "^1.11.2"
+
+
+[tool.poetry.group.dev.dependencies]
+pytest-cov = "^5.0.0"
+
+[build-system]
+requires = ["poetry-core"]
+build-backend = "poetry.core.masonry.api"

readme.md

@@ -0,0 +1,63 @@
+# Проект: Работа с БД PostgreSQL и API hh.ru
+## Описание
+Данный проект предназначен для сбора и анализа данных о работодателях и вакансиях 
+с использованием API hh.ru (HeadHunter). Он позволяет пользователю получать 
+информацию о компаниях и их вакансиях, сохранять эту информацию в базе данных 
+PostgreSQL и выполнять различные запросы для анализа данных. 
+
+Проект состоит из нескольких модулей, которые взаимодействуют друг с другом:
+1. main.py: Основной файл для запуска проекта. Инициализирует сбор данных и выполняет запросы к базе данных.
+2. db_util.py: Модуль для создания базы данных и таблиц.
+3. db_manager.py: Класс для взаимодействия с базой данных и выполнения запросов.
+4. api_hh.py: Модуль для взаимодействия с API hh.ru и вставки данных в базу.
+5. .env_sample: Конфигурация подключения к базе данных.
+
+
+## Установка
+- Клонируйте репозиторий на свой компьютер:
+
+```
+https://github.com/MichaelGorbunov/CW_5_DataBase
+```
+
+- Установите необходимые зависимости:
+1. Создайте и активируйте виртуальное окружение poetry (рекомендуется)
+2. Установите зависимости из pyproject.toml
+3. Настройте подключение к базе данных в файле .env_sample и переименуйте его в .env. 
+Для корректного первичного подключения необходимо наличие базы postgres на сервере.
+4. В файл записан список id  работодателей
+```
+POSTGRES_HOST=localhost
+POSTGRES_USER=user
+POSTGRES_PASSWORD=password
+POSTGRES_PORT=5432
+POSTGRES_DB=hh_database
+EMP_ID_LIST="6041,2227671,2748,3776,3529,78638,4233,5390761,2180,906557"
+```
+
+## Использование
+Для запуска приложения используйте команду:
+
+python main.py
+
+## Результат:
+Скрипт выполнит следующие шаги:
+
+1. Создаст базу данных и таблицы для хранения данных о компаниях и вакансиях.
+2. Соберет данные о 10 работодателях и их вакансиях(первые 100) с помощью API hh.ru.
+3. Сохранит собранные данные в базу данных.
+4. Выполнит несколько запросов к базе данных и выведет результаты.
+
+## Структура проекта
+```
+main.py               # Основной скрипт для запуска проекта
+db_util.py            # Модуль для создания БД и таблиц
+db_manager.py         # Модуль для выполнения запросов к базе данных
+api_hh.py             # Модуль для взаимодействия с API hh.ru и заполнения БД
+.env_sample           # Файл примера для конфигурации подключения к базе данных
+README.md             # Описание проекта
+```
+
+## Лицензия
+Проект предназначен для изучения Python,SQL,PostgreSQL и может использоваться для любых целей,
+не противоречащих законодательству РФ.