Мониторинг и исследование состояния системы в реальном времени.
- Генератор файлов
- Засорение файловой системы
- Очистка файловой системы
- Генератор логов
- Мониторинг
- GoAccess
- Prometheus и Grafana
- Готовый дашборд
- Дополнительно. Свой node_exporter
Напиши bash-скрипт. Скрипт запускается с 6 параметрами. Пример запуска скрипта:
main.sh /opt/test 4 az 5 az.az 3kb
Параметр 1 - это абсолютный путь.
Параметр 2 - количество вложенных папок.
Параметр 3 - список букв английского алфавита, используемый в названии папок (не более 7 знаков).
Параметр 4 - количество файлов в каждой созданной папке.
Параметр 5 - список букв английского алфавита, используемый в имени файла и расширении (не более 7 знаков для имени, не более 3 знаков для расширения).
Параметр 6 - размер файлов (в килобайтах, но не более 100).
Имена папок и файлов должны состоять только из букв, указанных в параметрах, и использовать каждую из них хотя бы один раз.
Длина этой части имени должна быть от четырех знаков, плюс дата запуска скрипта в формате DDMMYY, отделённая нижним подчёркиванием, например:
./aaaz_021121/, ./aaazzzz_021121
При этом, если для имени папок или файлов были заданы символы az, то в названии файлов или папок не может быть обратной записи:
./zaaa_021121/, т.е. порядок указанных символов в параметре должен сохраняться.
При запуске скрипта в месте, указанном в Параметре 1, должны быть созданы папки и файлы в них с соответствующими именами и размером. Скрипт должен остановить работу, если в файловой системе (в разделе /) останется 1 Гб свободного места. Запиши лог-файл с данными по всем созданным папкам и файлам (полный путь, дата создания, размер для файлов).
Напиши bash-скрипт. Скрипт запускается с 3 параметрами. Пример запуска скрипта:
main.sh az az.az 3Mb
Параметр 1 - список букв английского алфавита, используемый в названии папок (не более 7 знаков).
Параметр 2 - список букв английского алфавита, используемый в имени файла и расширении (не более 7 знаков для имени, не более 3 знаков для расширения).
Параметр 3 - размер файла (в Мегабайтах, но не более 100).
Имена папок и файлов должны состоять только из букв, указанных в параметрах, и использовать каждую из них хотя бы 1 раз.
Длина этой части имени должна быть от 5 знаков, плюс дата запуска скрипта в формате DDMMYY, отделённая нижним подчёркиванием, например:
./aaazz_021121/, ./aaazzzz_021121
При этом, если для имени папок или файлов были заданы символы az, то в названии файлов или папок не может быть обратной записи:
./zaaa_021121/, т.е. порядок указанных в параметре символов должен сохраняться.
При запуске скрипта в различных (любых, кроме путей содержащих bin или sbin) местах файловой системы должны быть созданы папки с файлами.
Количество вложенных папок - до 100. Количество файлов в каждой папке - случайное число (для каждой папки своё).
Скрипт должен остановить работу, когда в файловой системе (в разделе /) останется 1 Гб свободного места.
Свободное место в файловой системе определять командой: df -h /
Запиши лог-файл с данными по всем созданным папкам и файлам (полный путь, дата создания, размер для файлов). В конце работы скрипта выведи на экран время начала работы скрипта, время окончания и общее время его работы. Дополни этими данными лог-файл.
Напиши bash-скрипт. Скрипт запускается с 1 параметром. Скрипт должен уметь очистить систему от созданных в Part 2 папок и файлов 3 способами:
- По лог файлу
- По дате и времени создания
- По маске имени (т.е. символы, нижнее подчёркивание и дата).
Способ очистки задается при запуске скрипта, как параметр со значением 1, 2 или 3.
При удалении по дате и времени создания пользователем вводятся времена начала и конца с точностью до минуты. Удаляются все файлы, созданные в указанном временном промежутке. Ввод может быть реализован как через параметры, так и во время выполнения программы.
Напиши bash-скрипт или программу на С, генерирующие 5 файлов логов nginx в combined формате. Каждый лог должен содержать информацию за один день.
За день должно быть сгенерировано случайное число записей от 100 до 1000. Для каждой записи должны случайным образом генерироваться:
- IP (любые корректные, т.е. не должно быть ip вида 999.111.777.777)
- Коды ответа (200, 201, 400, 401, 403, 404, 500, 501, 502, 503)
- Методы (GET, POST, PUT, PATCH, DELETE)
- Даты (в рамках заданного дня лога, должны идти по увеличению)
- URL запроса агента
- Агенты (Mozilla, Google Chrome, Opera, Safari, Internet Explorer, Microsoft Edge, Crawler and bot, Library and net tool)
Напиши bash-скрипт для разбора логов nginx из Части 4 через awk.
Скрипт запускается с 1 параметром, который принимает значение 1, 2, 3 или 4. В зависимости от значения параметра выведи:
- Все записи, отсортированные по коду ответа;
- Все уникальные IP, встречающиеся в записях;
- Все запросы с ошибками (код ответа - 4хх или 5хх);
- Все уникальные IP, которые встречаются среди ошибочных запросов.
С помощью утилиты GoAccess получи ту же информацию, что и в Части 5.
Открой веб-интерфейс утилиты на локальной машине.
Добавь на дашборд Grafana отображение ЦПУ, доступной оперативной памяти, свободное место и кол-во операций ввода/вывода на жестком диске.
Запусти свой bash-скрипт из Части 2.
Проведи те же тесты, что и в Части 7.
Напиши bash-скрипт или программу на С, собирающие информацию по базовым метрикам системы (ЦПУ, оперативная память, жесткий диск (объем)).
Скрипт или программа должна формировать html страничку по формату Prometheus, которую будет отдавать nginx.
Саму страничку обновлять можно как внутри bash-скрипта или программы (в цикле), так и при помощи утилиты cron, но не чаще, чем раз в 3 секунды.