Пример получения и обработки логов Nginx в Yandex Data Stream с помощью Yandex Data Transfer

Данный пример демонстрирует получение логов Nginx в Yandex Data Streams, их обработку функцией Yandex Cloud Functions и дальнейшую передачу с помощью Yandex Data Transfer в базу данных Yandex Managed Service for YDB.

Схема обработки и отправки логов:

Перед началом работы

1. Настройте отправку логов Nginx в поток данных Yandex Data Stream.
2. Создайте базу данных YDB для хранения логов.
3. Создайте функцию для обработки логов из файлов index.js и package.json этого репозитория.

Настройте трансфер данных

1. Подготовьте и создайте приемник данных из Data Streams. Используйте функцию обработки логов и конвертирование по json-шаблону shema.json. Вы можете просмотреть свои данные, нажав кнопку предварительного просмотра.
2. Создайте приемник данных — базу данных YDB.
3. Создайте трансфер данных из источника YDS в приемник YDB.
4. Активизируйте трансфер.

Просмотр данных

1. Откройте базу данных YDB.
2. Просмотрите данные в таблице.