BenchmarkOneScript

Быстрый старт · Документация · Примеры

Библиотека для измерения производительности кода на OneScript, вдохновлённая BenchmarkDotNet, с поддержкой параметризации, мониторинга памяти и гибкой настройки тестов.

Возможности

• Гибкая настройка: конфигурация тестов через аннотации, программный код и CLI.
• Параметризованные тесты: запуск одних и тех же тестов с разными входными данными.
• Мониторинг памяти: отслеживание аллокации памяти во время выполнения.
• Метрики: время выполнения (среднее, минимум, максимум), стандартное отклонение и ошибка, операций в секунду (Op/s), квартили и произвольные процентили.
• Экспорт результатов: сохранение результатов выполнения бенчмарков в Markdown, JSON, XML, HTML.

🚀 Быстрый старт

1. Установка

opm install benchmark

2. Создание бенчмарка

Создайте класс с методами, помеченными аннотацией &Бенчмарк, где каждый метод реализует тестируемую логику. В следующем примере мы сравниваем алгоритмы конкатенации строк через оператор + и метод СтрСоединить:

// КонкатенацияСтрок.os

&Параметры(100, 1000)
Перем Количество Экспорт;
Перем Подстрока;

&МониторингПамяти
Процедура ПриСозданииОбъекта()
	Подстрока = "Просто текст";
КонецПроцедуры

&Бенчмарк
&Эталон
Процедура ОператорСложения() Экспорт
	Текст = "";
	Для НомерПодстроки = 1 По Количество Цикл
		Текст = Текст + Подстрока;
	КонецЦикла;
КонецПроцедуры

&Бенчмарк
Процедура МассивПодстрок() Экспорт
	МассивПодстрок = Новый Массив();
	Для НомерПодстроки = 1 По Количество Цикл
		МассивПодстрок.Добавить(Подстрока);
	КонецЦикла;

	Текст = СтрСоединить(МассивПодстрок);
КонецПроцедуры

3. Запуск бенчмарков

Запустите бенчмарки одним из следующих способов:

CLI:

benchos run [OPTIONS] [FILE]

API:

#Использовать benchmark
#Использовать "."

Результат = Бенчмаркинг.Запустить(Тип("КонкатенацияСтрок"));

Более подробно про запуск бенчмарков можно почитать в документации.

4. Просмотр результатов

После завершения тестов в консоли будет отображена подробная сводная таблица, оформленная в формате Markdown:

// Сводка
BenchmarkOneScript v0.5.0, OneScript v2.0.0-rc.7+595, Microsoft Windows NT 10.0.20348.0 \
Intel Core i7-8700 CPU 3.20GHz (Max: 3.19GHz) (Coffee Lake), 1 CPU, 12 logical and 6 physical cores

| Method           | Количество | Baseline |        Mean |      StdErr |    StdDev | Ratio |     Op/s |    Allocated |
|------------------|-----------:|----------|------------:|------------:|----------:|------:|---------:|-------------:|
| ОператорСложения |        100 | Yes      |    45.30 us |    309.5 ns |  1.199 us |  1.00 | 22,077.1 |    126.54 KB |
| МассивПодстрок   |        100 | No       |    78.64 us |    376.5 ns |  1.458 us |  1.74 | 12,717.0 |     17.90 KB |
| ОператорСложения |      1,000 | Yes      | 1,458.16 us | 16,703.7 ns | 64.693 us |  1.00 |    685.8 | 11,808.96 KB |
| МассивПодстрок   |      1,000 | No       |   718.73 us |  1,878.6 ns |  7.276 us |  0.49 |  1,391.3 |    165.56 KB |

// Легенда
Количество : Значение параметра 'Количество'
Mean       : Арифметическое среднее всех измерений
StdErr     : Стандартная ошибка всех измерений
StdDev     : Стандартное отклонение всех измерений
Ratio      : Среднее значение соотношений времени выполнения относительно эталона ([Mean] / [Baseline Mean])
Op/s       : Операций в секунду
Allocated  : Выделяемая память на одну операцию
1 us       : 1 Микросекунда
1 ns       : 1 Наносекунда