Ошибочное "успешное" прохождение дымовых тестов при ошибках

[realMaxA]

Предварительно

• Вы используете последнюю версию продукта ?
• Вы проверили Известные проблемы при тестировании ?

Описание

При запуске тестов в пакетном режиме, если в процессе инициализации возникает исключение, выполнение тестов не отменяется. При этом, при инициализации дерево тестов может оказаться не заполненным или заполненным не корректно. Тесты будут выполняться в соответствии с получившимся деревом, отчего, как минимум, если дерево тестов пустое, результатом тестирования будет успех.

Способ воспроизведения: Запустить тесты с какой-либо ошибкой в параметрах запуска.

Пример

Работающий вариант:

"runner.bat" xunit "build/environment/tools/xUnitFor1C/Tests/Smoke" --xddConfig "./spec/tests/xUnitFor1Cv4/xunit_conf.json" --pathxunit build/environment/tools/xUnitFor1C/xddTestRunner.epf --ibname /F"build/ib" --ordinaryapp 0 --v8version 8.3.10

Ошибочный вариант:

"runner.bat" xunit "build/environment/tools/xUnitFor1C/Tests/Smoke.НетТакогоКаталога" --xddConfig "./spec/tests/xUnitFor1Cv4/xunit_conf.json" --pathxunit build/environment/tools/xUnitFor1C/xddTestRunner.epf --ibname /F"build/ib" --ordinaryapp 0 --v8version 8.3.10

Внимание на каталог с тестами (2-й аргумент runner'а).

Такая же ситуация возникает при некорректном указании параметра "--xddConfig" (#722)