Неверное формирование xml-отчета в формате JUnit

[artbear]

Сейчас в отчет JUnit в качестве имени класса попадает полный путь к запускаемым тестам
Например, c:\teamcity\buildagent\work\dd7847c637a3f24b\tests\Core\Тесты_ВыполнениеТестов.epf.ТестДолжен_ПроверитьВызов_ПослеЗапускаТеста_УПадающегоТеста

При работе с билд-серверами это доставляет неудобства
Например, если поменять путь к тестам. А это легко сделать, запустив другой агент билд-сервера.
Проблемы в том, что

• ломается история тестов, т.к. у теста будет новое имя класса
• неудобно просматривать сами тесты. т.к. имя класса становится очень длинным.

Нужно исправлять.

[karnilaev]

В дополнение к этой проблеме есть проблема с параметрическими тестами, у которых изменено представление.

У нас в системе изначально юнит-тесты писались не с помощью фреймворка xUnitFor1C. Сейчас мы перешли на xUnitFor1C и старые тесты я подключил к новому фреймворку с помощью параметрических тестов, в представление которых я установил имя старого теста.

Вот что отображается в дереве тестов:

Вот что формируется в отчете:

<testsuite name="Тест_НесконвертированныеОбщиеТесты">
        <testcase classname="Метаданные.Обработки.Тест_НесконвертированныеОбщиеТесты" name="ТестДолжен_ВыполнитьТестИзСтарогоФреймворка" time="0.653" status="passed"/>
        <testcase classname="Метаданные.Обработки.Тест_НесконвертированныеОбщиеТесты" name="ТестДолжен_ВыполнитьТестИзСтарогоФреймворка" time="0.329" status="passed"/>
        <testcase classname="Метаданные.Обработки.Тест_НесконвертированныеОбщиеТесты" name="ТестДолжен_ВыполнитьТестИзСтарогоФреймворка" time="0.221" status="passed"/>
...

Предлагаю в качестве названия теста выводить представление

[karnilaev]

К тому же предлагаю поменять местами значения testsuite и testcase, т.к. в обработке может быть несколько групп. В моем понимании testsuite - это обработка, а testcase - это группа.

[artbear]

@karnilaev

Предлагаю в качестве названия теста выводить представление

Согласен.

К тому же предлагаю поменять местами значения testsuite и testcase, т.к. в обработке может быть несколько групп. В моем понимании testsuite - это обработка, а testcase - это группа.

Согласен. Но есть вопрос:
у тебя 3 вариации - обработка, группа, тест.
В JUnit.xml всего 2 вариации - testsuite и testcase, также есть имя класса classname
Как ты предлагаешь выполнять слияние этих понятий?

[karnilaev]

Предлагаю сделать как в версии 3.0:

• testsuite - иерархия из подсистем, обработок и контейнеров, например:
  • Подсистема
    • Подчиненная подсистема
      • Название обработки
        • Группа 1
        • Группа 2
• testcase - тестовый метод
• classname - здесь можно выводить как название обработки, так и название вышестоящего контейнера. Для своих целей я сделаю вывод вышестоящего контейнера, чтобы CI подцепились тесты из версии 3.0, однако по логике вещей мне кажется сюда логично выводить название обработки.

[artbear]

Все равно понял "testsuite - иерархия из подсистем, обработок и контейнеров"
Давай напиши заполнение всех 3 полей по своему же скриншоту.

[karnilaev]

Представлю другой скриншот, где есть группы:

<testsuite name="МодульныеТесты">
...
  <testsuite name="Обработки">
    <testsuite name="Тест_НесконвертированныеТестыОбработок">
      <testsuite name="АнализНарушенийПоФонду">
        <testcase classname="АнализНарушенийПоФонду" name="ЮТ_ПроверкаОценочнойСтоимостиДолговыхИнструментов_ОЗ_А" time="0" status="passed"/>
        <testcase classname="АнализНарушенийПоФонду" name="ЮТ_ПроверкаОценочнойСтоимостиВТечениеНеМенееДвухТретейРабочихДнейКалендарногоКвартала_ОЗ_А" time="0" status="passed"/>
...
      </testsuite>
    </testsuite>
  </testsuite>
</testsuite>

В classname подставил как мне нужно, но для проекта реализую как ты предложишь.

[artbear]

Насколько я помню, в формате JUnit.xml нет подобной вложенности testsuite :(
Если я ошибаюсь, поправьте меня.

[karnilaev]

Вот то, как формируется отчет в версии 3.0 из реального отчета. Мой CI Bamboo понимает этот формат:

<testsuites tests="119" name="1CUNIT" time="37" failures="0" errors="3" skipped="2">
  <testsuite name="МодульныеТесты">
  <properties/>
    <testsuite name="Документы">
    <properties/>
      <testsuite name="Тест_ДокументаВыдачаПаев">
      <properties/>
        <testcase classname="Тест_ДокументаВыдачаПаев" name="ТестДолжен_СоздатьДвиженияПоРегистрамПайщиков_GSK_110" time="0" status="passed"/>
        <testcase classname="Тест_ДокументаВыдачаПаев" name="ТестДолжен_РассчитатьНадбавкуУправляющейКомпанииИСуммДокументаПоВнутреннемуИВнешнемуАлгоритму_GSK_42" time="0" status="passed"/>
...

Вложенность может быть и больше. В этом примере в подсистеме МодульныеТесты есть подсистема Документы

[artbear]

Лады, принимается.
Сможешь поправить сабж?

[karnilaev]

Да, сделаю.