regression TPCC main 28.11-30.11

[naspirato]

REGRESSION: 177150/201000: -11.9%

cluster_monitoring	git_branch	run_type	run_start_datetime	git_sha	git_commit_timestamp	warehouses	tpmC	efficiency	newOrder90p
perf4	origin/main	default_volatile_off	30.11.2024 17:28:36	d7f99d9	30.11.2024 14:26:50	16000	177150	86.1	3500
perf4	origin/main	default_volatile_off	30.11.2024 10:46:04	c8c54d4	30.11.2024 06:13:12	16000	176471	85.77	3500
perf4	origin/main	default	30.11.2024 06:10:03	be00795	29.11.2024 20:40:24	16000	176212	85.64	3750
perf4	origin/main	default_volatile_off	01.12.2024 03:44:52	ddcb25a	28.11.2024 06:38:07	16000	203274	98.79	384
perf4	origin/main	default_volatile_off	28.11.2024 07:56:33	ddcb25a	28.11.2024 06:38:07	16000	198969	96.7	1250

git log --graph --oneline --pretty=format:'%H - %ad %s %an' ddcb25a^..c8c54d4

• c8c54d4 - Sat Nov 30 09:13:12 2024 +0300 add test with build in progress index & chooser (add test with build in progress index & chooser #12148) Vitalii Gridnev

• be00795 - Fri Nov 29 23:40:24 2024 +0300 Choose only ready indices (Choose only ready indices #12146) Mikhail Surin

• a4e7da0 - Fri Nov 29 22:04:48 2024 +0300 avoid changing shardstate reads list during iteration (avoid changing shardstate reads list during iteration #12150) Mikhail Surin

• 1b51ba9 - Fri Nov 29 17:18:48 2024 +0100 Use shared compile cache to speedup queries (Use shared compile cache to speedup queries #11806) Evgeniy Ivanov

• b8297ae - Fri Nov 29 19:03:23 2024 +0300 Fix test.py::test[produce-reduce_multi_in-empty] (Fix test.py::test[produce-reduce_multi_in-empty] #12141) Roman Udovichenko

• 8fde16d - Fri Nov 29 16:51:43 2024 +0100 remove obsolete invalidation from kqp (remove obsolete invalidation from kqp #11965) Evgeniy Ivanov

• 8edc4ee - Fri Nov 29 19:46:48 2024 +0500 Add partition status to pq tablet html app (Add partition status to pq tablet html app #12144) Nikolay Shestakov

• 3c19645 - Fri Nov 29 14:52:01 2024 +0100 Improve read table test coverage: ut to read one row from table by StreamReadTable call (Improve read table test coverage: ut to read one row from table by StreamReadTable call #12118) Daniil Cherednik

• 991917c - Fri Nov 29 16:06:11 2024 +0300 remove confusing timeout macro (remove confusing timeout macro #11431) uzhastik

• f58f7ce - Fri Nov 29 15:29:43 2024 +0300 fix drop column & reset ttl in one TX on CS (fix drop column & reset ttl in one TX on CS #12127) Semyon

• a4d9d0f - Fri Nov 29 14:22:22 2024 +0300 fix not-persisted change when locking tablet (fix not-persisted change when locking tablet #12109) vporyadke

• b71bea9 - Fri Nov 29 15:41:59 2024 +0500 Add test for CDC topic control plane (Add test for CDC topic control plane #11899) Nikolay Shestakov

• 38aef7d - Fri Nov 29 13:36:24 2024 +0300 Make it possible to change in-memory setting for tables (Make it possible to change in-memory setting for tables #12099) Aleksei Borzenkov

• b03bee3 - Fri Nov 29 13:16:39 2024 +0300 Fix tpch s1 q09 canonical data (Fix tpch s1 q09 canonical data #12133) Олег

• fed45b0 - Fri Nov 29 13:09:36 2024 +0300 Implement discrete pool weights (Implement discrete pool weights #9839) Mikhail Surin

• dda2bc2 - Fri Nov 29 11:07:02 2024 +0100 Viewer returns Failed to resolve database (Fix UI error "Failed to resolve database" #11841) Andrei Rykov

• 375629c - Fri Nov 29 13:02:09 2024 +0300 [CBO] user warning added if cbo didn't work ([CBO] user warning added if cbo didn't work #11950) pilik

• 0523407 - Fri Nov 29 14:44:08 2024 +0500 Move CDC_Write test to slow (Move CDC_Write test to slow #12129) Nikolay Shestakov

• d6d5488 - Fri Nov 29 14:30:22 2024 +0500 Reply error on database size exceeded (Reply error on database size exceeded #12110) Nikolay Shestakov

• 10fc4f2 - Fri Nov 29 09:13:17 2024 +0000 Merge pull request Library import 241128-1502 #12104 from ydb-platform/mergelibs-241128-1502 Maxim Yurch

• 7827174 - Thu Nov 28 12:46:00 2024 +0300 Added the Troubleshooting section (Added the Troubleshooting section #10888) anton-bobkov

• 776b371 - Thu Nov 28 12:34:07 2024 +0300 Fix CompareRanges (Fix CompareRanges #12043) Nikita Vasilev

• 9b2bdb0 - Thu Nov 28 11:13:52 2024 +0200 Sanitized token for login audit logs (Sanitized token for login audit logs #12031) Vasily Gerasimov

• 4da9280 - Thu Nov 28 12:08:43 2024 +0300 Write last record with the same key from batch (Write last record with the same key from batch #12048) Alexander Avdonkin

• 31e0e46 - Thu Nov 28 10:00:48 2024 +0100 mon page has been added for rd read actors (mon page has been added for rd read actors #12074) Oleg Doronin

• 5c44bca - Thu Nov 28 11:58:52 2024 +0300 test followers with different ydb versions + fixes based on it (test followers with different ydb versions + fixes based on it #12024) vporyadke

• 34a26dd - Thu Nov 28 11:52:07 2024 +0300 [yt provider] Don't run operation input if sections have nodes to calculate ([yt provider] Don't run operation input if sections have nodes to calculate #11947) Roman Udovichenko

• bf6d055 - Thu Nov 28 09:28:08 2024 +0100 Remove share body logic (Remove share body logic #11987) kungurtsev

• 3891cbb - Thu Nov 28 10:03:25 2024 +0300 Fixes dqrun with enabled row dispatcher (Fixes dqrun with enabled row dispatcher #12068) yumkam

• 38350c0 - Thu Nov 28 11:39:33 2024 +0500 Add verify for wrong StartOffset and EndOffset. Fix copy of blob. (Add verify for wrong StartOffset and EndOffset. Fix copy of blob. #12049) Nikolay Shestakov

• ddcb25a - Thu Nov 28 09:38:07 2024 +0300 DQ fix rope creation (DQ fix rope creation #12073) Pisarenko Grigoriy

[naspirato]

perf 4 fed45b0 170000
perf 4 9b2bdb0 203234

cluster_monitoring	git_branch	run_type	run_start_datetime	git_sha	git_commit_timestamp	warehouses	tpmC	efficiency	newOrder90p
perf4	origin/main	default_volatile_off	01.12.2024 21:03:15	fed45b0	29.11.2024 10:09:36	16000	170299	82.77	5500
perf4	origin/main	default_volatile_off	02.12.2024 05:03:32	9b2bdb0	28.11.2024 09:13:52	16000	203234	98.77	384

perf 4 d6d5488 170000
perf 4 10fc4f2 170000
perf 4 7827174 203 075
perf 4 776b371 203 271

[naspirato]

Регрессия началась в 10fc4f2

[naspirato]

дебаг от @eivanov89
Я бы сказал, что скорее всего сломалось вне DQ/YQL. Latency кверей не изменились. Но на дашборде Queries видно, что сильно ухудшились Total time и Client time (который вовсе не client, а почти полностью тоже server time). Даб чек серверных latency.

В "Client" у нас входит GRPC-слой, RPC-актор, пересылка в kqp proxy, походы в tx proxy и scheme cache. Собственно мы и видим жуткий delivery time и ещё чёткие полочки в UserPool на 7 и 8 ядер. При этом в плохой версии слева CurrentThreadCount как раз 7 и 8 потоков. Справа потоков больше.

Мне кажется, что проблема в районе AS: у нас в UserPool не хватает ресурсов и почему-то не накидываются потоки.

@naspirato перепроверь, пожалуйста, что точно проблема в коммите с импортом.

@kruall помоги, пожалуйста, с AS. Либо там рядом есть изменения AS, либо надо понять, почему она так себя стала вести после импорта библиотек.

[naspirato]

1. в гитолог потерял следующие коммиты перед mergelib (визуально посчитал, что они относятся к другой ветке)
   10fc4f2 уже с проблемами 170000

• | 6067a04 - Thu Nov 28 17:10:58 2024 +0300 Additional validation for s3 reads/writes (Additional validation for s3 reads/writes #12082) Ivan Sukhov
• | 541cba7 - Thu Nov 28 16:57:42 2024 +0300 YQL: Add metrics for YT binary cache (YQL: Add metrics for YT binary cache #11953) Maxim Kovalev
• | 571cfe1 - Thu Nov 28 14:01:30 2024 +0100 Unmute stable tests (Unmute stable tests #12096) Kirill Rysin
• | 121d6ae - Thu Nov 28 13:54:51 2024 +0100 Delete legacy Compaction Read code (Delete legacy Compaction Read code #12078) kungurtsev
• | 02c6b58 - Thu Nov 28 15:47:01 2024 +0300 fix stream lookup bytes calculation (fix stream lookup bytes calculation #12026) Vitalii Gridnev
• | 97c9f43 - Thu Nov 28 15:06:44 2024 +0300 Refactor harmonizer in actorsystem (Refactor harmonizer in actorsystem #12084) kruall
• | a02f6d5 - Thu Nov 28 14:15:12 2024 +0300 Improvements to the transaction list (Improvements to the transaction list #12085) Alek5andr-Kotov
• | 7680faa - Thu Nov 28 13:42:54 2024 +0300 fix canonical data for tpcds s10 q39 (fix canonical data for tpcds s10 q39 #12087) Олег
• | 9f93101 - Thu Nov 28 13:22:52 2024 +0300 Login helper refactoring (Login helper refactoring #12083) azevaykin

7827174 без проблем 203 075
2) @kruall считает, что может быть виноват коммит 97c9f43
3) @kruall сделал реверт 1810b3a
4) @naspirato запустил тесты на реверт

[naspirato]

после реверта вернулось в норму

@kruall как разберешься что вызвало такое падение perf напиши, пожалуйста, можно ли было тестом это найти на более раннем этапе