Компилятор вылетает при самоприменении

[Mazdaywik]

При самоприменении в режиме RLMAKE_FLAGS=-X-OADS компилятор упал.

Выяснилось, что проблема в неверном порождении кода специализированной функции. Запуск

set RLMAKE_FLAGS=-X-OADS -X--log=__log.txt

выявил в логе следующее:

  PutRASLCommands\1@1 {
    s.FileHandle0#1 (CmdSentence e.SubCommands#2)
      = <Putout s.FileHandle0#1 '    (CmdSentence'>
        <PutRASLCommands@4 s.X#0 (e.X#0) e.X0#0>
        <Putout s.FileHandle0#1 '    )  // CmdSentence'>;

В правой части появляются переменные s.X#0, e.X#0 и e.X0#0, которых нет в левой части. При генерации RASL’а для этой функции компилятор падает.

Переменные с индексами X порождаются в специализаторе:

refal-5-lambda/src/compiler/OptTree-Spec.ref

Lines 1510 to 1514 in 3cd08ed

	NameSignatureVars-Term {
	(e.KnownVars) (TkVariable s.Mode)
	= <NewVarName (e.KnownVars) s.Mode 'X' 0> : (e.KnownVars^) e.Index
	= (e.KnownVars)
	(TkVariable e.Index);

Удалось построить небольшой тест, воспроизводящий проблему:

• x-vars.ref

$ENTRY PutProgramElement {
  e.Stars = <F () e.Stars>;
}

$SPEC F (e.LEFT) e.RIGHT;

F {
  (e.Left) e.Right = <G (e.Left) e.Right>;
}

$SPEC G (e.LEFT) e.right;

G {
  (e.Left) '*' e.Right = <F (e.Left '*') e.Right>;
  (e.Left) /* empty */ = /* empty */;
}

В логе для теста:

  G@2 {
    (e.Left0#1) '*' e.Right#1 = <F@2 (e.X#0) e.X0#0>;

[Mazdaywik]

Самоприменение снова не проходит. Но если раньше компилятор падал на Log.ref, то теперь падает на Escape.ref. Удалось построить минимальный пример, на котором компилятор падает (с ключом -OS):

• call-vars.ref.txt

$ENTRY Go {
  /* empty */
    = '*' : s.Sym
    = <G (s.Sym) 'abcd'> : '*abcd'
    = /* empty */;
}

$SPEC G (e.RES) e.str;

G {
  (e.Res) t.Term e.Tail = <G (e.Res <H t.Term>) e.Tail>;
  (e.Res) /* empty */ = e.Res;
}

H {
  e.X = e.X;
}

В логе получаем функцию с переменной e.Call:

  G@3 {
    s.X#0 (e.X#0) t.Term#1 e.Tail#1 = <G@3 s.X#0 (e.X#0 e.Call#0) e.Tail#1>;
  
    s.X#0 (e.X#0) = s.X#0 e.X#0;
  
    s.X#0 (e.X#0) e.str#0 = <G@0 (s.X#0 e.X#0) e.str#0>;
  }

[Mazdaywik]

Проблема, решённая предыдущим коммитом, была простой. Больше времени ушло на создание компактного автотеста для ошибки, чем на её исправление.

А вот новая проблема при самоприменении с ключами RLMAKE_FLAGS=-X-OADS:

*Compiling SR-Lexer.sref:

NO MEMORY

Действительно, в SR-Lexer.sref имеется куча функций с аккумулятором. И компилятор для каждого значения аккумулятора будет строить новый экземпляр.

Предлагается подавить специализацию автоматически сгенерированных функций путём добавления объявления

$SPEC FuncName (e.accum) e.input;

Вроде, ошибки быть не должно, если в пользовательском шаблоне нет ни одной статической переменной. Но если компилятор выдаёт такую ошибку, придётся придумать что-то другое (чтобы собирать и стабильной версией тоже).

Предлагается не добавлять вручную эти метки без статических переменных, а модифицировать генератор лексеров.

[Mazdaywik]

Теперь компилятор успешно самоприменяется с -OADS:

Total program time: 1039.60900 seconds (100.0 %).
(Total refal time): 948.56900 seconds (91.2 %).
t- and e-var copy time: 510.66200 seconds (49.1 %).
Linear result time: 174.14500 seconds (16.8 %).
Linear pattern time: 161.38300 seconds (15.5 %).
Open e-loop time (clear): 50.62100 seconds (4.9 %).
Native time: 34.25100 seconds (3.3 %).
Context copy time: 29.03900 seconds (2.8 %).
Runtime time overhead: 27.75000 seconds (2.7 %).
Repeated e-var match time (outside e-loops): 27.19100 seconds (2.6 %).
Repeated e-var match time (inside e-loops): 12.21200 seconds (1.2 %).
Repeated t-var match time (inside e-loops): 11.94900 seconds (1.1 %).
Repeated t-var match time (outside e-loops): 0.40600 seconds (0.0 %).
Step count 475956958
Identifiers allocated: 2335
Memory used 12557000 nodes, 12557000 * 16 = 200912000 bytes

Повторный прогон даёт такой результат:

Total program time: 599.17200 seconds (100.0 %).
(Total refal time): 553.90100 seconds (92.4 %).
t- and e-var copy time: 202.28200 seconds (33.8 %).
Linear pattern time: 133.73400 seconds (22.3 %).
Linear result time: 120.81100 seconds (20.2 %).
Open e-loop time (clear): 49.05100 seconds (8.2 %).
Native time: 26.63000 seconds (4.4 %).
Repeated e-var match time (outside e-loops): 26.26200 seconds (4.4 %).
Runtime time overhead: 16.51600 seconds (2.8 %).
Repeated e-var match time (inside e-loops): 11.03400 seconds (1.8 %).
Repeated t-var match time (inside e-loops): 10.46100 seconds (1.7 %).
Context copy time: 2.12500 seconds (0.4 %).
Repeated t-var match time (outside e-loops): 0.26600 seconds (0.0 %).
Step count 296905888
Identifiers allocated: 2335
Memory used 12556000 nodes, 12556000 * 16 = 200896000 bytes

Т.е. ускорение примерно в 2 раза. Но пока ещё рано оценивать быстродействие, впереди ещё много работы (#310).

[Mazdaywik]

Самоприменение с ключами set RLMAKE_FLAGS=-X-OADPRS дало такое сообщение об ошибке:

*Compiling SR-Lexer.sref:
Compilation failure in the function StringLiteral-Escape:
  this function tries to jump over 71568 commands, but the maximum jump length is 65535.
  Compilation aborted.

Не ожидал в рабочем коде увидеть это сообщение об ошибке. Не, есть автотест very-big-function-jump.BAD-SYNTAX.sref, но автотест — это не рабочий код.

[Mazdaywik]

При запуске с ключами set RLMAKE_FLAGS=-X-OiADS компилятор упал с сообщением о недостатке памяти:

…
*Compiling HighLevelRASL-GenSubst-Simple.ref:
*Compiling HighLevelRASL-GenResult-Opt.ref:
*Compiling GST.ref:

NO MEMORY


Total program time: 888.17200 seconds (100.0 %).
(Total refal time): 847.70900 seconds (95.4 %).
t- and e-var copy time: 479.08800 seconds (53.9 %).
Linear result time: 135.13200 seconds (15.2 %).
Linear pattern time: 132.50400 seconds (14.9 %).
Open e-loop time (clear): 49.11700 seconds (5.5 %).
Repeated e-var match time (outside e-loops): 24.05500 seconds (2.7 %).
Native time: 22.31700 seconds (2.5 %).
Repeated e-var match time (inside e-loops): 17.88400 seconds (2.0 %).
Runtime time overhead: 16.92300 seconds (1.9 %).
Repeated t-var match time (inside e-loops): 9.63100 seconds (1.1 %).
Context copy time: 1.22300 seconds (0.1 %).
Repeated t-var match time (outside e-loops): 0.29800 seconds (0.0 %).
Step count 303271766
Identifiers allocated: 2335
Memory used 29999000 nodes, 29999000 * 16 = 479984000 bytes
ERROR: rlc-core returned code 102

Предстоит выяснить — произошло зацикливание с бесконечным отжором памяти или просто достаточно поднять лимит.