Expose a public tokenization API

[EricLBuehler]

No description provided.

[github-actions]

Code Metrics Report

  ===============================================================================
 Language            Files        Lines         Code     Comments       Blanks
===============================================================================
 C Header                2           35           28            0            7
 Dockerfile              1           41           22           10            9
 Happy                   1          442          369            0           73
 JSON                   12          105          104            0            1
 Python                 55         2374         2037           67          270
 Shell                   1           57           22           18           17
 TOML                   18          589          525            2           62
 YAML                    2           21           19            2            0
-------------------------------------------------------------------------------
 Jupyter Notebooks       4            0            0            0            0
 |- Markdown             2           77           32           31           14
 |- Python               2          205          178            1           26
 (Total)                            282          210           32           40
-------------------------------------------------------------------------------
 Markdown               42         3261            0         2473          788
 |- BASH                 6          101           98            0            3
 |- JSON                 1           12           12            0            0
 |- Python               6          114          102            0           12
 |- Rust                11          399          337            0           62
 |- TOML                 2           75           63            0           12
 (Total)                           3962          612         2473          877
-------------------------------------------------------------------------------
 Rust                  287        87157        78184         1810         7163
 |- Markdown           139         1460           25         1328          107
 (Total)                          88617        78209         3138         7270
===============================================================================
 Total                 426        94082        81310         4382         8390
===============================================================================