Clause_boundaries.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Find clause boundaries in BH"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The model in this notebook is designed to find phrase boundaries in chunks of BH text, based on the division in phrases in the ETCBC database.\n",
    "The model assumes that the text has been analyzed on word level already.\n",
    "\n",
    "Each input chunk consists of 20 words. Each word is represented by its part of speech. For instance, a typical chunk has the following structure (the example shows the first 20 words of the book of Genesis):\n",
    "\n",
    "['prep', 'subs', 'verb', 'subs', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'subs',  'conj',  'subs','conj', 'subs']\n",
    "\n",
    "The corresponding output is:\n",
    "\n",
    "['\\t', 'x', 'x', 'p', 'x', 'p', 'x', 'p', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'p', 'x', 'p', 'x', 'x', 'p', 'x', 'p', 'x', 'x', 'x', 'p', 'x', 'p', 'x', 'p', '\\n']\n",
    "\n",
    "Here every 'x' represents a word in the input sequence, and 'p' marks the end of a phrase. '\\t' and '\\n' are start and stop symbols. \n",
    "\n",
    "In the following input chunk we have moved forward one word:\n",
    "\n",
    "Input:\n",
    "\n",
    " ['subs', 'verb', 'subs', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'subs', 'conj', 'subs', 'conj', 'subs', 'prep']\n",
    "\n",
    "Output:\n",
    "\n",
    "['\\t', 'x', 'p', 'x', 'p', 'x', 'p', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'p', 'x', 'p', 'x', 'x', 'p', 'x', 'p', 'x', 'x', 'x', 'p', 'x', 'p', 'x', 'p', 'x', '\\n']\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\geitb\\Anaconda3\\lib\\site-packages\\h5py\\__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  from ._conv import register_converters as _register_converters\n",
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "from keras.models import Model\n",
    "from keras.layers import Input, LSTM, Dense\n",
    "import numpy as np\n",
    "\n",
    "from sklearn.utils import shuffle"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "TF app is up-to-date.\n",
      "Using annotation/app-bhsa commit 7f353d587f4befb6efe1742831e28f301d2b3cea (=latest)\n",
      "  in C:\\Users\\geitb/text-fabric-data/__apps__/bhsa.\n",
      "Using etcbc/bhsa/tf - c r1.5 in C:\\Users\\geitb/text-fabric-data\n",
      "Using etcbc/phono/tf - c r1.2 in C:\\Users\\geitb/text-fabric-data\n",
      "Using etcbc/parallels/tf - c r1.2 in C:\\Users\\geitb/text-fabric-data\n"
     ]
    },
    {
     "data": {
      "text/markdown": [
       "**Documentation:** <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa\" title=\"provenance of BHSA = Biblia Hebraica Stuttgartensia Amstelodamensis\">BHSA</a> <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Writing/Hebrew\" title=\"('Hebrew characters and transcriptions',)\">Character table</a> <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/0_home.html\" title=\"BHSA feature documentation\">Feature docs</a> <a target=\"_blank\" href=\"https://github.com/annotation/app-bhsa\" title=\"bhsa API documentation\">bhsa API</a> <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Fabric/\" title=\"text-fabric-api\">Text-Fabric API 7.3.15</a> <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Use/Search/\" title=\"Search Templates Introduction and Reference\">Search Reference</a>"
      ],
      "text/plain": [
       "<IPython.core.display.Markdown object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<details open><summary><b>Loaded features</b>:</summary>\n",
       "<p><b>BHSA = Biblia Hebraica Stuttgartensia Amstelodamensis</b>: <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/book.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\book.tf\">book</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/book@ll.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\book@am.tf\">book@ll</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/chapter.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\chapter.tf\">chapter</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/code.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\code.tf\">code</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/det.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\det.tf\">det</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/freq_lex.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\freq_lex.tf\">freq_lex</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/function.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\function.tf\">function</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/g_word.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\g_word.tf\">g_word</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/g_word_utf8.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\g_word_utf8.tf\">g_word_utf8</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/gloss.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\gloss.tf\">gloss</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/gn.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\gn.tf\">gn</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/label.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\label.tf\">label</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/language.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\language.tf\">language</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/lex.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\lex.tf\">lex</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/lex_utf8.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\lex_utf8.tf\">lex_utf8</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/ls.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\ls.tf\">ls</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/nametype.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\nametype.tf\">nametype</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/nu.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\nu.tf\">nu</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/number.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\number.tf\">number</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/otype.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\otype.tf\">otype</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/pdp.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\pdp.tf\">pdp</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/prs_gn.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\prs_gn.tf\">prs_gn</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/prs_nu.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\prs_nu.tf\">prs_nu</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/prs_ps.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\prs_ps.tf\">prs_ps</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/ps.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\ps.tf\">ps</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/qere.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\qere.tf\">qere</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/qere_trailer.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\qere_trailer.tf\">qere_trailer</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/qere_trailer_utf8.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\qere_trailer_utf8.tf\">qere_trailer_utf8</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/qere_utf8.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\qere_utf8.tf\">qere_utf8</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/rank_lex.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\rank_lex.tf\">rank_lex</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/rela.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\rela.tf\">rela</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/sp.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\sp.tf\">sp</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/st.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\st.tf\">st</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/trailer.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\trailer.tf\">trailer</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/trailer_utf8.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\trailer_utf8.tf\">trailer_utf8</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/txt.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\txt.tf\">txt</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/typ.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\typ.tf\">typ</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/verse.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\verse.tf\">verse</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/voc_lex.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\voc_lex.tf\">voc_lex</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/voc_lex_utf8.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\voc_lex_utf8.tf\">voc_lex_utf8</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/vs.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\vs.tf\">vs</a>  <a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/vt.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\vt.tf\">vt</a>  <b><i><a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/mother.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\mother.tf\">mother</a></i></b>  <b><i><a target=\"_blank\" href=\"https://etcbc.github.io/bhsa/features/hebrew/c/oslots.html\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/bhsa/tf/c\\oslots.tf\">oslots</a></i></b> </p><p><b>Parallel Passages</b>: <b><i><a target=\"_blank\" href=\"https://nbviewer.jupyter.org/github/etcbc/parallels/blob/master/programs/parallels.ipynb\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/parallels/tf/c\\crossref.tf\">crossref</a></i></b> </p><p><b>Phonetic Transcriptions</b>: <a target=\"_blank\" href=\"https://nbviewer.jupyter.org/github/etcbc/phono/blob/master/programs/phono.ipynb\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/phono/tf/c\\phono.tf\">phono</a>  <a target=\"_blank\" href=\"https://nbviewer.jupyter.org/github/etcbc/phono/blob/master/programs/phono.ipynb\" title=\"C:\\Users\\geitb/text-fabric-data/etcbc/phono/tf/c\\phono_trailer.tf\">phono_trailer</a> </p></details>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<style>\n",
       "@font-face {\n",
       "  font-family: \"Ezra SIL\";\n",
       "  src: url('https://github.com/annotation/text-fabric/blob/master/tf/server/static/fonts/SILEOT.ttf?raw=true');\n",
       "  src: url('https://github.com/annotation/text-fabric/blob/master/tf/server/static/fonts/SILEOT.woff?raw=true') format('woff');\n",
       "}\n",
       ".features {\n",
       "    font-family: monospace;\n",
       "    font-size: medium;\n",
       "    font-weight: bold;\n",
       "    color: #0a6611;\n",
       "    display: flex;\n",
       "    flex-flow: column nowrap;\n",
       "    padding: 0.1em;\n",
       "    margin: 0.1em;\n",
       "    direction: ltr;\n",
       "}\n",
       ".features div,.features span {\n",
       "    padding: 0;\n",
       "    margin: -0.1rem 0;\n",
       "}\n",
       ".features .f {\n",
       "    font-family: sans-serif;\n",
       "    font-size: x-small;\n",
       "    font-weight: normal;\n",
       "    color: #5555bb;\n",
       "}\n",
       ".features .xft {\n",
       "  color: #000000;\n",
       "  background-color: #eeeeee;\n",
       "  font-size: medium;\n",
       "  margin: 0.1em 0em;\n",
       "}\n",
       ".features .xft .f {\n",
       "  color: #000000;\n",
       "  background-color: #eeeeee;\n",
       "  font-style: italic;\n",
       "  font-size: small;\n",
       "  font-weight: normal;\n",
       "}\n",
       ".ltr {\n",
       "    direction: ltr ! important;\n",
       "}\n",
       ".verse {\n",
       "    display: flex;\n",
       "    flex-flow: row wrap;\n",
       "    direction: rtl;\n",
       "}\n",
       ".vl {\n",
       "    display: flex;\n",
       "    flex-flow: column nowrap;\n",
       "    justify-content: flex-end;\n",
       "    align-items: flex-end;\n",
       "    direction: ltr;\n",
       "    width: 100%;\n",
       "}\n",
       ".outeritem {\n",
       "    display: flex;\n",
       "    flex-flow: row wrap;\n",
       "    direction: rtl;\n",
       "}\n",
       ".sentence,.clause,.phrase {\n",
       "    margin-top: -1.2em;\n",
       "    margin-left: 1em;\n",
       "    background: #ffffff none repeat scroll 0 0;\n",
       "    padding: 0 0.3em;\n",
       "    border-style: solid;\n",
       "    border-radius: 0.2em;\n",
       "    font-size: small;\n",
       "    display: block;\n",
       "    width: fit-content;\n",
       "    max-width: fit-content;\n",
       "    direction: ltr;\n",
       "}\n",
       ".atoms {\n",
       "    display: flex;\n",
       "    flex-flow: row wrap;\n",
       "    margin: 0.3em;\n",
       "    padding: 0.3em;\n",
       "    direction: rtl;\n",
       "    background-color: #ffffff;\n",
       "}\n",
       ".satom,.catom,.patom {\n",
       "    margin: 0.3em;\n",
       "    padding: 0.3em;\n",
       "    border-radius: 0.3em;\n",
       "    border-style: solid;\n",
       "    display: flex;\n",
       "    flex-flow: column nowrap;\n",
       "    direction: rtl;\n",
       "    background-color: #ffffff;\n",
       "}\n",
       ".sentence {\n",
       "    border-color: #aa3333;\n",
       "    border-width: 1px;\n",
       "}\n",
       ".clause {\n",
       "    border-color: #aaaa33;\n",
       "    border-width: 1px;\n",
       "}\n",
       ".phrase {\n",
       "    border-color: #33aaaa;\n",
       "    border-width: 1px;\n",
       "}\n",
       ".satom {\n",
       "    border-color: #aa3333;\n",
       "    border-width: 4px;\n",
       "}\n",
       ".catom {\n",
       "    border-color: #aaaa33;\n",
       "    border-width: 3px;\n",
       "}\n",
       ".patom {\n",
       "    border-color: #33aaaa;\n",
       "    border-width: 3px;\n",
       "}\n",
       ".word {\n",
       "    padding: 0.1em;\n",
       "    margin: 0.1em;\n",
       "    border-radius: 0.1em;\n",
       "    border: 1px solid #cccccc;\n",
       "    display: flex;\n",
       "    flex-flow: column nowrap;\n",
       "    direction: rtl;\n",
       "    background-color: #ffffff;\n",
       "}\n",
       ".lextp {\n",
       "    padding: 0.1em;\n",
       "    margin: 0.1em;\n",
       "    border-radius: 0.1em;\n",
       "    border: 2px solid #888888;\n",
       "    width: fit-content;\n",
       "    display: flex;\n",
       "    flex-flow: column nowrap;\n",
       "    direction: rtl;\n",
       "    background-color: #ffffff;\n",
       "}\n",
       ".occs {\n",
       "    font-size: x-small;\n",
       "}\n",
       ".satom.l,.catom.l,.patom.l {\n",
       "    border-left-style: dotted\n",
       "}\n",
       ".satom.r,.catom.r,.patom.r {\n",
       "    border-right-style: dotted\n",
       "}\n",
       ".satom.lno,.catom.lno,.patom.lno {\n",
       "    border-left-style: none\n",
       "}\n",
       ".satom.rno,.catom.rno,.patom.rno {\n",
       "    border-right-style: none\n",
       "}\n",
       ".tr,.tr a:visited,.tr a:link {\n",
       "    font-family: sans-serif;\n",
       "    font-size: large;\n",
       "    color: #000044;\n",
       "    direction: ltr;\n",
       "    text-decoration: none;\n",
       "}\n",
       ".trb,.trb a:visited,.trb a:link {\n",
       "    font-family: sans-serif;\n",
       "    font-size: normal;\n",
       "    direction: ltr;\n",
       "    text-decoration: none;\n",
       "}\n",
       ".prb,.prb a:visited,.prb a:link {\n",
       "    font-family: sans-serif;\n",
       "    font-size: large;\n",
       "    direction: ltr;\n",
       "    text-decoration: none;\n",
       "}\n",
       ".h,.h a:visited,.h a:link {\n",
       "    font-family: \"Ezra SIL\", \"SBL Hebrew\", sans-serif;\n",
       "    font-size: large;\n",
       "    color: #000044;\n",
       "    direction: rtl;\n",
       "    text-decoration: none;\n",
       "}\n",
       ".hb,.hb a:visited,.hb a:link {\n",
       "    font-family: \"Ezra SIL\", \"SBL Hebrew\", sans-serif;\n",
       "    font-size: large;\n",
       "    line-height: 2;\n",
       "    direction: rtl;\n",
       "    text-decoration: none;\n",
       "}\n",
       ".vn {\n",
       "  font-size: small !important;\n",
       "  padding-right: 1em;\n",
       "}\n",
       ".rela,.function,.typ {\n",
       "    font-family: monospace;\n",
       "    font-size: small;\n",
       "    color: #0000bb;\n",
       "}\n",
       ".pdp,.pdp a:visited,.pdp a:link {\n",
       "    font-family: monospace;\n",
       "    font-size: medium;\n",
       "    color: #0000bb;\n",
       "    text-decoration: none;\n",
       "}\n",
       ".voc_lex {\n",
       "    font-family: monospace;\n",
       "    font-size: medium;\n",
       "    color: #0000bb;\n",
       "}\n",
       ".vs {\n",
       "    font-family: monospace;\n",
       "    font-size: medium;\n",
       "    font-weight: bold;\n",
       "    color: #0000bb;\n",
       "}\n",
       ".vt {\n",
       "    font-family: monospace;\n",
       "    font-size: medium;\n",
       "    font-weight: bold;\n",
       "    color: #0000bb;\n",
       "}\n",
       ".gloss {\n",
       "    font-family: sans-serif;\n",
       "    font-size: small;\n",
       "    font-weight: normal;\n",
       "    color: #444444;\n",
       "}\n",
       ".vrs {\n",
       "    font-family: sans-serif;\n",
       "    font-size: small;\n",
       "    font-weight: bold;\n",
       "    color: #444444;\n",
       "}\n",
       ".nd {\n",
       "    font-family: monospace;\n",
       "    font-size: x-small;\n",
       "    color: #999999;\n",
       "}\n",
       ".hl {\n",
       "    background-color: #ffee66;\n",
       "}\n",
       "span.hldot {\n",
       "\tbackground-color: var(--hl-strong);\n",
       "\tborder: 0.2rem solid var(--hl-rim);\n",
       "\tborder-radius: 0.4rem;\n",
       "\t/*\n",
       "\tdisplay: inline-block;\n",
       "\twidth: 0.8rem;\n",
       "\theight: 0.8rem;\n",
       "\t*/\n",
       "}\n",
       "span.hl {\n",
       "\tbackground-color: var(--hl-strong);\n",
       "\tborder-width: 0;\n",
       "\tborder-radius: 0.1rem;\n",
       "\tborder-style: solid;\n",
       "}\n",
       "\n",
       "span.hlup {\n",
       "\tborder-color: var(--hl-dark);\n",
       "\tborder-width: 0.1rem;\n",
       "\tborder-style: solid;\n",
       "\tborder-radius: 0.2rem;\n",
       "  padding: 0.2rem;\n",
       "}\n",
       "\n",
       ":root {\n",
       "\t--hl-strong:        hsla( 60, 100%,  70%, 0.9  );\n",
       "\t--hl-rim:           hsla( 55, 100%,  60%, 0.9  );\n",
       "\t--hl-dark:          hsla( 55, 100%,  40%, 0.9  );\n",
       "}\n",
       "</style>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<details open><summary><b>API members</b>:</summary>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Computed/#computed-data\" title=\"doc\">C Computed</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Computed/#computed-data\" title=\"doc\">Call AllComputeds</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Computed/#computed-data\" title=\"doc\">Cs ComputedString</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Features/#edge-features\" title=\"doc\">E Edge</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Features/#edge-features\" title=\"doc\">Eall AllEdges</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Features/#edge-features\" title=\"doc\">Es EdgeString</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Fabric/#loading\" title=\"doc\">ensureLoaded</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Fabric/#loading\" title=\"doc\">TF</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Fabric/#loading\" title=\"doc\">ignored</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Fabric/#loading\" title=\"doc\">loadLog</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Locality/#locality\" title=\"doc\">L Locality</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Misc/#messaging\" title=\"doc\">cache</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Misc/#messaging\" title=\"doc\">error</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Misc/#messaging\" title=\"doc\">indent</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Misc/#messaging\" title=\"doc\">info</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Misc/#messaging\" title=\"doc\">reset</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Nodes/#navigating-nodes\" title=\"doc\">N Nodes</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Nodes/#navigating-nodes\" title=\"doc\">sortKey</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Nodes/#navigating-nodes\" title=\"doc\">sortKeyTuple</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Nodes/#navigating-nodes\" title=\"doc\">otypeRank</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Nodes/#navigating-nodes\" title=\"doc\">sortNodes</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Features/#node-features\" title=\"doc\">F Feature</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Features/#node-features\" title=\"doc\">Fall AllFeatures</a>, <a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Features/#node-features\" title=\"doc\">Fs FeatureString</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Search/#search\" title=\"doc\">S Search</a><br/>\n",
       "<a target=\"_blank\" href=\"https://annotation.github.io/text-fabric/Api/Text/#text\" title=\"doc\">T Text</a></details>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "from tf.app import use\n",
    "A = use('bhsa', hoist=globals())\n",
    "#A.displaySetup(extraFeatures='g_cons')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A train and test set are defined. The model is trained on all the books of the MT, except Jonah. The model will be used to predict parts of speech for this book."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Genesis\n",
      "Exodus\n",
      "Leviticus\n",
      "Numeri\n",
      "Deuteronomium\n",
      "Josua\n",
      "Judices\n",
      "Samuel_I\n",
      "Samuel_II\n",
      "Reges_I\n",
      "Reges_II\n",
      "Jesaia\n",
      "Jeremia\n",
      "Ezechiel\n",
      "Hosea\n",
      "Joel\n",
      "Amos\n",
      "Obadia\n",
      "Jona\n",
      "Micha\n",
      "Nahum\n",
      "Habakuk\n",
      "Zephania\n",
      "Haggai\n",
      "Sacharia\n",
      "Maleachi\n",
      "Psalmi\n",
      "Iob\n",
      "Proverbia\n",
      "Ruth\n",
      "Canticum\n",
      "Ecclesiastes\n",
      "Threni\n",
      "Esther\n",
      "Daniel\n",
      "Esra\n",
      "Nehemia\n",
      "Chronica_I\n",
      "Chronica_II\n"
     ]
    }
   ],
   "source": [
    "for bo in F.otype.s(\"book\"):\n",
    "    print(F.book.v(bo))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The data are prepared."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "def prepare_train_data():\n",
    "    \"\"\"\"\n",
    "    \n",
    "    The function returns:\n",
    "    input_clauses is a list containing strings with the text of BH clauses\n",
    "    output_pos is a list containing lists with all the pos of BH clauses\n",
    "    input_vocab is a list containing the characters occurring in the input_clauses (the input vocabulary)\n",
    "    output_vocab is a list containing all the pos occurring in the bhsa\n",
    "    max_len_input is the maximum length of all the input clauses in number of characters\n",
    "    max_len_output is the maximum length of all the output clauses in number of phrases (+2, because a \n",
    "    start and stop sign are added)\n",
    "    \"\"\"\n",
    "\n",
    "    input_clauses = []\n",
    "    output_phrases = []\n",
    "    input_vocab = set()\n",
    "    output_vocab = {'x', '\\t', '\\n', 'c'}\n",
    "\n",
    "    for bo in F.otype.s(\"book\"): \n",
    "\n",
    "        if F.book.v(bo) not in {\"Genesis\", \"Exodus\", \"Leviticus\", \"Numeri\", \"Deuteronomium\", \"Josua\", \"Judices\", \"Samuel_I\", \"Samuel_II\", \"Reges_I\", \"Reges_II\"}:\n",
    "            continue\n",
    "        \n",
    "        words_in_book = L.d(bo, \"word\")\n",
    "        \n",
    "        for wo in range(words_in_book[0], words_in_book[-1] - 30):\n",
    "            input_chunk = [F.sp.v(wo2) for wo2 in range(wo, wo+30)]\n",
    "            \n",
    "            output_prep = []\n",
    "            for word in range(wo, wo+30):\n",
    "                cl = L.u(word, \"clause\")[0]\n",
    "                words_in_cl = L.d(cl, \"word\")\n",
    "                \n",
    "                output_prep.append('x')\n",
    "                input_vocab.add(F.sp.v(word))\n",
    "                \n",
    "                if word == words_in_cl[-1]:\n",
    "                    output_prep.append('c')\n",
    "\n",
    "            output_chunk = ['\\t']\n",
    "            for elem in output_prep:\n",
    "                output_chunk.append(elem)\n",
    "            output_chunk.append('\\n')\n",
    "    \n",
    "            input_clauses.append(input_chunk)\n",
    "            output_phrases.append(output_chunk)\n",
    "    \n",
    "    input_chars = sorted(list(input_vocab))\n",
    "    output_vocab = sorted(list(output_vocab))\n",
    "    \n",
    "    max_len_input = max([len(clause) for clause in input_clauses])\n",
    "    max_len_output = max([len(output_phr) for output_phr in output_phrases])\n",
    "    \n",
    "    # shuffle the data\n",
    "    input_clauses, output_phrases = shuffle(input_clauses, output_phrases)\n",
    "    \n",
    "    return input_clauses, output_phrases, input_vocab, output_vocab, max_len_input, max_len_output"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "def prepare_test_data():\n",
    "    \"\"\"\n",
    "    books is a list containing the test books\n",
    "    The function returns:\n",
    "    input_clauses, a list containing the text of clauses in the test books\n",
    "    \"\"\"\n",
    "    input_clauses_test = []\n",
    "    outputs_test = []\n",
    "    for bo in F.otype.s(\"book\"): \n",
    "\n",
    "        if F.book.v(bo) != \"Jona\":\n",
    "            continue\n",
    "        \n",
    "        words_in_book = L.d(bo, \"word\")\n",
    "        \n",
    "        for wo in range(words_in_book[0], words_in_book[-1] - 30):\n",
    "            input_test = [F.sp.v(wo2) for wo2 in range(wo, wo+30)]    \n",
    "            input_clauses_test.append(input_test)\n",
    "        \n",
    "        \n",
    "            output_prep = []\n",
    "            for word in range(wo, wo+30):\n",
    "                cl = L.u(word, \"clause\")[0]\n",
    "                words_in_cl = L.d(cl, \"word\")\n",
    "                \n",
    "                output_prep.append('x')\n",
    "                \n",
    "                if word == words_in_cl[-1]:\n",
    "                    output_prep.append(\"c\")\n",
    "                    \n",
    "            outputs_test.append(output_prep)\n",
    "    \n",
    "    return input_clauses_test, outputs_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "def create_dicts(input_vocab, output_vocab):\n",
    "    \"\"\"\n",
    "    The network can only handle numeric data. This function provides four dicts. \n",
    "    Two of them map between integers and the input characters (one dict for every direction), the other two \n",
    "    map between integers and parts of speech.\n",
    "    \"\"\"\n",
    "\n",
    "    \n",
    "    input_idx2char = {}\n",
    "    input_char2idx = {}\n",
    "\n",
    "    for k, v in enumerate(input_chars):\n",
    "        input_idx2char[k] = v\n",
    "        input_char2idx[v] = k\n",
    "        \n",
    "    output_idx2char = {}\n",
    "    output_char2idx = {}\n",
    "    \n",
    "    for k, v in enumerate(output_vocab):\n",
    "        output_idx2char[k] = v\n",
    "        output_char2idx[v] = k\n",
    "     \n",
    "    \n",
    "    return input_idx2char, input_char2idx, output_idx2char, output_char2idx"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "def one_hot_encode(nb_samples, max_len_input, max_len_output, input_chars, output_vocab, input_char2idx, output_char2idx, input_clauses, output_pos):\n",
    "    \"\"\"\n",
    "    Categorical data are generally one-hot encoded in neural networks, which is done here.\n",
    "    \n",
    "    \"\"\"\n",
    "\n",
    "    tokenized_input_data = np.zeros(shape = (nb_samples,max_len_input,len(input_chars)), dtype='float32')\n",
    "    tokenized_output = np.zeros(shape = (nb_samples,max_len_output,len(output_vocab)), dtype='float32')\n",
    "    target_data = np.zeros((nb_samples, max_len_output, len(output_vocab)),dtype='float32')\n",
    "\n",
    "    for i in range(nb_samples):\n",
    "        for k, ch in enumerate(input_clauses[i]):\n",
    "            tokenized_input_data[i, k, input_char2idx[ch]] = 1\n",
    "        \n",
    "        for k, ch in enumerate(output_pos[i]):\n",
    "            tokenized_output[i, k, output_char2idx[ch]] = 1\n",
    "\n",
    "            # decoder_target_data will be ahead by one timestep and will not include the start character.\n",
    "            if k > 0:\n",
    "                target_data[i, k-1, output_char2idx[ch]] = 1\n",
    "                \n",
    "    return tokenized_input_data, tokenized_output, target_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "def define_LSTM_model(input_chars, output_vocab):\n",
    "    \"\"\"\n",
    "    \n",
    "    \n",
    "    \"\"\"\n",
    "\n",
    "    # Encoder model\n",
    "\n",
    "    encoder_input = Input(shape=(None,len(input_chars)))\n",
    "    encoder_LSTM = LSTM(512,activation = 'relu',return_state = True, return_sequences=True)(encoder_input)\n",
    "    encoder_LSTM = LSTM(512,return_state = True)(encoder_LSTM)\n",
    "    encoder_outputs, encoder_h, encoder_c = encoder_LSTM\n",
    "    encoder_states = [encoder_h, encoder_c]\n",
    "    \n",
    "    # Decoder model\n",
    "\n",
    "    decoder_input = Input(shape=(None,len(output_vocab)))\n",
    "    decoder_LSTM = LSTM(512, return_sequences=True, return_state = True)\n",
    "    decoder_out, _ , _ = decoder_LSTM(decoder_input, initial_state=encoder_states)\n",
    "    decoder_dense = Dense(len(output_vocab), activation='softmax')\n",
    "    decoder_out = decoder_dense (decoder_out)\n",
    "    \n",
    "    model = Model(inputs=[encoder_input, decoder_input],outputs=[decoder_out])\n",
    "\n",
    "    model.summary()\n",
    "\n",
    "    return encoder_input, encoder_states, decoder_input, decoder_LSTM, decoder_dense, model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "def compile_and_train(model, tokenized_input, tokenized_output, batch_size, epochs, validation_split):\n",
    "\n",
    "    model.compile(optimizer='adam', loss='categorical_crossentropy')\n",
    "    model.fit(x=[tokenized_input,tokenized_output], \n",
    "              y=target_data,\n",
    "              batch_size=batch_size,\n",
    "              epochs=epochs,\n",
    "              validation_split=validation_split)\n",
    "    \n",
    "    return model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "nb_samples = 150000\n",
    "\n",
    "input_clauses, output_pos, input_chars, output_vocab, max_len_input, max_len_output = prepare_train_data()\n",
    "input_idx2char, input_char2idx, output_idx2char, output_char2idx = create_dicts(input_chars, output_vocab)\n",
    "tokenized_input, tokenized_output, target_data = one_hot_encode(nb_samples, max_len_input, max_len_output, input_chars, output_vocab, input_char2idx, output_char2idx, input_clauses, output_pos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_clauses, output_test = prepare_test_data()\n",
    "tokenized_test_data, _, _ = one_hot_encode(len(test_clauses), max_len_input, max_len_output, input_chars, output_vocab, input_char2idx, output_char2idx, test_clauses, output_pos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "211728"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(input_clauses)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "__________________________________________________________________________________________________\n",
      "Layer (type)                    Output Shape         Param #     Connected to                     \n",
      "==================================================================================================\n",
      "input_9 (InputLayer)            (None, None, 14)     0                                            \n",
      "__________________________________________________________________________________________________\n",
      "lstm_7 (LSTM)                   [(None, None, 512),  1079296     input_9[0][0]                    \n",
      "__________________________________________________________________________________________________\n",
      "input_10 (InputLayer)           (None, None, 4)      0                                            \n",
      "__________________________________________________________________________________________________\n",
      "lstm_8 (LSTM)                   [(None, 512), (None, 2099200     lstm_7[0][0]                     \n",
      "                                                                 lstm_7[0][1]                     \n",
      "                                                                 lstm_7[0][2]                     \n",
      "__________________________________________________________________________________________________\n",
      "lstm_9 (LSTM)                   [(None, None, 512),  1058816     input_10[0][0]                   \n",
      "                                                                 lstm_8[0][1]                     \n",
      "                                                                 lstm_8[0][2]                     \n",
      "__________________________________________________________________________________________________\n",
      "dense_3 (Dense)                 (None, None, 4)      2052        lstm_9[0][0]                     \n",
      "==================================================================================================\n",
      "Total params: 4,239,364\n",
      "Trainable params: 4,239,364\n",
      "Non-trainable params: 0\n",
      "__________________________________________________________________________________________________\n",
      "Train on 135000 samples, validate on 15000 samples\n",
      "Epoch 1/20\n",
      "135000/135000 [==============================] - 87s 642us/step - loss: 0.3602 - val_loss: 0.3122\n",
      "Epoch 2/20\n",
      "135000/135000 [==============================] - 80s 596us/step - loss: 0.3130 - val_loss: 0.3001\n",
      "Epoch 3/20\n",
      "135000/135000 [==============================] - 81s 600us/step - loss: 0.2907 - val_loss: 0.2902\n",
      "Epoch 4/20\n",
      "135000/135000 [==============================] - 81s 603us/step - loss: 0.2643 - val_loss: 0.2469\n",
      "Epoch 5/20\n",
      "135000/135000 [==============================] - 82s 605us/step - loss: 0.2682 - val_loss: 0.2401\n",
      "Epoch 6/20\n",
      "135000/135000 [==============================] - 82s 605us/step - loss: 0.2348 - val_loss: 0.2106\n",
      "Epoch 7/20\n",
      "135000/135000 [==============================] - 82s 606us/step - loss: 0.1972 - val_loss: 0.1788\n",
      "Epoch 8/20\n",
      "135000/135000 [==============================] - 82s 605us/step - loss: 0.1951 - val_loss: 0.1747\n",
      "Epoch 9/20\n",
      "135000/135000 [==============================] - 82s 604us/step - loss: 0.1867 - val_loss: 0.2056\n",
      "Epoch 10/20\n",
      "135000/135000 [==============================] - 82s 604us/step - loss: 0.1716 - val_loss: 0.1357\n",
      "Epoch 11/20\n",
      "135000/135000 [==============================] - 82s 604us/step - loss: 0.1439 - val_loss: 0.1244\n",
      "Epoch 12/20\n",
      "135000/135000 [==============================] - 82s 604us/step - loss: 0.2189 - val_loss: 0.1795\n",
      "Epoch 13/20\n",
      "135000/135000 [==============================] - 81s 604us/step - loss: 0.1604 - val_loss: 0.1357\n",
      "Epoch 14/20\n",
      "135000/135000 [==============================] - 81s 604us/step - loss: 0.1539 - val_loss: 0.2158\n",
      "Epoch 15/20\n",
      "135000/135000 [==============================] - 82s 605us/step - loss: 0.1583 - val_loss: 0.1589\n",
      "Epoch 16/20\n",
      "135000/135000 [==============================] - 82s 604us/step - loss: 0.1737 - val_loss: 0.1998\n",
      "Epoch 17/20\n",
      "135000/135000 [==============================] - 82s 606us/step - loss: 0.1624 - val_loss: 0.1560\n",
      "Epoch 18/20\n",
      "135000/135000 [==============================] - 82s 605us/step - loss: 0.2239 - val_loss: 0.2113\n",
      "Epoch 19/20\n",
      "135000/135000 [==============================] - 81s 602us/step - loss: 0.2265 - val_loss: 0.1997\n",
      "Epoch 20/20\n",
      "135000/135000 [==============================] - 81s 603us/step - loss: 0.1948 - val_loss: 0.2160\n"
     ]
    }
   ],
   "source": [
    "encoder_input, encoder_states, decoder_input, decoder_LSTM, decoder_dense, model = define_LSTM_model(input_chars, output_vocab)\n",
    "model = compile_and_train(model, tokenized_input, tokenized_output, 512, 20, 0.1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Inference models for testing\n",
    "\n",
    "# Encoder inference model\n",
    "encoder_model_inf = Model(encoder_input, encoder_states)\n",
    "\n",
    "# Decoder inference model\n",
    "decoder_state_input_h = Input(shape=(512,))\n",
    "decoder_state_input_c = Input(shape=(512,))\n",
    "decoder_input_states = [decoder_state_input_h, decoder_state_input_c]\n",
    "\n",
    "decoder_out, decoder_h, decoder_c = decoder_LSTM(decoder_input, \n",
    "                                                 initial_state=decoder_input_states)\n",
    "\n",
    "decoder_states = [decoder_h , decoder_c]\n",
    "\n",
    "decoder_out = decoder_dense(decoder_out)\n",
    "\n",
    "decoder_model_inf = Model(inputs=[decoder_input] + decoder_input_states,\n",
    "                          outputs=[decoder_out] + decoder_states )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "def decode_seq(inp_seq):\n",
    "    \n",
    "    # Initial states value is coming from the encoder \n",
    "    states_val = encoder_model_inf.predict(inp_seq)\n",
    "    \n",
    "    target_seq = np.zeros((1, 1, len(output_vocab)))\n",
    "    target_seq[0, 0, output_char2idx['\\t']] = 1\n",
    "    \n",
    "    pred_pos = []\n",
    "    stop_condition = False\n",
    "    \n",
    "    while not stop_condition:\n",
    "        \n",
    "        decoder_out, decoder_h, decoder_c = decoder_model_inf.predict(x=[target_seq] + states_val)\n",
    "        max_val_index = np.argmax(decoder_out[0,-1,:])\n",
    "        sampled_out_char = output_idx2char[max_val_index]\n",
    "        pred_pos.append(sampled_out_char)\n",
    "        \n",
    "        if (sampled_out_char == '\\n'):\n",
    "            stop_condition = True\n",
    "        \n",
    "        target_seq = np.zeros((1, 1, len(output_vocab)))\n",
    "        target_seq[0, 0, max_val_index] = 1\n",
    "        \n",
    "        states_val = [decoder_h, decoder_c]\n",
    "        \n",
    "    return pred_pos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'nmpr', 'prep', 'nmpr', 'subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'nmpr', 'prep', 'nmpr', 'subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'nmpr', 'prep', 'nmpr', 'subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'prep', 'nmpr', 'subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'nmpr', 'subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['nmpr', 'prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['nmpr', 'art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['subs', 'art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['art', 'adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['adjv', 'conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['nmpr', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['adjv', 'prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['prep', 'art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['adjv', 'prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['verb', 'conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['prep', 'art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['subs', 'art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prin', 'prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['subs', 'advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['advb', 'verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['subs', 'prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nega', 'verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prin', 'art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['art', 'prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prde', 'prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['subs', 'prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['nmpr', 'conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['verb', 'intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['intj', 'prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['prin', 'art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['art', 'prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prde', 'prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prin', 'subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['inrg', 'verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prin', 'subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-\n",
      "Input clause: ['subs', 'conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['inrg', 'prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prep', 'prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['prde', 'subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs', 'subs']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x']\n",
      "-\n",
      "Input clause: ['subs', 'prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs', 'subs', 'adjv']\n",
      "Predicted phrase boundaries: ['x', 'x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prps', 'conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs', 'subs', 'adjv', 'conj']\n",
      "Predicted phrase boundaries: ['x', 'c', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x']\n",
      "-\n",
      "Input clause: ['conj', 'verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs', 'subs', 'adjv', 'conj', 'verb']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "-\n",
      "Input clause: ['verb', 'prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs', 'subs', 'adjv', 'conj', 'verb', 'prep']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x']\n",
      "True phrase boundaries ['x', 'x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c']\n",
      "-\n",
      "Input clause: ['prep', 'adjv', 'prps', 'conj', 'prep', 'nmpr', 'subs', 'art', 'subs', 'prps', 'verb', 'conj', 'verb', 'prep', 'art', 'subs', 'conj', 'prep', 'art', 'subs', 'conj', 'verb', 'art', 'subs', 'subs', 'adjv', 'conj', 'verb', 'prep', 'prin']\n",
      "Predicted phrase boundaries: ['x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n",
      "True phrase boundaries ['x', 'c', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'x', 'x', 'x', 'c', 'x', 'x', 'x', 'c', 'x']\n"
     ]
    }
   ],
   "source": [
    "for seq_index in range(200):\n",
    "    inp_seq = tokenized_test_data[seq_index:seq_index+1]\n",
    "    \n",
    "    pred_pos = decode_seq(inp_seq)\n",
    "    print('-')\n",
    "    print('Input clause:', test_clauses[seq_index])\n",
    "    print('Predicted phrase boundaries:', pred_pos[:-1])\n",
    "    print('True phrase boundaries', output_test[seq_index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}