02 - 00 - IMDB hot-encoding in Keras.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Yet Another IMDB Example (YAIE) - FC - just kidding... NOT! \n",
    "\n",
    "Example is based on [Deep Learning with Python](https://www.manning.com/books/deep-learning-with-python?a_aid=keras&a_bid=76564dff) book by François Chollet - author of Keras himself!!!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.datasets import imdb\n",
    "\n",
    "(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, 25, 100, 43, 838, 112, 50, 670, 2, 9, 35, 480, 284, 5, 150, 4, 172, 112, 167, 2, 336, 385, 39, 4, 172, 4536, 1111, 17, 546, 38, 13, 447, 4, 192, 50, 16, 6, 147, 2025, 19, 14, 22, 4, 1920, 4613, 469, 4, 22, 71, 87, 12, 16, 43, 530, 38, 76, 15, 13, 1247, 4, 22, 17, 515, 17, 12, 16, 626, 18, 2, 5, 62, 386, 12, 8, 316, 8, 106, 5, 4, 2223, 5244, 16, 480, 66, 3785, 33, 4, 130, 12, 16, 38, 619, 5, 25, 124, 51, 36, 135, 48, 25, 1415, 33, 6, 22, 12, 215, 28, 77, 52, 5, 14, 407, 16, 82, 2, 8, 4, 107, 117, 5952, 15, 256, 4, 2, 7, 3766, 5, 723, 36, 71, 43, 530, 476, 26, 400, 317, 46, 7, 4, 2, 1029, 13, 104, 88, 4, 381, 15, 297, 98, 32, 2071, 56, 26, 141, 6, 194, 7486, 18, 4, 226, 22, 21, 134, 476, 26, 480, 5, 144, 30, 5535, 18, 51, 36, 28, 224, 92, 25, 104, 4, 226, 65, 16, 38, 1334, 88, 12, 16, 283, 5, 16, 4472, 113, 103, 32, 15, 16, 5345, 19, 178, 32]\n"
     ]
    }
   ],
   "source": [
    "print(train_data[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "218"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(train_data[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_labels[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "9999"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "max([max(sequence) for sequence in train_data])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"? this film was just brilliant casting location scenery story direction everyone's really suited the part they played and you could just imagine being there robert ? is an amazing actor and now the same being director ? father came from the same scottish island as myself so i loved the fact there was a real connection with this film the witty remarks throughout the film were great it was just brilliant so much that i bought the film as soon as it was released for ? and would recommend it to everyone to watch and the fly fishing was amazing really cried at the end it was so sad and you know what they say if you cry at a film it must have been good and this definitely was also ? to the two little boy's that played the ? of norman and paul they were just brilliant children are often left out of the ? list i think because the stars that play them all grown up are such a big profile for the whole film but these children are amazing and should be praised for what they have done don't you think the whole story was so lovely because it was true and was someone's life after all that was shared with us all\""
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word_index = imdb.get_word_index()\n",
    "reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])\n",
    "#\"padding\", \"start of sequence\", and \"unknown\".\n",
    "decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])\n",
    "decoded_review"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'fawn': 34701,\n",
       " 'tsukino': 52006,\n",
       " 'nunnery': 52007,\n",
       " 'sonja': 16816,\n",
       " 'vani': 63951,\n",
       " 'woods': 1408,\n",
       " 'spiders': 16115,\n",
       " 'hanging': 2345,\n",
       " 'woody': 2289,\n",
       " 'trawling': 52008,\n",
       " \"hold's\": 52009,\n",
       " 'comically': 11307,\n",
       " 'localized': 40830,\n",
       " 'disobeying': 30568,\n",
       " \"'royale\": 52010,\n",
       " \"harpo's\": 40831,\n",
       " 'canet': 52011,\n",
       " 'aileen': 19313,\n",
       " 'acurately': 52012,\n",
       " \"diplomat's\": 52013,\n",
       " 'rickman': 25242,\n",
       " 'arranged': 6746,\n",
       " 'rumbustious': 52014,\n",
       " 'familiarness': 52015,\n",
       " \"spider'\": 52016,\n",
       " 'hahahah': 68804,\n",
       " \"wood'\": 52017,\n",
       " 'transvestism': 40833,\n",
       " \"hangin'\": 34702,\n",
       " 'bringing': 2338,\n",
       " 'seamier': 40834,\n",
       " 'wooded': 34703,\n",
       " 'bravora': 52018,\n",
       " 'grueling': 16817,\n",
       " 'wooden': 1636,\n",
       " 'wednesday': 16818,\n",
       " \"'prix\": 52019,\n",
       " 'altagracia': 34704,\n",
       " 'circuitry': 52020,\n",
       " 'crotch': 11585,\n",
       " 'busybody': 57766,\n",
       " \"tart'n'tangy\": 52021,\n",
       " 'burgade': 14129,\n",
       " 'thrace': 52023,\n",
       " \"tom's\": 11038,\n",
       " 'snuggles': 52025,\n",
       " 'francesco': 29114,\n",
       " 'complainers': 52027,\n",
       " 'templarios': 52125,\n",
       " '272': 40835,\n",
       " '273': 52028,\n",
       " 'zaniacs': 52130,\n",
       " '275': 34706,\n",
       " 'consenting': 27631,\n",
       " 'snuggled': 40836,\n",
       " 'inanimate': 15492,\n",
       " 'uality': 52030,\n",
       " 'bronte': 11926,\n",
       " 'errors': 4010,\n",
       " 'dialogs': 3230,\n",
       " \"yomada's\": 52031,\n",
       " \"madman's\": 34707,\n",
       " 'dialoge': 30585,\n",
       " 'usenet': 52033,\n",
       " 'videodrome': 40837,\n",
       " \"kid'\": 26338,\n",
       " 'pawed': 52034,\n",
       " \"'girlfriend'\": 30569,\n",
       " \"'pleasure\": 52035,\n",
       " \"'reloaded'\": 52036,\n",
       " \"kazakos'\": 40839,\n",
       " 'rocque': 52037,\n",
       " 'mailings': 52038,\n",
       " 'brainwashed': 11927,\n",
       " 'mcanally': 16819,\n",
       " \"tom''\": 52039,\n",
       " 'kurupt': 25243,\n",
       " 'affiliated': 21905,\n",
       " 'babaganoosh': 52040,\n",
       " \"noe's\": 40840,\n",
       " 'quart': 40841,\n",
       " 'kids': 359,\n",
       " 'uplifting': 5034,\n",
       " 'controversy': 7093,\n",
       " 'kida': 21906,\n",
       " 'kidd': 23379,\n",
       " \"error'\": 52041,\n",
       " 'neurologist': 52042,\n",
       " 'spotty': 18510,\n",
       " 'cobblers': 30570,\n",
       " 'projection': 9878,\n",
       " 'fastforwarding': 40842,\n",
       " 'sters': 52043,\n",
       " \"eggar's\": 52044,\n",
       " 'etherything': 52045,\n",
       " 'gateshead': 40843,\n",
       " 'airball': 34708,\n",
       " 'unsinkable': 25244,\n",
       " 'stern': 7180,\n",
       " \"cervi's\": 52046,\n",
       " 'dnd': 40844,\n",
       " 'dna': 11586,\n",
       " 'insecurity': 20598,\n",
       " \"'reboot'\": 52047,\n",
       " 'trelkovsky': 11037,\n",
       " 'jaekel': 52048,\n",
       " 'sidebars': 52049,\n",
       " \"sforza's\": 52050,\n",
       " 'distortions': 17633,\n",
       " 'mutinies': 52051,\n",
       " 'sermons': 30602,\n",
       " '7ft': 40846,\n",
       " 'boobage': 52052,\n",
       " \"o'bannon's\": 52053,\n",
       " 'populations': 23380,\n",
       " 'chulak': 52054,\n",
       " 'mesmerize': 27633,\n",
       " 'quinnell': 52055,\n",
       " 'yahoo': 10307,\n",
       " 'meteorologist': 52057,\n",
       " 'beswick': 42577,\n",
       " 'boorman': 15493,\n",
       " 'voicework': 40847,\n",
       " \"ster'\": 52058,\n",
       " 'blustering': 22922,\n",
       " 'hj': 52059,\n",
       " 'intake': 27634,\n",
       " 'morally': 5621,\n",
       " 'jumbling': 40849,\n",
       " 'bowersock': 52060,\n",
       " \"'porky's'\": 52061,\n",
       " 'gershon': 16821,\n",
       " 'ludicrosity': 40850,\n",
       " 'coprophilia': 52062,\n",
       " 'expressively': 40851,\n",
       " \"india's\": 19500,\n",
       " \"post's\": 34710,\n",
       " 'wana': 52063,\n",
       " 'wang': 5283,\n",
       " 'wand': 30571,\n",
       " 'wane': 25245,\n",
       " 'edgeways': 52321,\n",
       " 'titanium': 34711,\n",
       " 'pinta': 40852,\n",
       " 'want': 178,\n",
       " 'pinto': 30572,\n",
       " 'whoopdedoodles': 52065,\n",
       " 'tchaikovsky': 21908,\n",
       " 'travel': 2103,\n",
       " \"'victory'\": 52066,\n",
       " 'copious': 11928,\n",
       " 'gouge': 22433,\n",
       " \"chapters'\": 52067,\n",
       " 'barbra': 6702,\n",
       " 'uselessness': 30573,\n",
       " \"wan'\": 52068,\n",
       " 'assimilated': 27635,\n",
       " 'petiot': 16116,\n",
       " 'most\\x85and': 52069,\n",
       " 'dinosaurs': 3930,\n",
       " 'wrong': 352,\n",
       " 'seda': 52070,\n",
       " 'stollen': 52071,\n",
       " 'sentencing': 34712,\n",
       " 'ouroboros': 40853,\n",
       " 'assimilates': 40854,\n",
       " 'colorfully': 40855,\n",
       " 'glenne': 27636,\n",
       " 'dongen': 52072,\n",
       " 'subplots': 4760,\n",
       " 'kiloton': 52073,\n",
       " 'chandon': 23381,\n",
       " \"effect'\": 34713,\n",
       " 'snugly': 27637,\n",
       " 'kuei': 40856,\n",
       " 'welcomed': 9092,\n",
       " 'dishonor': 30071,\n",
       " 'concurrence': 52075,\n",
       " 'stoicism': 23382,\n",
       " \"guys'\": 14896,\n",
       " \"beroemd'\": 52077,\n",
       " 'butcher': 6703,\n",
       " \"melfi's\": 40857,\n",
       " 'aargh': 30623,\n",
       " 'playhouse': 20599,\n",
       " 'wickedly': 11308,\n",
       " 'fit': 1180,\n",
       " 'labratory': 52078,\n",
       " 'lifeline': 40859,\n",
       " 'screaming': 1927,\n",
       " 'fix': 4287,\n",
       " 'cineliterate': 52079,\n",
       " 'fic': 52080,\n",
       " 'fia': 52081,\n",
       " 'fig': 34714,\n",
       " 'fmvs': 52082,\n",
       " 'fie': 52083,\n",
       " 'reentered': 52084,\n",
       " 'fin': 30574,\n",
       " 'doctresses': 52085,\n",
       " 'fil': 52086,\n",
       " 'zucker': 12606,\n",
       " 'ached': 31931,\n",
       " 'counsil': 52088,\n",
       " 'paterfamilias': 52089,\n",
       " 'songwriter': 13885,\n",
       " 'shivam': 34715,\n",
       " 'hurting': 9654,\n",
       " 'effects': 299,\n",
       " 'slauther': 52090,\n",
       " \"'flame'\": 52091,\n",
       " 'sommerset': 52092,\n",
       " 'interwhined': 52093,\n",
       " 'whacking': 27638,\n",
       " 'bartok': 52094,\n",
       " 'barton': 8775,\n",
       " 'frewer': 21909,\n",
       " \"fi'\": 52095,\n",
       " 'ingrid': 6192,\n",
       " 'stribor': 30575,\n",
       " 'approporiately': 52096,\n",
       " 'wobblyhand': 52097,\n",
       " 'tantalisingly': 52098,\n",
       " 'ankylosaurus': 52099,\n",
       " 'parasites': 17634,\n",
       " 'childen': 52100,\n",
       " \"jenkins'\": 52101,\n",
       " 'metafiction': 52102,\n",
       " 'golem': 17635,\n",
       " 'indiscretion': 40860,\n",
       " \"reeves'\": 23383,\n",
       " \"inamorata's\": 57781,\n",
       " 'brittannica': 52104,\n",
       " 'adapt': 7916,\n",
       " \"russo's\": 30576,\n",
       " 'guitarists': 48246,\n",
       " 'abbott': 10553,\n",
       " 'abbots': 40861,\n",
       " 'lanisha': 17649,\n",
       " 'magickal': 40863,\n",
       " 'mattter': 52105,\n",
       " \"'willy\": 52106,\n",
       " 'pumpkins': 34716,\n",
       " 'stuntpeople': 52107,\n",
       " 'estimate': 30577,\n",
       " 'ugghhh': 40864,\n",
       " 'gameplay': 11309,\n",
       " \"wern't\": 52108,\n",
       " \"n'sync\": 40865,\n",
       " 'sickeningly': 16117,\n",
       " 'chiara': 40866,\n",
       " 'disturbed': 4011,\n",
       " 'portmanteau': 40867,\n",
       " 'ineffectively': 52109,\n",
       " \"duchonvey's\": 82143,\n",
       " \"nasty'\": 37519,\n",
       " 'purpose': 1285,\n",
       " 'lazers': 52112,\n",
       " 'lightened': 28105,\n",
       " 'kaliganj': 52113,\n",
       " 'popularism': 52114,\n",
       " \"damme's\": 18511,\n",
       " 'stylistics': 30578,\n",
       " 'mindgaming': 52115,\n",
       " 'spoilerish': 46449,\n",
       " \"'corny'\": 52117,\n",
       " 'boerner': 34718,\n",
       " 'olds': 6792,\n",
       " 'bakelite': 52118,\n",
       " 'renovated': 27639,\n",
       " 'forrester': 27640,\n",
       " \"lumiere's\": 52119,\n",
       " 'gaskets': 52024,\n",
       " 'needed': 884,\n",
       " 'smight': 34719,\n",
       " 'master': 1297,\n",
       " \"edie's\": 25905,\n",
       " 'seeber': 40868,\n",
       " 'hiya': 52120,\n",
       " 'fuzziness': 52121,\n",
       " 'genesis': 14897,\n",
       " 'rewards': 12607,\n",
       " 'enthrall': 30579,\n",
       " \"'about\": 40869,\n",
       " \"recollection's\": 52122,\n",
       " 'mutilated': 11039,\n",
       " 'fatherlands': 52123,\n",
       " \"fischer's\": 52124,\n",
       " 'positively': 5399,\n",
       " '270': 34705,\n",
       " 'ahmed': 34720,\n",
       " 'zatoichi': 9836,\n",
       " 'bannister': 13886,\n",
       " 'anniversaries': 52127,\n",
       " \"helm's\": 30580,\n",
       " \"'work'\": 52128,\n",
       " 'exclaimed': 34721,\n",
       " \"'unfunny'\": 52129,\n",
       " '274': 52029,\n",
       " 'feeling': 544,\n",
       " \"wanda's\": 52131,\n",
       " 'dolan': 33266,\n",
       " '278': 52133,\n",
       " 'peacoat': 52134,\n",
       " 'brawny': 40870,\n",
       " 'mishra': 40871,\n",
       " 'worlders': 40872,\n",
       " 'protags': 52135,\n",
       " 'skullcap': 52136,\n",
       " 'dastagir': 57596,\n",
       " 'affairs': 5622,\n",
       " 'wholesome': 7799,\n",
       " 'hymen': 52137,\n",
       " 'paramedics': 25246,\n",
       " 'unpersons': 52138,\n",
       " 'heavyarms': 52139,\n",
       " 'affaire': 52140,\n",
       " 'coulisses': 52141,\n",
       " 'hymer': 40873,\n",
       " 'kremlin': 52142,\n",
       " 'shipments': 30581,\n",
       " 'pixilated': 52143,\n",
       " \"'00s\": 30582,\n",
       " 'diminishing': 18512,\n",
       " 'cinematic': 1357,\n",
       " 'resonates': 14898,\n",
       " 'simplify': 40874,\n",
       " \"nature'\": 40875,\n",
       " 'temptresses': 40876,\n",
       " 'reverence': 16822,\n",
       " 'resonated': 19502,\n",
       " 'dailey': 34722,\n",
       " '2\\x85': 52144,\n",
       " 'treize': 27641,\n",
       " 'majo': 52145,\n",
       " 'kiya': 21910,\n",
       " 'woolnough': 52146,\n",
       " 'thanatos': 39797,\n",
       " 'sandoval': 35731,\n",
       " 'dorama': 40879,\n",
       " \"o'shaughnessy\": 52147,\n",
       " 'tech': 4988,\n",
       " 'fugitives': 32018,\n",
       " 'teck': 30583,\n",
       " \"'e'\": 76125,\n",
       " 'doesn’t': 40881,\n",
       " 'purged': 52149,\n",
       " 'saying': 657,\n",
       " \"martians'\": 41095,\n",
       " 'norliss': 23418,\n",
       " 'dickey': 27642,\n",
       " 'dicker': 52152,\n",
       " \"'sependipity\": 52153,\n",
       " 'padded': 8422,\n",
       " 'ordell': 57792,\n",
       " \"sturges'\": 40882,\n",
       " 'independentcritics': 52154,\n",
       " 'tempted': 5745,\n",
       " \"atkinson's\": 34724,\n",
       " 'hounded': 25247,\n",
       " 'apace': 52155,\n",
       " 'clicked': 15494,\n",
       " \"'humor'\": 30584,\n",
       " \"martino's\": 17177,\n",
       " \"'supporting\": 52156,\n",
       " 'warmongering': 52032,\n",
       " \"zemeckis's\": 34725,\n",
       " 'lube': 21911,\n",
       " 'shocky': 52157,\n",
       " 'plate': 7476,\n",
       " 'plata': 40883,\n",
       " 'sturgess': 40884,\n",
       " \"nerds'\": 40885,\n",
       " 'plato': 20600,\n",
       " 'plath': 34726,\n",
       " 'platt': 40886,\n",
       " 'mcnab': 52159,\n",
       " 'clumsiness': 27643,\n",
       " 'altogether': 3899,\n",
       " 'massacring': 42584,\n",
       " 'bicenntinial': 52160,\n",
       " 'skaal': 40887,\n",
       " 'droning': 14360,\n",
       " 'lds': 8776,\n",
       " 'jaguar': 21912,\n",
       " \"cale's\": 34727,\n",
       " 'nicely': 1777,\n",
       " 'mummy': 4588,\n",
       " \"lot's\": 18513,\n",
       " 'patch': 10086,\n",
       " 'kerkhof': 50202,\n",
       " \"leader's\": 52161,\n",
       " \"'movie\": 27644,\n",
       " 'uncomfirmed': 52162,\n",
       " 'heirloom': 40888,\n",
       " 'wrangle': 47360,\n",
       " 'emotion\\x85': 52163,\n",
       " \"'stargate'\": 52164,\n",
       " 'pinoy': 40889,\n",
       " 'conchatta': 40890,\n",
       " 'broeke': 41128,\n",
       " 'advisedly': 40891,\n",
       " \"barker's\": 17636,\n",
       " 'descours': 52166,\n",
       " 'lots': 772,\n",
       " 'lotr': 9259,\n",
       " 'irs': 9879,\n",
       " 'lott': 52167,\n",
       " 'xvi': 40892,\n",
       " 'irk': 34728,\n",
       " 'irl': 52168,\n",
       " 'ira': 6887,\n",
       " 'belzer': 21913,\n",
       " 'irc': 52169,\n",
       " 'ire': 27645,\n",
       " 'requisites': 40893,\n",
       " 'discipline': 7693,\n",
       " 'lyoko': 52961,\n",
       " 'extend': 11310,\n",
       " 'nature': 873,\n",
       " \"'dickie'\": 52170,\n",
       " 'optimist': 40894,\n",
       " 'lapping': 30586,\n",
       " 'superficial': 3900,\n",
       " 'vestment': 52171,\n",
       " 'extent': 2823,\n",
       " 'tendons': 52172,\n",
       " \"heller's\": 52173,\n",
       " 'quagmires': 52174,\n",
       " 'miyako': 52175,\n",
       " 'moocow': 20601,\n",
       " \"coles'\": 52176,\n",
       " 'lookit': 40895,\n",
       " 'ravenously': 52177,\n",
       " 'levitating': 40896,\n",
       " 'perfunctorily': 52178,\n",
       " 'lookin': 30587,\n",
       " \"lot'\": 40898,\n",
       " 'lookie': 52179,\n",
       " 'fearlessly': 34870,\n",
       " 'libyan': 52181,\n",
       " 'fondles': 40899,\n",
       " 'gopher': 35714,\n",
       " 'wearying': 40901,\n",
       " \"nz's\": 52182,\n",
       " 'minuses': 27646,\n",
       " 'puposelessly': 52183,\n",
       " 'shandling': 52184,\n",
       " 'decapitates': 31268,\n",
       " 'humming': 11929,\n",
       " \"'nother\": 40902,\n",
       " 'smackdown': 21914,\n",
       " 'underdone': 30588,\n",
       " 'frf': 40903,\n",
       " 'triviality': 52185,\n",
       " 'fro': 25248,\n",
       " 'bothers': 8777,\n",
       " \"'kensington\": 52186,\n",
       " 'much': 73,\n",
       " 'muco': 34730,\n",
       " 'wiseguy': 22615,\n",
       " \"richie's\": 27648,\n",
       " 'tonino': 40904,\n",
       " 'unleavened': 52187,\n",
       " 'fry': 11587,\n",
       " \"'tv'\": 40905,\n",
       " 'toning': 40906,\n",
       " 'obese': 14361,\n",
       " 'sensationalized': 30589,\n",
       " 'spiv': 40907,\n",
       " 'spit': 6259,\n",
       " 'arkin': 7364,\n",
       " 'charleton': 21915,\n",
       " 'jeon': 16823,\n",
       " 'boardroom': 21916,\n",
       " 'doubts': 4989,\n",
       " 'spin': 3084,\n",
       " 'hepo': 53083,\n",
       " 'wildcat': 27649,\n",
       " 'venoms': 10584,\n",
       " 'misconstrues': 52191,\n",
       " 'mesmerising': 18514,\n",
       " 'misconstrued': 40908,\n",
       " 'rescinds': 52192,\n",
       " 'prostrate': 52193,\n",
       " 'majid': 40909,\n",
       " 'climbed': 16479,\n",
       " 'canoeing': 34731,\n",
       " 'majin': 52195,\n",
       " 'animie': 57804,\n",
       " 'sylke': 40910,\n",
       " 'conditioned': 14899,\n",
       " 'waddell': 40911,\n",
       " '3\\x85': 52196,\n",
       " 'hyperdrive': 41188,\n",
       " 'conditioner': 34732,\n",
       " 'bricklayer': 53153,\n",
       " 'hong': 2576,\n",
       " 'memoriam': 52198,\n",
       " 'inventively': 30592,\n",
       " \"levant's\": 25249,\n",
       " 'portobello': 20638,\n",
       " 'remand': 52200,\n",
       " 'mummified': 19504,\n",
       " 'honk': 27650,\n",
       " 'spews': 19505,\n",
       " 'visitations': 40912,\n",
       " 'mummifies': 52201,\n",
       " 'cavanaugh': 25250,\n",
       " 'zeon': 23385,\n",
       " \"jungle's\": 40913,\n",
       " 'viertel': 34733,\n",
       " 'frenchmen': 27651,\n",
       " 'torpedoes': 52202,\n",
       " 'schlessinger': 52203,\n",
       " 'torpedoed': 34734,\n",
       " 'blister': 69876,\n",
       " 'cinefest': 52204,\n",
       " 'furlough': 34735,\n",
       " 'mainsequence': 52205,\n",
       " 'mentors': 40914,\n",
       " 'academic': 9094,\n",
       " 'stillness': 20602,\n",
       " 'academia': 40915,\n",
       " 'lonelier': 52206,\n",
       " 'nibby': 52207,\n",
       " \"losers'\": 52208,\n",
       " 'cineastes': 40916,\n",
       " 'corporate': 4449,\n",
       " 'massaging': 40917,\n",
       " 'bellow': 30593,\n",
       " 'absurdities': 19506,\n",
       " 'expetations': 53241,\n",
       " 'nyfiken': 40918,\n",
       " 'mehras': 75638,\n",
       " 'lasse': 52209,\n",
       " 'visability': 52210,\n",
       " 'militarily': 33946,\n",
       " \"elder'\": 52211,\n",
       " 'gainsbourg': 19023,\n",
       " 'hah': 20603,\n",
       " 'hai': 13420,\n",
       " 'haj': 34736,\n",
       " 'hak': 25251,\n",
       " 'hal': 4311,\n",
       " 'ham': 4892,\n",
       " 'duffer': 53259,\n",
       " 'haa': 52213,\n",
       " 'had': 66,\n",
       " 'advancement': 11930,\n",
       " 'hag': 16825,\n",
       " \"hand'\": 25252,\n",
       " 'hay': 13421,\n",
       " 'mcnamara': 20604,\n",
       " \"mozart's\": 52214,\n",
       " 'duffel': 30731,\n",
       " 'haq': 30594,\n",
       " 'har': 13887,\n",
       " 'has': 44,\n",
       " 'hat': 2401,\n",
       " 'hav': 40919,\n",
       " 'haw': 30595,\n",
       " 'figtings': 52215,\n",
       " 'elders': 15495,\n",
       " 'underpanted': 52216,\n",
       " 'pninson': 52217,\n",
       " 'unequivocally': 27652,\n",
       " \"barbara's\": 23673,\n",
       " \"bello'\": 52219,\n",
       " 'indicative': 12997,\n",
       " 'yawnfest': 40920,\n",
       " 'hexploitation': 52220,\n",
       " \"loder's\": 52221,\n",
       " 'sleuthing': 27653,\n",
       " \"justin's\": 32622,\n",
       " \"'ball\": 52222,\n",
       " \"'summer\": 52223,\n",
       " \"'demons'\": 34935,\n",
       " \"mormon's\": 52225,\n",
       " \"laughton's\": 34737,\n",
       " 'debell': 52226,\n",
       " 'shipyard': 39724,\n",
       " 'unabashedly': 30597,\n",
       " 'disks': 40401,\n",
       " 'crowd': 2290,\n",
       " 'crowe': 10087,\n",
       " \"vancouver's\": 56434,\n",
       " 'mosques': 34738,\n",
       " 'crown': 6627,\n",
       " 'culpas': 52227,\n",
       " 'crows': 27654,\n",
       " 'surrell': 53344,\n",
       " 'flowless': 52229,\n",
       " 'sheirk': 52230,\n",
       " \"'three\": 40923,\n",
       " \"peterson'\": 52231,\n",
       " 'ooverall': 52232,\n",
       " 'perchance': 40924,\n",
       " 'bottom': 1321,\n",
       " 'chabert': 53363,\n",
       " 'sneha': 52233,\n",
       " 'inhuman': 13888,\n",
       " 'ichii': 52234,\n",
       " 'ursla': 52235,\n",
       " 'completly': 30598,\n",
       " 'moviedom': 40925,\n",
       " 'raddick': 52236,\n",
       " 'brundage': 51995,\n",
       " 'brigades': 40926,\n",
       " 'starring': 1181,\n",
       " \"'goal'\": 52237,\n",
       " 'caskets': 52238,\n",
       " 'willcock': 52239,\n",
       " \"threesome's\": 52240,\n",
       " \"mosque'\": 52241,\n",
       " \"cover's\": 52242,\n",
       " 'spaceships': 17637,\n",
       " 'anomalous': 40927,\n",
       " 'ptsd': 27655,\n",
       " 'shirdan': 52243,\n",
       " 'obscenity': 21962,\n",
       " 'lemmings': 30599,\n",
       " 'duccio': 30600,\n",
       " \"levene's\": 52244,\n",
       " \"'gorby'\": 52245,\n",
       " \"teenager's\": 25255,\n",
       " 'marshall': 5340,\n",
       " 'honeymoon': 9095,\n",
       " 'shoots': 3231,\n",
       " 'despised': 12258,\n",
       " 'okabasho': 52246,\n",
       " 'fabric': 8289,\n",
       " 'cannavale': 18515,\n",
       " 'raped': 3537,\n",
       " \"tutt's\": 52247,\n",
       " 'grasping': 17638,\n",
       " 'despises': 18516,\n",
       " \"thief's\": 40928,\n",
       " 'rapes': 8926,\n",
       " 'raper': 52248,\n",
       " \"eyre'\": 27656,\n",
       " 'walchek': 52249,\n",
       " \"elmo's\": 23386,\n",
       " 'perfumes': 40929,\n",
       " 'spurting': 21918,\n",
       " \"exposition'\\x85\": 52250,\n",
       " 'denoting': 52251,\n",
       " 'thesaurus': 34740,\n",
       " \"shoot'\": 40930,\n",
       " 'bonejack': 49759,\n",
       " 'simpsonian': 52253,\n",
       " 'hebetude': 30601,\n",
       " \"hallow's\": 34741,\n",
       " 'desperation\\x85': 52254,\n",
       " 'incinerator': 34742,\n",
       " 'congratulations': 10308,\n",
       " 'humbled': 52255,\n",
       " \"else's\": 5924,\n",
       " 'trelkovski': 40845,\n",
       " \"rape'\": 52256,\n",
       " \"'chapters'\": 59386,\n",
       " '1600s': 52257,\n",
       " 'martian': 7253,\n",
       " 'nicest': 25256,\n",
       " 'eyred': 52259,\n",
       " 'passenger': 9457,\n",
       " 'disgrace': 6041,\n",
       " 'moderne': 52260,\n",
       " 'barrymore': 5120,\n",
       " 'yankovich': 52261,\n",
       " 'moderns': 40931,\n",
       " 'studliest': 52262,\n",
       " 'bedsheet': 52263,\n",
       " 'decapitation': 14900,\n",
       " 'slurring': 52264,\n",
       " \"'nunsploitation'\": 52265,\n",
       " \"'character'\": 34743,\n",
       " 'cambodia': 9880,\n",
       " 'rebelious': 52266,\n",
       " 'pasadena': 27657,\n",
       " 'crowne': 40932,\n",
       " \"'bedchamber\": 52267,\n",
       " 'conjectural': 52268,\n",
       " 'appologize': 52269,\n",
       " 'halfassing': 52270,\n",
       " 'paycheque': 57816,\n",
       " 'palms': 20606,\n",
       " \"'islands\": 52271,\n",
       " 'hawked': 40933,\n",
       " 'palme': 21919,\n",
       " 'conservatively': 40934,\n",
       " 'larp': 64007,\n",
       " 'palma': 5558,\n",
       " 'smelling': 21920,\n",
       " 'aragorn': 12998,\n",
       " 'hawker': 52272,\n",
       " 'hawkes': 52273,\n",
       " 'explosions': 3975,\n",
       " 'loren': 8059,\n",
       " \"pyle's\": 52274,\n",
       " 'shootout': 6704,\n",
       " \"mike's\": 18517,\n",
       " \"driscoll's\": 52275,\n",
       " 'cogsworth': 40935,\n",
       " \"britian's\": 52276,\n",
       " 'childs': 34744,\n",
       " \"portrait's\": 52277,\n",
       " 'chain': 3626,\n",
       " 'whoever': 2497,\n",
       " 'puttered': 52278,\n",
       " 'childe': 52279,\n",
       " 'maywether': 52280,\n",
       " 'chair': 3036,\n",
       " \"rance's\": 52281,\n",
       " 'machu': 34745,\n",
       " 'ballet': 4517,\n",
       " 'grapples': 34746,\n",
       " 'summerize': 76152,\n",
       " 'freelance': 30603,\n",
       " \"andrea's\": 52283,\n",
       " '\\x91very': 52284,\n",
       " 'coolidge': 45879,\n",
       " 'mache': 18518,\n",
       " 'balled': 52285,\n",
       " 'grappled': 40937,\n",
       " 'macha': 18519,\n",
       " 'underlining': 21921,\n",
       " 'macho': 5623,\n",
       " 'oversight': 19507,\n",
       " 'machi': 25257,\n",
       " 'verbally': 11311,\n",
       " 'tenacious': 21922,\n",
       " 'windshields': 40938,\n",
       " 'paychecks': 18557,\n",
       " 'jerk': 3396,\n",
       " \"good'\": 11931,\n",
       " 'prancer': 34748,\n",
       " 'prances': 21923,\n",
       " 'olympus': 52286,\n",
       " 'lark': 21924,\n",
       " 'embark': 10785,\n",
       " 'gloomy': 7365,\n",
       " 'jehaan': 52287,\n",
       " 'turaqui': 52288,\n",
       " \"child'\": 20607,\n",
       " 'locked': 2894,\n",
       " 'pranced': 52289,\n",
       " 'exact': 2588,\n",
       " 'unattuned': 52290,\n",
       " 'minute': 783,\n",
       " 'skewed': 16118,\n",
       " 'hodgins': 40940,\n",
       " 'skewer': 34749,\n",
       " 'think\\x85': 52291,\n",
       " 'rosenstein': 38765,\n",
       " 'helmit': 52292,\n",
       " 'wrestlemanias': 34750,\n",
       " 'hindered': 16826,\n",
       " \"martha's\": 30604,\n",
       " 'cheree': 52293,\n",
       " \"pluckin'\": 52294,\n",
       " 'ogles': 40941,\n",
       " 'heavyweight': 11932,\n",
       " 'aada': 82190,\n",
       " 'chopping': 11312,\n",
       " 'strongboy': 61534,\n",
       " 'hegemonic': 41342,\n",
       " 'adorns': 40942,\n",
       " 'xxth': 41346,\n",
       " 'nobuhiro': 34751,\n",
       " 'capitães': 52298,\n",
       " 'kavogianni': 52299,\n",
       " 'antwerp': 13422,\n",
       " 'celebrated': 6538,\n",
       " 'roarke': 52300,\n",
       " 'baggins': 40943,\n",
       " 'cheeseburgers': 31270,\n",
       " 'matras': 52301,\n",
       " \"nineties'\": 52302,\n",
       " \"'craig'\": 52303,\n",
       " 'celebrates': 12999,\n",
       " 'unintentionally': 3383,\n",
       " 'drafted': 14362,\n",
       " 'climby': 52304,\n",
       " '303': 52305,\n",
       " 'oldies': 18520,\n",
       " 'climbs': 9096,\n",
       " 'honour': 9655,\n",
       " 'plucking': 34752,\n",
       " '305': 30074,\n",
       " 'address': 5514,\n",
       " 'menjou': 40944,\n",
       " \"'freak'\": 42592,\n",
       " 'dwindling': 19508,\n",
       " 'benson': 9458,\n",
       " 'white’s': 52307,\n",
       " 'shamelessness': 40945,\n",
       " 'impacted': 21925,\n",
       " 'upatz': 52308,\n",
       " 'cusack': 3840,\n",
       " \"flavia's\": 37567,\n",
       " 'effette': 52309,\n",
       " 'influx': 34753,\n",
       " 'boooooooo': 52310,\n",
       " 'dimitrova': 52311,\n",
       " 'houseman': 13423,\n",
       " 'bigas': 25259,\n",
       " 'boylen': 52312,\n",
       " 'phillipenes': 52313,\n",
       " 'fakery': 40946,\n",
       " \"grandpa's\": 27658,\n",
       " 'darnell': 27659,\n",
       " 'undergone': 19509,\n",
       " 'handbags': 52315,\n",
       " 'perished': 21926,\n",
       " 'pooped': 37778,\n",
       " 'vigour': 27660,\n",
       " 'opposed': 3627,\n",
       " 'etude': 52316,\n",
       " \"caine's\": 11799,\n",
       " 'doozers': 52317,\n",
       " 'photojournals': 34754,\n",
       " 'perishes': 52318,\n",
       " 'constrains': 34755,\n",
       " 'migenes': 40948,\n",
       " 'consoled': 30605,\n",
       " 'alastair': 16827,\n",
       " 'wvs': 52319,\n",
       " 'ooooooh': 52320,\n",
       " 'approving': 34756,\n",
       " 'consoles': 40949,\n",
       " 'disparagement': 52064,\n",
       " 'futureistic': 52322,\n",
       " 'rebounding': 52323,\n",
       " \"'date\": 52324,\n",
       " 'gregoire': 52325,\n",
       " 'rutherford': 21927,\n",
       " 'americanised': 34757,\n",
       " 'novikov': 82196,\n",
       " 'following': 1042,\n",
       " 'munroe': 34758,\n",
       " \"morita'\": 52326,\n",
       " 'christenssen': 52327,\n",
       " 'oatmeal': 23106,\n",
       " 'fossey': 25260,\n",
       " 'livered': 40950,\n",
       " 'listens': 13000,\n",
       " \"'marci\": 76164,\n",
       " \"otis's\": 52330,\n",
       " 'thanking': 23387,\n",
       " 'maude': 16019,\n",
       " 'extensions': 34759,\n",
       " 'ameteurish': 52332,\n",
       " \"commender's\": 52333,\n",
       " 'agricultural': 27661,\n",
       " 'convincingly': 4518,\n",
       " 'fueled': 17639,\n",
       " 'mahattan': 54014,\n",
       " \"paris's\": 40952,\n",
       " 'vulkan': 52336,\n",
       " 'stapes': 52337,\n",
       " 'odysessy': 52338,\n",
       " 'harmon': 12259,\n",
       " 'surfing': 4252,\n",
       " 'halloran': 23494,\n",
       " 'unbelieveably': 49580,\n",
       " \"'offed'\": 52339,\n",
       " 'quadrant': 30607,\n",
       " 'inhabiting': 19510,\n",
       " 'nebbish': 34760,\n",
       " 'forebears': 40953,\n",
       " 'skirmish': 34761,\n",
       " 'ocassionally': 52340,\n",
       " \"'resist\": 52341,\n",
       " 'impactful': 21928,\n",
       " 'spicier': 52342,\n",
       " 'touristy': 40954,\n",
       " \"'football'\": 52343,\n",
       " 'webpage': 40955,\n",
       " 'exurbia': 52345,\n",
       " 'jucier': 52346,\n",
       " 'professors': 14901,\n",
       " 'structuring': 34762,\n",
       " 'jig': 30608,\n",
       " 'overlord': 40956,\n",
       " 'disconnect': 25261,\n",
       " 'sniffle': 82201,\n",
       " 'slimeball': 40957,\n",
       " 'jia': 40958,\n",
       " 'milked': 16828,\n",
       " 'banjoes': 40959,\n",
       " 'jim': 1237,\n",
       " 'workforces': 52348,\n",
       " 'jip': 52349,\n",
       " 'rotweiller': 52350,\n",
       " 'mundaneness': 34763,\n",
       " \"'ninja'\": 52351,\n",
       " \"dead'\": 11040,\n",
       " \"cipriani's\": 40960,\n",
       " 'modestly': 20608,\n",
       " \"professor'\": 52352,\n",
       " 'shacked': 40961,\n",
       " 'bashful': 34764,\n",
       " 'sorter': 23388,\n",
       " 'overpowering': 16120,\n",
       " 'workmanlike': 18521,\n",
       " 'henpecked': 27662,\n",
       " 'sorted': 18522,\n",
       " \"jōb's\": 52354,\n",
       " \"'always\": 52355,\n",
       " \"'baptists\": 34765,\n",
       " 'dreamcatchers': 52356,\n",
       " \"'silence'\": 52357,\n",
       " 'hickory': 21929,\n",
       " 'fun\\x97yet': 52358,\n",
       " 'breakumentary': 52359,\n",
       " 'didn': 15496,\n",
       " 'didi': 52360,\n",
       " 'pealing': 52361,\n",
       " 'dispite': 40962,\n",
       " \"italy's\": 25262,\n",
       " 'instability': 21930,\n",
       " 'quarter': 6539,\n",
       " 'quartet': 12608,\n",
       " 'padmé': 52362,\n",
       " \"'bleedmedry\": 52363,\n",
       " 'pahalniuk': 52364,\n",
       " 'honduras': 52365,\n",
       " 'bursting': 10786,\n",
       " \"pablo's\": 41465,\n",
       " 'irremediably': 52367,\n",
       " 'presages': 40963,\n",
       " 'bowlegged': 57832,\n",
       " 'dalip': 65183,\n",
       " 'entering': 6260,\n",
       " 'newsradio': 76172,\n",
       " 'presaged': 54150,\n",
       " \"giallo's\": 27663,\n",
       " 'bouyant': 40964,\n",
       " 'amerterish': 52368,\n",
       " 'rajni': 18523,\n",
       " 'leeves': 30610,\n",
       " 'macauley': 34767,\n",
       " 'seriously': 612,\n",
       " 'sugercoma': 52369,\n",
       " 'grimstead': 52370,\n",
       " \"'fairy'\": 52371,\n",
       " 'zenda': 30611,\n",
       " \"'twins'\": 52372,\n",
       " 'realisation': 17640,\n",
       " 'highsmith': 27664,\n",
       " 'raunchy': 7817,\n",
       " 'incentives': 40965,\n",
       " 'flatson': 52374,\n",
       " 'snooker': 35097,\n",
       " 'crazies': 16829,\n",
       " 'crazier': 14902,\n",
       " 'grandma': 7094,\n",
       " 'napunsaktha': 52375,\n",
       " 'workmanship': 30612,\n",
       " 'reisner': 52376,\n",
       " \"sanford's\": 61306,\n",
       " '\\x91doña': 52377,\n",
       " 'modest': 6108,\n",
       " \"everything's\": 19153,\n",
       " 'hamer': 40966,\n",
       " \"couldn't'\": 52379,\n",
       " 'quibble': 13001,\n",
       " 'socking': 52380,\n",
       " 'tingler': 21931,\n",
       " 'gutman': 52381,\n",
       " 'lachlan': 40967,\n",
       " 'tableaus': 52382,\n",
       " 'headbanger': 52383,\n",
       " 'spoken': 2847,\n",
       " 'cerebrally': 34768,\n",
       " \"'road\": 23490,\n",
       " 'tableaux': 21932,\n",
       " \"proust's\": 40968,\n",
       " 'periodical': 40969,\n",
       " \"shoveller's\": 52385,\n",
       " 'tamara': 25263,\n",
       " 'affords': 17641,\n",
       " 'concert': 3249,\n",
       " \"yara's\": 87955,\n",
       " 'someome': 52386,\n",
       " 'lingering': 8424,\n",
       " \"abraham's\": 41511,\n",
       " 'beesley': 34769,\n",
       " 'cherbourg': 34770,\n",
       " 'kagan': 28624,\n",
       " 'snatch': 9097,\n",
       " \"miyazaki's\": 9260,\n",
       " 'absorbs': 25264,\n",
       " \"koltai's\": 40970,\n",
       " 'tingled': 64027,\n",
       " 'crossroads': 19511,\n",
       " 'rehab': 16121,\n",
       " 'falworth': 52389,\n",
       " 'sequals': 52390,\n",
       " ...}"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word_index"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "What do you think is the most common word in this reviews?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "\n",
    "def vectorize_sequences(sequences, dimension=10000):\n",
    "    # Create an all-zero matrix of shape (len(sequences), dimension)\n",
    "    results = np.zeros((len(sequences), dimension))\n",
    "    for i, sequence in enumerate(sequences):\n",
    "        results[i, sequence] = 1.  # set specific indices of results[i] to 1s\n",
    "    return results\n",
    "\n",
    "x_train = vectorize_sequences(train_data)\n",
    "x_test = vectorize_sequences(test_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0., 1., 1., ..., 0., 0., 0.])"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_train = np.asarray(train_labels).astype('float32')\n",
    "y_test = np.asarray(test_labels).astype('float32')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "250000000"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.size # Not in the terabytes... which probably is not so bad!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sequential API\n",
    "from tensorflow.keras import models\n",
    "from tensorflow.keras import layers\n",
    "\n",
    "model = models.Sequential()\n",
    "model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))\n",
    "model.add(layers.Dense(16, activation='relu'))\n",
    "model.add(layers.Dense(1, activation='sigmoid'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(optimizer='rmsprop',\n",
    "              loss='binary_crossentropy', # best for probabilities output\n",
    "              #loss='mean_squared_error',\n",
    "              metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "or"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras import optimizers\n",
    "\n",
    "model.compile(optimizer=optimizers.RMSprop(lr=0.001),\n",
    "              loss='binary_crossentropy',\n",
    "              metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "or"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras import losses\n",
    "from tensorflow.keras import metrics\n",
    "\n",
    "model.compile(optimizer=optimizers.RMSprop(lr=0.001),\n",
    "              #loss=losses.binary_crossentropy,\n",
    "              loss=losses.mean_squared_error,\n",
    "              metrics=[metrics.binary_accuracy])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_val = x_train[:10000]\n",
    "partial_x_train = x_train[10000:]\n",
    "\n",
    "y_val = y_train[:10000]\n",
    "partial_y_train = y_train[10000:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 15000 samples, validate on 10000 samples\n",
      "Epoch 1/20\n",
      "15000/15000 [==============================] - 4s 254us/sample - loss: 0.1704 - binary_accuracy: 0.7961 - val_loss: 0.1296 - val_binary_accuracy: 0.8449\n",
      "Epoch 2/20\n",
      "15000/15000 [==============================] - 2s 130us/sample - loss: 0.0943 - binary_accuracy: 0.9050 - val_loss: 0.0962 - val_binary_accuracy: 0.8858\n",
      "Epoch 3/20\n",
      "15000/15000 [==============================] - 2s 108us/sample - loss: 0.0681 - binary_accuracy: 0.9274 - val_loss: 0.0945 - val_binary_accuracy: 0.8744\n",
      "Epoch 4/20\n",
      "15000/15000 [==============================] - 2s 111us/sample - loss: 0.0522 - binary_accuracy: 0.9448 - val_loss: 0.0827 - val_binary_accuracy: 0.8931\n",
      "Epoch 5/20\n",
      "15000/15000 [==============================] - 2s 111us/sample - loss: 0.0426 - binary_accuracy: 0.9559 - val_loss: 0.0842 - val_binary_accuracy: 0.8857\n",
      "Epoch 6/20\n",
      "15000/15000 [==============================] - 2s 108us/sample - loss: 0.0355 - binary_accuracy: 0.9638 - val_loss: 0.0865 - val_binary_accuracy: 0.8825\n",
      "Epoch 7/20\n",
      "15000/15000 [==============================] - 1s 100us/sample - loss: 0.0290 - binary_accuracy: 0.9725 - val_loss: 0.0848 - val_binary_accuracy: 0.8835\n",
      "Epoch 8/20\n",
      "15000/15000 [==============================] - 2s 104us/sample - loss: 0.0245 - binary_accuracy: 0.9770 - val_loss: 0.0877 - val_binary_accuracy: 0.8835\n",
      "Epoch 9/20\n",
      "15000/15000 [==============================] - 2s 104us/sample - loss: 0.0204 - binary_accuracy: 0.9826 - val_loss: 0.0893 - val_binary_accuracy: 0.8797\n",
      "Epoch 10/20\n",
      "15000/15000 [==============================] - 2s 106us/sample - loss: 0.0170 - binary_accuracy: 0.9854 - val_loss: 0.0913 - val_binary_accuracy: 0.8790\n",
      "Epoch 11/20\n",
      "15000/15000 [==============================] - 2s 105us/sample - loss: 0.0142 - binary_accuracy: 0.9891 - val_loss: 0.0937 - val_binary_accuracy: 0.8770\n",
      "Epoch 12/20\n",
      "15000/15000 [==============================] - 2s 107us/sample - loss: 0.0126 - binary_accuracy: 0.9902 - val_loss: 0.0965 - val_binary_accuracy: 0.8720\n",
      "Epoch 13/20\n",
      "15000/15000 [==============================] - 2s 105us/sample - loss: 0.0103 - binary_accuracy: 0.9917 - val_loss: 0.0992 - val_binary_accuracy: 0.8716\n",
      "Epoch 14/20\n",
      "15000/15000 [==============================] - 2s 102us/sample - loss: 0.0087 - binary_accuracy: 0.9931 - val_loss: 0.0997 - val_binary_accuracy: 0.8729\n",
      "Epoch 15/20\n",
      "15000/15000 [==============================] - 2s 103us/sample - loss: 0.0079 - binary_accuracy: 0.9935 - val_loss: 0.1042 - val_binary_accuracy: 0.8674\n",
      "Epoch 16/20\n",
      "15000/15000 [==============================] - 2s 105us/sample - loss: 0.0055 - binary_accuracy: 0.9961 - val_loss: 0.1031 - val_binary_accuracy: 0.8702\n",
      "Epoch 17/20\n",
      "15000/15000 [==============================] - 2s 107us/sample - loss: 0.0059 - binary_accuracy: 0.9951 - val_loss: 0.1054 - val_binary_accuracy: 0.8682\n",
      "Epoch 18/20\n",
      "15000/15000 [==============================] - 2s 107us/sample - loss: 0.0051 - binary_accuracy: 0.9961 - val_loss: 0.1058 - val_binary_accuracy: 0.8686\n",
      "Epoch 19/20\n",
      "15000/15000 [==============================] - 2s 107us/sample - loss: 0.0056 - binary_accuracy: 0.9944 - val_loss: 0.1074 - val_binary_accuracy: 0.8679\n",
      "Epoch 20/20\n",
      "15000/15000 [==============================] - 2s 105us/sample - loss: 0.0033 - binary_accuracy: 0.9971 - val_loss: 0.1087 - val_binary_accuracy: 0.8667\n",
      "CPU times: user 1min 8s, sys: 1min 2s, total: 2min 10s\n",
      "Wall time: 34.6 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "history = model.fit(partial_x_train,\n",
    "                    partial_y_train,\n",
    "                    epochs=20,\n",
    "                    batch_size=512,\n",
    "                    validation_data=(x_val, y_val))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict_keys(['loss', 'binary_accuracy', 'val_loss', 'val_binary_accuracy'])"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "history_dict = history.history\n",
    "history_dict.keys()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAY4AAAEWCAYAAABxMXBSAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deZxU1Z338c+PXfZVkbVxGWUVsEUNQUSNQQ2ikSiIUVyC+MSYjOOMRLMYIjPqOGpweIyYuIKi0UclbsQZMZpFZBFZRAIiQiMqICAILg2/549zC6qb6qaKqltV3Xzfr9d91a1zz733VHV1/eos91xzd0RERNJVp9AFEBGRmkWBQ0REMqLAISIiGVHgEBGRjChwiIhIRhQ4REQkIwocUnBmVtfMtplZl1zmLSQzO8LMcj7W3cxOM7NVSc+XmdmgdPLux7l+Z2Y37O/+1Rz3ZjN7MNfHlfypV+gCSM1jZtuSnjYGvgR2Rs+vdPdpmRzP3XcCTXOd90Dg7kfl4jhmdgVwkbufnHTsK3JxbKl9FDgkY+6++4s7+kV7hbv/T1X5zayeu5fno2wiEj81VUnORU0Rj5vZY2a2FbjIzE40szfMbLOZrTOzSWZWP8pfz8zczEqi51Oj7S+a2VYz+7uZdcs0b7T9DDP7h5ltMbO7zeyvZjaminKnU8YrzWyFmW0ys0lJ+9Y1szvNbKOZrQSGVvP+3Ghm0yulTTazO6L1K8xsafR63otqA1Udq8zMTo7WG5vZI1HZlgDHVsr7MzNbGR13iZmdHaX3Bv4bGBQ1A25Iem9vStp/XPTaN5rZM2Z2aDrvzb6Y2blReTab2StmdlTSthvM7EMz+8zM3k16rSeY2fwo/WMz+890zyc54O5atOz3AqwCTquUdjPwFTCM8OPkIOA44HhCLfcw4B/A1VH+eoADJdHzqcAGoBSoDzwOTN2PvAcDW4Hh0bZrga+BMVW8lnTK+CzQAigBPk28duBqYAnQCWgDvBb+vVKe5zBgG9Ak6difAKXR82FRHgNOAXYAfaJtpwGrko5VBpwcrd8OvAq0AroC71TKez5waPQ3uTAqwyHRtiuAVyuVcypwU7R+elTGvkAj4P8Cr6Tz3qR4/TcDD0br3aNynBL9jW4AlkXrPYEPgPZR3m7AYdH6HGBUtN4MOL7Q/wsH0qIah8TlL+7+R3ff5e473H2Ou89293J3XwlMAQZXs/+T7j7X3b8GphG+sDLN+x1ggbs/G227kxBkUkqzjP/h7lvcfRXhSzpxrvOBO929zN03ArdUc56VwGJCQAP4FrDJ3edG2//o7is9eAX4XyBlB3gl5wM3u/smd/+AUItIPu8T7r4u+ps8Sgj6pWkcF2A08Dt3X+DuXwDjgcFm1ikpT1XvTXVGAjPc/ZXob3QLIfgcD5QTglTPqLnz/ei9g/AD4Egza+PuW919dpqvQ3JAgUPisib5iZkdbWbPm9lHZvYZMAFoW83+HyWtb6f6DvGq8nZILoe7O+EXekppljGtcxF+KVfnUWBUtH5h9DxRju+Y2Wwz+9TMNhN+7Vf3XiUcWl0ZzGyMmb0dNQltBo5O87gQXt/u47n7Z8AmoGNSnkz+ZlUddxfhb9TR3ZcB/0L4O3wSNX22j7JeCvQAlpnZm2Z2ZpqvQ3JAgUPiUnko6r2EX9lHuHtz4BeEppg4rSM0HQFgZkbFL7rKsinjOqBz0vN9DRd+AjjNzDoSah6PRmU8CHgS+A9CM1JL4E9pluOjqspgZocB9wBXAW2i476bdNx9DR3+kND8lTheM0KT2No0ypXJcesQ/mZrAdx9qrsPJDRT1SW8L7j7MncfSWiO/C/gKTNrlGVZJE0KHJIvzYAtwOdm1h24Mg/nfA7ob2bDzKwe8GOgXUxlfAL4iZl1NLM2wPXVZXb3j4C/AA8Cy9x9ebSpIdAAWA/sNLPvAKdmUIYbzKylhetcrk7a1pQQHNYTYugPCDWOhI+BTonBACk8BlxuZn3MrCHhC/x1d6+yBpdBmc82s5Ojc/8roV9qtpl1N7Mh0fl2RMsuwgv4vpm1jWooW6LXtivLskiaFDgkX/4FuITwpXAvoRM7Vu7+MXABcAewETgceItw3Umuy3gPoS9iEaHj9sk09nmU0Nm9u5nK3TcD/ww8TehgHkEIgOn4JaHmswp4EXg46bgLgbuBN6M8RwHJ/QIvA8uBj80suckpsf9LhCajp6P9uxD6PbLi7ksI7/k9hKA2FDg76u9oCNxG6Jf6iFDDuTHa9UxgqYVRe7cDF7j7V9mWR9JjodlXpPYzs7qEppER7v56ocsjUlOpxiG1mpkNjZpuGgI/J4zGebPAxRKp0RQ4pLb7JrCS0AzybeBcd6+qqUpE0qCmKhERyYhqHCIikpEDYpLDtm3beklJSaGLISJSo8ybN2+Du+81hP2ACBwlJSXMnTu30MUQEalRzCzlDAixNlVFI1qWRTNmjk+x/aRohstyMxuRlD7EzBYkLV+Y2TnRtgfN7P2kbenMhyMiIjkSW40jGjM/mTCBWxkwx8xmuPs7SdlWA2OA65L3dfdZRBOkmVlrYAVh2oWEf3X3dC6wEhGRHIuzqWoAsCIxm6WF+w8MJ0z1DEA0iyZmVt1UASOAF919e3xFFRGRdMUZODpScabOMsJUyZkaSZgyItlEM/sFYYqH8anG5ZvZWGAsQJcuRX17apFa5+uvv6asrIwvvvii0EWRNDRq1IhOnTpRv35VU5VVVNSd49EdxnoDM5OSf0qYt6YB4X4J1xPm0KnA3adE2yktLdXFKiJ5VFZWRrNmzSgpKSFMSizFyt3ZuHEjZWVldOvWbd87EG/n+FoqTvG8e6rkDJwPPB1NeAZAdCMaj2oZDxCaxHJu2jQoKYE6dcLjtGlxnEWkdvriiy9o06aNgkYNYGa0adMmo9phnIFjDuEOXd3MrAHRnb4yPMYownTOuyXd59iAcwj3T8ipadNg7Fj44ANwD49jxyp4iGRCQaPmyPRvFVvgcPdywv0AZgJLgSfcfYmZTTCzswHM7DgzKwO+B9xrZksS+5tZCaHG8udKh55mZosI01e3Jdy/OKduvBG2V+qK3749pIuIHOhivY7D3V9w939y98PdfWKU9gt3nxGtz3H3Tu7exN3buHvPpH1XuXvH6EYtycc8xd17u3svd7/I3bflutyrV2eWLiLFZePGjfTt25e+ffvSvn17OnbsuPv5V1+ld9uOSy+9lGXLllWbZ/LkyUzLUVPEN7/5TRYsWJCTY8WtqDvHC6VLl9A8lSpdRHJv2rRQo1+9OvyfTZwIo7O4TVSbNm12fwnfdNNNNG3alOuuq3C5GO6Ou1OnTurfzw888MA+z/PDH/5w/wtZg2mSwxQmToTGjSumNW4c0kUkt/LZp7hixQp69OjB6NGj6dmzJ+vWrWPs2LGUlpbSs2dPJkzYM0AzUQMoLy+nZcuWjB8/nmOOOYYTTzyRTz75BICf/exn3HXXXbvzjx8/ngEDBnDUUUfxt7/9DYDPP/+c8847jx49ejBixAhKS0v3WbOYOnUqvXv3plevXtxwww0AlJeX8/3vf393+qRJkwC488476dGjB3369OGiiy7K+XuWimocKSR+6eTyF5CIpFZdn2Ic/3PvvvsuDz/8MKWlpQDccssttG7dmvLycoYMGcKIESPo0aNHhX22bNnC4MGDueWWW7j22mu5//77GT9+r1mUcHfefPNNZsyYwYQJE3jppZe4++67ad++PU899RRvv/02/fv3r7Z8ZWVl/OxnP2Pu3Lm0aNGC0047jeeee4527dqxYcMGFi1aBMDmzZsBuO222/jggw9o0KDB7rS4qcZRhdGjYdUq2LUrPCpoiMQj332Khx9++O6gAfDYY4/Rv39/+vfvz9KlS3nnnXf22ueggw7ijDPOAODYY49l1apVKY/93e9+d688f/nLXxg5ciQAxxxzDD179ky5b8Ls2bM55ZRTaNu2LfXr1+fCCy/ktdde44gjjmDZsmVcc801zJw5kxYtWgDQs2dPLrroIqZNm5b2BXzZUuAQkYKqqu8wrj7FJk2a7F5fvnw5v/nNb3jllVdYuHAhQ4cOTXk9Q4MGDXav161bl/Ly8pTHbtiw4T7z7K82bdqwcOFCBg0axOTJk7nyyisBmDlzJuPGjWPOnDkMGDCAnTt35vS8qShwiEhBFbJP8bPPPqNZs2Y0b96cdevWMXPmzH3vlKGBAwfyxBNPALBo0aKUNZpkxx9/PLNmzWLjxo2Ul5czffp0Bg8ezPr163F3vve97zFhwgTmz5/Pzp07KSsr45RTTuG2225jw4YNbK/c7hcD9XGISEEVsk+xf//+9OjRg6OPPpquXbsycODAnJ/jRz/6ERdffDE9evTYvSSamVLp1KkTv/71rzn55JNxd4YNG8ZZZ53F/Pnzufzyy3F3zIxbb72V8vJyLrzwQrZu3cquXbu47rrraNasWc5fQ2UHxD3HS0tLXTdyEsmfpUuX0r1790IXoyiUl5dTXl5Oo0aNWL58OaeffjrLly+nXr3i+t2e6m9mZvPcvbRy3uIquYhILbNt2zZOPfVUysvLcXfuvffeogsamarZpRcRKXItW7Zk3rx5hS5GTqlzXEREMqLAISIiGVHgEBGRjChwiIhIRhQ4RKTWGTJkyF4X8911111cddVV1e7XtGlTAD788ENGjBiRMs/JJ5/Mvob333XXXRUuxDvzzDNzMo/UTTfdxO233571cbKlwCEitc6oUaOYPn16hbTp06czatSotPbv0KEDTz755H6fv3LgeOGFF2jZsuV+H6/YKHCISK0zYsQInn/++d03bVq1ahUffvghgwYN2n1dRf/+/enduzfPPvvsXvuvWrWKXr16AbBjxw5GjhxJ9+7dOffcc9mxY8fufFddddXuKdl/+ctfAjBp0iQ+/PBDhgwZwpAhQwAoKSlhw4YNANxxxx306tWLXr167Z6SfdWqVXTv3p0f/OAH9OzZk9NPP73CeVJZsGABJ5xwAn369OHcc89l06ZNu8+fmGY9Mbnin//85903surXrx9bt27d7/cWdB2HiMTsJz+BXN/Yrm9fiL5zU2rdujUDBgzgxRdfZPjw4UyfPp3zzz8fM6NRo0Y8/fTTNG/enA0bNnDCCSdw9tlnV3nf7XvuuYfGjRuzdOlSFi5cWGFa9IkTJ9K6dWt27tzJqaeeysKFC7nmmmu44447mDVrFm3btq1wrHnz5vHAAw8we/Zs3J3jjz+ewYMH06pVK5YvX85jjz3Gfffdx/nnn89TTz1V7f01Lr74Yu6++24GDx7ML37xC371q19x1113ccstt/D+++/TsGHD3c1jt99+O5MnT2bgwIFs27aNRo0aZfBu7001DhGplZKbq5KbqdydG264gT59+nDaaaexdu1aPv744yqP89prr+3+Au/Tpw99+vTZve2JJ56gf//+9OvXjyVLluxzAsO//OUvnHvuuTRp0oSmTZvy3e9+l9dffx2Abt260bdvX6D6qdsh3B9k8+bNDB48GIBLLrmE1157bXcZR48ezdSpU3dfoT5w4ECuvfZaJk2axObNm7O+cl01DhGJVXU1gzgNHz6cf/7nf2b+/Pls376dY489FoBp06axfv165s2bR/369SkpKUk5lfq+vP/++9x+++3MmTOHVq1aMWbMmP06TkJiSnYI07Lvq6mqKs8//zyvvfYaf/zjH5k4cSKLFi1i/PjxnHXWWbzwwgsMHDiQmTNncvTRR+93WWOtcZjZUDNbZmYrzGyv22WZ2UlmNt/Mys1sRKVtO81sQbTMSErvZmazo2M+bmYNKh9XRKRp06YMGTKEyy67rEKn+JYtWzj44IOpX78+s2bN4oMPPqj2OCeddBKPPvooAIsXL2bhwoVAmJK9SZMmtGjRgo8//pgXX3xx9z7NmjVL2Y8waNAgnnnmGbZv387nn3/O008/zaBBgzJ+bS1atKBVq1a7ayuPPPIIgwcPZteuXaxZs4YhQ4Zw6623smXLFrZt28Z7771H7969uf766znuuON49913Mz5nsthqHGZWF5gMfAsoA+aY2Qx3T67LrQbGANftfQR2uHvfFOm3Ane6+3Qz+y1wOXBPTgsvIrXCqFGjOPfccyuMsBo9ejTDhg2jd+/elJaW7vOX91VXXcWll15K9+7d6d69++6ayzHHHEO/fv04+uij6dy5c4Up2ceOHcvQoUPp0KEDs2bN2p3ev39/xowZw4ABAwC44oor6NevX7XNUlV56KGHGDduHNu3b+ewww7jgQceYOfOnVx00UVs2bIFd+eaa66hZcuW/PznP2fWrFnUqVOHnj177r6b4f6KbVp1MzsRuMndvx09/ymAu/9HirwPAs+5+5NJadvcvWmlfAasB9q7e3nlc1RF06qL5JemVa95MplWPc6mqo7AmqTnZVFauhqZ2Vwze8PMzonS2gCb3T1xT8Yqj2lmY6P9565fvz7TsouISBWKuXO8q7uvNbPDgFfMbBGwJd2d3X0KMAVCjSOmMoqIHHDirHGsBTonPe8UpaXF3ddGjyuBV4F+wEagpZklAl5GxxSR/DkQ7i5aW2T6t4ozcMwBjoxGQTUARgIz9rEPAGbWyswaRuttgYHAOx5e3SwgMQLrEmDvyz5FpKAaNWrExo0bFTxqAHdn48aNGV0UGFtTVdR5fTUwE6gL3O/uS8xsAjDX3WeY2XHA00ArYJiZ/crdewLdgXvNbBchuN2SNBrremC6md0MvAX8Pq7XICL7p1OnTpSVlaH+xZqhUaNGdOrUKe38sY2qKiYaVSUikrlCjKoSEZFaSIFDREQyosAhIiIZUeAQEZGMKHCIiEhGFDhERCQjChwiIpIRBQ4REcmIAoeIiGREgUNERDKiwCEiIhlR4BARkYwocIiISEYUOEREJCMKHCIikhEFDhERyYgCh4iIZESBoxrvvAMvv1zoUoiIFJfY7jleG/zoR7ByJaxYAXXrFro0IiLFQTWOalx5JaxaBX/6U6FLIiJSPBQ4qnHOOXDwwfDb3xa6JCIixSPWwGFmQ81smZmtMLPxKbafZGbzzazczEYkpfc1s7+b2RIzW2hmFyRte9DM3jezBdHSN67yN2gAl18Ozz0Ha9bEdRYRkZoltsBhZnWBycAZQA9glJn1qJRtNTAGeLRS+nbgYnfvCQwF7jKzlknb/9Xd+0bLglheQOQHPwB3+P3v4zyLiEjNEWeNYwCwwt1XuvtXwHRgeHIGd1/l7guBXZXS/+Huy6P1D4FPgHYxlrVK3brB0KFw331QXl6IEoiIFJc4A0dHILmBpyxKy4iZDQAaAO8lJU+MmrDuNLOGVew31szmmtnc9evXZ3raCq68Ej78MDRZiYgc6Iq6c9zMDgUeAS5190St5KfA0cBxQGvg+lT7uvsUdy9199J27bKrrJx1FnTsqE5yERGIN3CsBTonPe8UpaXFzJoDzwM3uvsbiXR3X+fBl8ADhCaxWNWrF/o6Zs4M13WIiBzI4gwcc4AjzaybmTUARgIz0tkxyv808LC7P1lp26HRowHnAItzWuoqXHFFuAjwvvvycTYRkeIVW+Bw93LgamAmsBR4wt2XmNkEMzsbwMyOM7My4HvAvWa2JNr9fOAkYEyKYbfTzGwRsAhoC9wc12tI1rEjDBsWRld99VU+zigiUpzM3QtdhtiVlpb63Llzsz7OSy/BGWfA9OlwwQX7zi8iUpOZ2Tx3L62cXtSd48Xm9NOhpESd5CJyYFPgyECdOmFo7quvwrvvFro0IiKFocCRoUsvhfr1YcqUQpdERKQwFDgydMghcO658OCDsGNHoUsjIpJ/Chz7Ydw42LQJ/vCHQpdERCT/FDj2w8knwz/9kzrJReTApMCxH8xCrePvf4eFCwtdGhGR/FLg2E+XXAING8K99xa6JCIi+aXAsZ9at4bzz4dHHoFt2wpdGhGR/FHgyMK4cbB1Kzz2WKFLIiKSPwocWTjxROjdW53kInJgUeDIQqKTfP58yMFUWCIiNUK9QhegprvoIvi3fwu1jt/9rtClEZED0ddfw0cfwbp1e5bE83//d2jTJrfnU+DIUvPmMGoUPPoo3H47tGxZ6BKJSG2xfXvFYFDVsmHD3vuaQbt28JOfKHAUpXHjQm1j6lS4+upCl0ZEaoKdO8OX/urVe5Y1ayo+//TTvferVw/at4dDD4Vu3eAb3wjrlZeDDw7z6sVB9+PIkeOOC3NXLVoUIr2IHDjcQ3PRl1+G5YsvwuO2bXuCQeWgsHZtCB7JWrSALl32LJ06QYcOFQNCmzZhpu58qOp+HKpx5Mi4ceH2sn/7GwwcWOjSiMj+2LYNFi8OPwAXLYKVK0MQSASC5KBQeX1fv8Hr14fOncMyePCe4NC5857H5s3z8zqzpcCRIyNHwrXXhk5yBQ6R7G3aBG+/HS62PfhgaNs2NNPkwtdfwz/+UTFILFoE77+/J0+TJnDkkeGxYcNQG2jYMCyNGqVer/y8SZNQa+jSJcysna+aQtwUOHKkSRP4/vdDX8edd4YPuYhkZssWePZZePxxePnl8AWfYBaaaQ4+uOrlkEP2rDdrFvYrK6sYHBYtCjdi++qrsL1u3TBp6XHHwWWXhWuzevcOd/usLV/0uabAkUNXXgmTJ8NDD8G//EuhSyNSM2zdCjNmwBNPwEsvhS/0rl3DaKBTTw3bP/lk7+Xtt8Pjpk2pj9uwITRoEPZP6NQpBIWhQ/cEiKOPDnklfbF2jpvZUOA3QF3gd+5+S6XtJwF3AX2Ake7+ZNK2S4CfRU9vdveHovRjgQeBg4AXgB/7Pl5EPjrHE775zfBhXrZMneQiVfn8c3juuVCzeOGF0EfQsWOY/+2CC2DAgPT/f776KgxHTQSUjz/es75jB3TvHgJEz57QqlW8r6u2yXvnuJnVBSYD3wLKgDlmNsPd30nKthoYA1xXad/WwC+BUsCBedG+m4B7gB8AswmBYyjwYlyvI1PjxoUmq1mz4JRTCl0akeKxY0cIEo8/HoLGjh1hWOnYsSFYnHji/jUNNWgQRh516JD7MktqcbbgDQBWuPtKd/8KmA4MT87g7qvcfSGwq9K+3wZedvdPo2DxMjDUzA4Fmrv7G1Et42HgnBhfQ8ZGjAideZq/SiSMOnr2WbjwwnAx2ogR8OqrMGZMeCwrg0mTwoAS9SfUHHH2cXQE1iQ9LwOOz2LfjtFSliJ9L2Y2FhgL0KVLlzRPm71GjcI/xaRJ4ZL/9u3zdmqRnPnyy3CTsuXLQ80gMSQ1saSbtmZN6GNo0yYEjwsuCENRczU6Sgqj1v753H0KMAVCH0c+zz12LNxxB9x/P9xwQz7PLJK5r76CJUvCRJ2JZdGiiiOakpnBQQeFpVGjvZeDDgq17kaNQpAYPjw028Z1FbPkX5yBYy3QOel5pygt3X1PrrTvq1F6p/08Zt4cdVT4R5kyBa6/Pgz3EykG5eWwdGnFIPH226GGAWGutdLSMCqwtBR69ICmTSsGhnr1NPDjQBdn4JgDHGlm3Qhf7iOBC9Pcdybw72aWGANxOvBTd//UzD4zsxMIneMXA3fnuNw5MW5cGCHypz/BGWcUujRyINq5M1zklhwk3norNClBuM7h2GPhRz8KQaK0FA47TEFB9i22wOHu5WZ2NSEI1AXud/clZjYBmOvuM8zsOOBpoBUwzMx+5e49owDxa0LwAZjg7onpvv4Pe4bjvkgRjahKtn176Ow788xwceDpp4cqe7duYenQQTURyR13WLUK5szZs8ybt+e2xo0bQ//+4VqjRJA48kh1SMv+0SSHMZg2LfRzbN9edZ769cOVqYlA0q1b+LWXWG/dWr/8pGoffVQxSMydu2dq7QYN4JhjwpXQpaXhsXt3/VCRzGmSwzy68cbUQaNDB3jggTAfTmJZuTL8Mty4sWLeZs1CIPn2t+Hmm9WxeCDbvDkEhuRAURaNLaxTJ/RDDBsWAsRxx0GfPiF4iMRFgSMGq1enTl+3LjRZpfLZZ6GpYeXKPUFl2TK47bbQefnEEzVn5kzZPzt3hr/7okVh8r3Fi0OfxPLle/IccQQMGrSnNtG/f2gKFcmntAKHmR0OlLn7l2Z2MmGKkIfdfXOchaupunSBDz5InV6V5s3DL8U+fSqm339/aJceNAiefz7MtSM1m3v4EZGYmTURJJYs2dNxDaHG2adPuC4oESg0ZYYUg3RrHE8BpWZ2BOHaiGeBR4Ez4ypYTTZx4t59HI0bh/RMXXZZmKf/vPPghBNC8DjmmNyVVeK1efPeAWLx4op3dmvfHnr1CiPxevUK8yr16KGahBSvdAPHrmiU1LnA3e5+t5m9FWfBarLRo8PjjTeGZqsuXULQSKRn6lvfgr/+NYzQGjQI/vCH0PchxaG8PDQzLlu29/LRR3vyNWsWAsOIEXsCRK9emoJfap50A8fXZjYKuAQYFqWpu7Yao0fvf6BIpXdveOMNOOussNx7L1x+ee6OL/u2cWPq4LBiRcWrrFu3DheBDh0aHhPTd3furJFyUjukGzguBcYBE939/eiivkfiK5ak0rEjvP56uLDwiitCR+qvf60vo1zZvj3MrVRWFh7XrNkzSGHZsooj3+rXh8MPD4Fh2LDwmFhUg5DaLq3AEU2Ffg1AdDV3M3e/Nc6CSWrNmoWb3vzwh6H56/33Qwe6bkRTvR07QkBIDgqV15P7HRLatw/B4LzzKgaHkhJN1CcHrnRHVb0KnB3lnwd8YmZ/dfdrYyybVKF+/dBUddhh8NOfhi+9p58OTSQHui+/DMOXZ8+GN98MHdFlZXsujkvWtm1oPuraNdyAq3PnMGqtc+ewdOyogCySSrq/mVq4+2dmdgVhGO4vzWxhnAWT6pnB+PHhS2/MmHA/gxdeCFedF4MtW8Lw0q1bQxm7dg2zpuaSe7juZfbsPctbb+25l/Shh0K/fmE0WnJA6NQpLLkuj8iBIt3AUS+6idL5wI0xlkcyNGpU+GV8zjnhC/K558KY/3zZti3Mtpq4DiHxmLiyOdnBB4cmnsTStWvF9X0NP/3001CLSASJN9/c0+/QuHG4zuHHP4bjjw9Lx47q/xGJQ7qBYwJhssK/uvscMzsMWL6PfSRPTjoJ/va3MFx38GB47LEwoWIu7UN8cZEAABJzSURBVNgB775bMTgsXhyGoSY0bBjmRBo8ONzfuVevME336tUhX2J56y145pk9NYOEtm0rBpaSEti1a0+wSFxBbRaucxg+fE+Q6NlTfQ4i+aJJDmuRjz+Gs88Ocxn95jdhuux07doF69fv6SxOLCtWhCDx3nshD4Qv6KOOCoEhESB69gx9Lul+ee/aFa5xWLUqXGWfCCrJ64l7RBx66J4AcfzxoWbRrFn6r01E9k9WkxyaWSfCfS8GRkmvAz929xQNElIohxwCs2aFW3Rec00YcfWf/xkmwtu0ae+gkLyUle1dA2jYMPzq7907NIklgsSRR2Y/6WKdOmHSxw4d4Bvf2Hv7rl3wySdh/qYOHdTkJFJM0qpxmNnLhClGEtduXASMdvdvxVi2nDlQahwJO3fCtdeG+5537Bimvfj884p56tYN2xIdxqmWdu30hS1yIMt2WvV27v5A0vMHzewnuSma5FrduqGpqnfvcAfCVAGifXvdn0FE9k+6gWOjmV0EPBY9HwVsrCa/FIErrgiLiEgupXvjyMsIQ3E/AtYBI4AxMZVJRESKWFqBw90/cPez3b2dux/s7ucA58VcNhERKULZ3Kpe042IiByAsgkcGm8jInIAyiZw7HMcr5kNNbNlZrbCzMan2N7QzB6Pts82s5IofbSZLUhadplZ32jbq9ExE9sOzuI1iIhIhqodVWVmW0kdIAyodoo4M6sLTAa+BZQBc8xsRjRFe8LlwCZ3P8LMRgK3Ahe4+zRgWnSc3sAz7r4gab/R7n7gXJghIlJEqq1xuHszd2+eYmnm7vsayjsAWOHuK939K2A6UHkGpeHAQ9H6k8CpZntdcjYq2ldERIpANk1V+9IRWJP0vCxKS5nH3cuBLUCbSnkuYM/1IwkPRM1UP08RaAAws7FmNtfM5q5fv35/X4OIiFQSZ+DImpkdD2x398VJyaPdvTcwKFq+n2pfd5/i7qXuXtquXbs8lFZE5MAQZ+BYC3ROet4pSkuZx8zqAS2oeEX6SCrVNtx9bfS4lTB/1oCcllpERKoVZ+CYAxxpZt3MrAEhCMyolGcGcEm0PgJ4xaNZF82sDuFq9d39G2ZWz8zaRuv1ge8AixERkbyJ7dY37l5uZlcTbgBVF7jf3ZeY2QRgrrvPAH4PPGJmK4BPCcEl4SRgjbuvTEprCMyMgkZd4H+A++J6DSIisjfdyKlITZsGN94Y7p7XpQtMnAijRxe6VCJyIMl2WnXJo2nTYOxY2L49PP/gg/AcFDxEpPCKelTVgerGG/cEjYTt20O6iEihKXAUodWrM0sXEcknBY4i1KVLZukiIvmkwFGEJk6Exo0rpjVuHNJFRApNgaMIjR4NU6ZA165gFh6nTFHHuIgUB42qKlKjRytQiEhxUo1DREQyosAhIiIZUeAQEZGMKHCIiEhGFDhERCQjChwiIpIRBQ4REcmIAoeIiGREgUNERDKiwCEiIhlR4BARkYwocNRS06ZBSQnUqRMep00rdIlEpLbQJIe1kG49KyJxirXGYWZDzWyZma0ws/Eptjc0s8ej7bPNrCRKLzGzHWa2IFp+m7TPsWa2KNpnkplZnK+hJtKtZ0UkTrEFDjOrC0wGzgB6AKPMrEelbJcDm9z9COBO4Nakbe+5e99oGZeUfg/wA+DIaBka12uoqXTrWRGJU5w1jgHACndf6e5fAdOB4ZXyDAceitafBE6trgZhZocCzd39DXd34GHgnNwXvWbTrWdFJE5xBo6OwJqk52VRWso87l4ObAHaRNu6mdlbZvZnMxuUlL9sH8c84OnWsyISp2IdVbUO6OLu/YBrgUfNrHkmBzCzsWY218zmrl+/PpZCFivdelZE4hTnqKq1QOek552itFR5ysysHtAC2Bg1Q30J4O7zzOw94J+i/J32cUyi/aYAUwBKS0s961dTw+jWsyISlzhrHHOAI82sm5k1AEYCMyrlmQFcEq2PAF5xdzezdlHnOmZ2GKETfKW7rwM+M7MTor6Qi4FnY3wNIiJSSWw1DncvN7OrgZlAXeB+d19iZhOAue4+A/g98IiZrQA+JQQXgJOACWb2NbALGOfun0bb/g/wIHAQ8GK0iIhInlhoFardSktLfe7cuYUuhohIjWJm89y9tHJ6sXaOS4FpyhIRqYqmHJG9aMoSEamOahyyF01ZIiLVUeCQvWjKEhGpjgKH7EVTlohIdRQ4ZC+askREqqPAIXvRlCUiUh2NqpKUNGWJiFRFNQ4REcmIAofEQhcQitReaqqSnNMFhCK1m2ocknO6gFCkdlPgkJzTBYQitZsCh+ScLiAUqd0UOCTndAGhSO2mwCE5pwsIRWo3BQ6JxejRsGoV7NoVHjMNGhrOK1K8NBxXio6G84oUN9U4pOhoOK9IcVPgkKKj4bwixU2BQ4qOhvOKFLdYA4eZDTWzZWa2wszGp9je0Mwej7bPNrOSKP1bZjbPzBZFj6ck7fNqdMwF0XJwnK9B8k/DeUWKW2yBw8zqApOBM4AewCgz61Ep2+XAJnc/ArgTuDVK3wAMc/fewCXAI5X2G+3ufaPlk7hegxRGLobzalSWSHziHFU1AFjh7isBzGw6MBx4JynPcOCmaP1J4L/NzNz9raQ8S4CDzKyhu38ZY3mliGRzPxCNyhKJV5xNVR2BNUnPy6K0lHncvRzYArSplOc8YH6loPFA1Ez1czOzVCc3s7FmNtfM5q5fvz6b1yE1jEZlicSrqDvHzawnofnqyqTk0VET1qBo+X6qfd19iruXuntpu3bt4i+sFA2NyhKJV5yBYy3QOel5pygtZR4zqwe0ADZGzzsBTwMXu/t7iR3cfW30uBV4lNAkJrKbRmWJxCvOwDEHONLMuplZA2AkMKNSnhmEzm+AEcAr7u5m1hJ4Hhjv7n9NZDazembWNlqvD3wHWBzja5AaKBejstS5LlK12AJH1GdxNTATWAo84e5LzGyCmZ0dZfs90MbMVgDXAokhu1cDRwC/qDTstiEw08wWAgsINZb74noNUjNlOyor0bn+wQfgvqdzXcFDJDB3L3QZYldaWupz584tdDGkhigpCcGisq5dw4SNIgcKM5vn7qWV04u6c1ykENS5LlI9BQ6RSnLRua4+EqnNFDhEKsm2c119JFLbKXCIVJJt57ouQJTaToFDJIVs7mCYiz4SNXVJMVPgEMmxbPtI1NQlxU6BQyTHsu0jyUVTl2osEicFDpEcy7aPJNumLtVYJG66AFCkyGR7AaIuYJRc0QWAIjVEtk1d6pyXuClwiBSZbJu6iqFzXoGndlPgEClC2QwHLnTnvAJP7afAIVLLFLpzvhgCj8RLneMiUkG2net16oQv/MrMQg0q7vNL7qhzXETSkm1TV7Z9LMXQuV/oprJCn3+f3L3WL8cee6yLSPqmTnXv2tXdLDxOnZrZvo0bu4d6R1gaN07/GF27Vtw3sXTtmp/zZ7t/4hiFev9yCZjrKb5TC/6lno9FgUMkv2py4Cl04Mr2/LlUVeBQH4eIFJ1p00Jn+urVoYlr4sT0O/ez7WMpdB9NtueH7N6/iudUH4eI1BDZDEfOto+l0H00xXAdzr4ocIhIrZJt536hBwcU+jqcdChwiEitku11LNnun+0Xf6Gvw0lHrH0cZjYU+A1QF/idu99SaXtD4GHgWGAjcIG7r4q2/RS4HNgJXOPuM9M5Zirq4xCRfMpVH8P+yOV1MHnv4zCzusBk4AygBzDKzHpUynY5sMndjwDuBG6N9u0BjAR6AkOB/2tmddM8pohIQWXTR5OtbGs86YizqWoAsMLdV7r7V8B0YHilPMOBh6L1J4FTzcyi9Onu/qW7vw+siI6XzjFFRA5Y2TZ1paNe7g61l47AmqTnZcDxVeVx93Iz2wK0idLfqLRvx2h9X8cEwMzGAmMBuqTbKyUiUguMHh1vLafWdo67+xR3L3X30nbt2hW6OCIitUacgWMt0DnpeacoLWUeM6sHtCB0kle1bzrHFBGRGMUZOOYAR5pZNzNrQOjsnlEpzwzgkmh9BPBKdJn7DGCkmTU0s27AkcCbaR5TRERiFFsfR9RncTUwkzB09n53X2JmEwjzn8wAfg88YmYrgE8JgYAo3xPAO0A58EN33wmQ6phxvQYREdmb5qoSEZGUqrqO44AIHGa2HkhxSUxRaAtsKHQhqqHyZUfly47Kl51sy9fV3fcaXXRABI5iZmZzU0X0YqHyZUfly47Kl524yldrh+OKiEg8FDhERCQjChyFN6XQBdgHlS87Kl92VL7sxFI+9XGIiEhGVOMQEZGMKHCIiEhGFDjywMw6m9ksM3vHzJaY2Y9T5DnZzLaY2YJo+UWey7jKzBZF597rakkLJpnZCjNbaGb981i2o5LelwVm9pmZ/aRSnry+f2Z2v5l9YmaLk9Jam9nLZrY8emxVxb6XRHmWm9klqfLEVL7/NLN3o7/f02bWsop9q/0sxFi+m8xsbdLf8Mwq9h1qZsuiz+L4PJbv8aSyrTKzBVXsm4/3L+V3St4+g+6uJeYFOBToH603A/4B9KiU52TguQKWcRXQtprtZwIvAgacAMwuUDnrAh8RLkwq2PsHnAT0BxYnpd0GjI/WxwO3ptivNbAyemwVrbfKU/lOB+pF67emKl86n4UYy3cTcF0af//3gMOABsDblf+X4ipfpe3/BfyigO9fyu+UfH0GVePIA3df5+7zo/WtwFL23F+kphgOPOzBG0BLMzu0AOU4FXjP3Qs6E4C7v0aYXy1Z8o3JHgLOSbHrt4GX3f1Td98EvEy4y2Xs5XP3P7l7efT0DcLs0gVRxfuXjrzczK268kU3mzsfeCzX501XNd8pefkMKnDkmZmVAP2A2Sk2n2hmb5vZi2bWM68FAwf+ZGbzoptgVZbqxlyFCH4jqfoftpDvH8Ah7r4uWv8IOCRFnmJ5Hy8j1CBT2ddnIU5XR01p91fRzFIM798g4GN3X17F9ry+f5W+U/LyGVTgyCMzawo8BfzE3T+rtHk+ofnlGOBu4Jk8F++b7t6fcD/3H5rZSXk+/z5ZmEr/bOAPKTYX+v2rwEObQFGOdTezGwmzTk+rIkuhPgv3AIcDfYF1hOagYjSK6msbeXv/qvtOifMzqMCRJ2ZWn/AHnubu/6/ydnf/zN23ResvAPXNrG2+yufua6PHT4CnCU0CyYrhJlpnAPPd/ePKGwr9/kU+TjTfRY+fpMhT0PfRzMYA3wFGR18se0njsxALd//Y3Xe6+y7gvirOW+j3rx7wXeDxqvLk6/2r4jslL59BBY48iNpEfw8sdfc7qsjTPsqHmQ0g/G025ql8TcysWWKd0Im6uFK2GcDF0eiqE4AtSVXifKnyl14h378kyTcmuwR4NkWemcDpZtYqaoo5PUqLnZkNBf4NONvdt1eRJ53PQlzlS+4zO7eK8xb6Zm6nAe+6e1mqjfl6/6r5TsnPZzDOnn8tu0cxfJNQZVwILIiWM4FxwLgoz9XAEsIokTeAb+SxfIdF5307KsONUXpy+QyYTBjRsggozfN72IQQCFokpRXs/SMEsHXA14Q24suBNsD/AsuB/wFaR3lLgd8l7XsZsCJaLs1j+VYQ2rYTn8HfRnk7AC9U91nIU/keiT5bCwlfgIdWLl/0/EzCKKL38lm+KP3BxGcuKW8h3r+qvlPy8hnUlCMiIpIRNVWJiEhGFDhERCQjChwiIpIRBQ4REcmIAoeIiGREgUNkP5nZTqs4a2/OZmo1s5LkmVlFikm9QhdApAbb4e59C10IkXxTjUMkx6L7MdwW3ZPhTTM7IkovMbNXokn8/tfMukTph1i4P8bb0fKN6FB1zey+6H4LfzKzg6L810T3YVhoZtML9DLlAKbAIbL/DqrUVHVB0rYt7t4b+G/grijtbuAhd+9DmGBwUpQ+Cfizhwka+xOuOAY4Epjs7j2BzcB5Ufp4oF90nHFxvTiRqujKcZH9ZGbb3L1pivRVwCnuvjKaiO4jd29jZhsI02h8HaWvc/e2ZrYe6OTuXyYdo4Rwz4Qjo+fXA/Xd/WYzewnYRpgB+BmPJncUyRfVOETi4VWsZ+LLpPWd7OmTPIswb1h/YE40Y6tI3ihwiMTjgqTHv0frfyPM5gowGng9Wv9f4CoAM6trZi2qOqiZ1QE6u/ss4HqgBbBXrUckTvqlIrL/DjKzBUnPX3L3xJDcVma2kFBrGBWl/Qh4wMz+FVgPXBql/xiYYmaXE2oWVxFmZk2lLjA1Ci4GTHL3zTl7RSJpUB+HSI5FfRyl7r6h0GURiYOaqkREJCOqcYiISEZU4xARkYwocIiISEYUOEREJCMKHCIikhEFDhERycj/BzBmdRTOseK7AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "acc = history.history['binary_accuracy']\n",
    "val_acc = history.history['val_binary_accuracy']\n",
    "loss = history.history['loss']\n",
    "val_loss = history.history['val_loss']\n",
    "\n",
    "epochs = range(1, len(acc) + 1)\n",
    "\n",
    "# \"bo\" is for \"blue dot\"\n",
    "plt.plot(epochs, loss, 'bo', label='Training loss')\n",
    "# b is for \"solid blue line\"\n",
    "plt.plot(epochs, val_loss, 'b', label='Validation loss')\n",
    "plt.title('Training and validation loss')\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Loss')\n",
    "plt.legend()\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAY4AAAEWCAYAAABxMXBSAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deZgU1bnH8e8PZJF9VRGEIcaouIAwol41blHRqEQ0KuJCjKJGjHrjTVCMGqJRE+OWeI2jcUFRJHpRTNwRxV0GZXcBEXQAcURkVwTe+8ephqbpHrpnuqZ74P08Tz1ddepU9amann67zqk6R2aGc845l616hS6Ac865usUDh3POuZx44HDOOZcTDxzOOedy4oHDOedcTjxwOOecy4kHDldjkupLWi6pcz7zFpKkH0rK+73qkn4iaU7S8keSDs4mbzXe615JV1Z3e+cy2abQBXC1T9LypMUmwHfA2mj5fDMbkcv+zGwt0CzfebcGZrZrPvYj6VzgDDM7NGnf5+Zj386l8sCxFTKz9V/c0S/ac83spUz5JW1jZmtqo2zObY5/HgvPq6rcJiRdJ+kxSY9KWgacIekASW9L+kbSAkl3SGoQ5d9GkkkqiZYfjtY/K2mZpLckdc01b7T+GEkfS1oi6W+S3pA0MEO5synj+ZJmSVos6Y6kbetLulXSIkmzgT5VnJ+hkkampN0p6ZZo/lxJH0TH80l0NZBpXxWSDo3mm0h6KCrbdKBXSt6rJM2O9jtd0glR+l7A34GDo2rAr5LO7bVJ218QHfsiSU9K6pDNucnlPCfKI+klSV9L+kLSb5Pe5/fROVkqqVzSjumqBSW9nvg7R+dzfPQ+XwNXSdpF0rjoPb6KzlvLpO27RMdYGa2/XVLjqMy7J+XrIGmlpLaZjtelYWY+bcUTMAf4SUradcBq4HjCj4ttgX2B/QhXqT8APgYGR/m3AQwoiZYfBr4CSoEGwGPAw9XIux2wDOgbrftv4HtgYIZjyaaMTwEtgRLg68SxA4OB6UAnoC0wPvx7pH2fHwDLgaZJ+/4SKI2Wj4/yCDgcWAXsHa37CTAnaV8VwKHR/M3AK0BroAswIyXvKUCH6G9yelSG7aN15wKvpJTzYeDaaP6oqIw9gMbA/wIvZ3NucjzPLYGFwCVAI6AF0DtadwUwGdglOoYeQBvgh6nnGng98XeOjm0NcCFQn/B5/BFwBNAw+py8AdycdDzTovPZNMp/YLSuDLg+6X1+A4wu9P9hXZsKXgCfCvwByBw4Xt7MdpcD/4rm0wWDfyTlPQGYVo285wCvJa0TsIAMgSPLMu6ftP7/gMuj+fGEKrvEumNTv8xS9v02cHo0fwzwURV5/w1cFM1XFTg+S/5bAL9Kzptmv9OAn0bzmwscDwJ/SlrXgtCu1Wlz5ybH83wmMCFDvk8S5U1JzyZwzN5MGU5OvC9wMPAFUD9NvgOBTwFFy5OAfvn+v9rSJ6+qcpl8nrwgaTdJ/4mqHpYCw4B2VWz/RdL8SqpuEM+Ud8fkclj4T6/ItJMsy5jVewFzqygvwCNA/2j+9Gg5UY7jJL0TVaN8Q/i1X9W5SuhQVRkkDZQ0Oapu+QbYLcv9Qji+9fszs6XAYqBjUp6s/mabOc87EQJEOlWt25zUz+MOkkZJmheV4YGUMsyxcCPGRszsDcLVy0GS9gQ6A/+pZpm2Wh44XCapt6LeTfiF+0MzawFcTbgCiNMCwi9iACSJjb/oUtWkjAsIXzgJm7tdeBTwE0kdCVVpj0Rl3BZ4HLiBUI3UCnghy3J8kakMkn4A3EWormkb7ffDpP1u7tbh+YTqr8T+mhOqxOZlUa5UVZ3nz4GdM2yXad2KqExNktJ2SMmTenw3Ee4G3Csqw8CUMnSRVD9DOYYDZxCujkaZ2XcZ8rkMPHC4bDUHlgArosbF82vhPf8N9JR0vKRtCPXm7WMq4yjgUkkdo4bS31WV2cy+IFSnPECoppoZrWpEqHevBNZKOo5QF59tGa6U1ErhOZfBSeuaEb48Kwkx9DzCFUfCQqBTciN1ikeBX0raW1IjQmB7zcwyXsFVoarzPAboLGmwpEaSWkjqHa27F7hO0s4KekhqQwiYXxBuwqgvaRBJQa6KMqwAlkjaiVBdlvAWsAj4k8INB9tKOjBp/UOEqq3TCUHE5cgDh8vWb4CzCY3VdxMasWNlZguBU4FbCF8EOwPvE35p5ruMdwFjganABMJVw+Y8QmizWF9NZWbfAJcBowkNzCcTAmA2riFc+cwBniXpS83MpgB/A96N8uwKvJO07YvATGChpOQqp8T2zxGqlEZH23cGBmRZrlQZz7OZLQGOBE4iBLOPgUOi1X8BniSc56WEhurGURXkecCVhBslfphybOlcA/QmBLAxwBNJZVgDHAfsTrj6+Izwd0isn0P4O39nZm/meOyODQ1EzhW9qOphPnCymb1W6PK4ukvScEKD+7WFLktd5A8AuqImqQ/hDqZVhNs5vyf86nauWqL2or7AXoUuS13lVVWu2B0EzCbU7R8NnOiNma66JN1AeJbkT2b2WaHLU1d5VZVzzrmc+BWHc865nGwVbRzt2rWzkpKSQhfDOefqlIkTJ35lZpvcAr9VBI6SkhLKy8sLXQznnKtTJKXtQcGrqpxzzuXEA4dzzrmcxBo4JN0n6UtJ0zKsV9TH/ixJUyT1TFp3tqSZ0XR2UnovSVOjbe6I+i9yzjlXS+K+4niAKgbEIXRHvUs0DSJ0+0DUf801hD7/ewPXSGodbXMXoXuCxHZV7d8551yexRo4zGw8ob+eTPoCwy14G2ilMCrZ0cCLZva1mS0m9MPTJ1rXwszejvq3GQ78LM5jcM45t7FCt3F0ZON+9iuitKrSK9Kkb0LSoGhoyvLKysq8Fto554rZiBFQUgL16oXXESPyu/9CB47YmFmZmZWaWWn79lX1xO2c29LE/cVZzO8/YgQMGgRz54JZeB00KL9lKHTgmMfGA9d0itKqSu+UJt0554D8fHHW5Iu/Nr64qzJ0KKxcuXHaypUhPV8KHTjGAGdFd1ftDywxswXA88BRklpHjeJHAc9H65ZK2j+6m+os4KmCld45V3Rq+sVZ0y/+fHxx1yRwfZah68ZM6dUR9+24jxJG49pVUoWkX0q6QNIFUZZnCD2fzgLuAX4FYGZfA38kDKgzARgWpRHluTfa5hPCgDfOuSJS06qaQn5x1vSLv6bvX9PA1TnDoMeZ0qvFzLb4qVevXuacqx0PP2zWpIlZ+NoLU5MmIb02tu/SZeNtE1OXLtltL6XfXqqd96/p9jU9f8mAckvznVroqirnXBGqyS/+mv5ir+n2118PTZpsnNakSUjPRk1/sdf0/Wt6xTJgAJSVQZcuIIXXsrKQnjfposmWNvkVh9vaPPxw+IUqhddcfm3W9BdrTX+x13T7xDEU6vhr+v41veLIJzJccRT8S702Jg8crq4p5BdfoataiuGLsybnPx/vna+qpprywOFcHVHoL/6a/uIvdBvHlqCQgStZpsCxVQwdW1paaj4eh6srSkrCnTSpunSBOXM2v329euHrNpUE69bF//4Q2kSGDg318p07h/r9XOrYa7q9yw9JE82sdJN0DxzOFZdCf/EnbgdNbqBu0iSGBlZX9DIFDr+ryrkY1OSupELf1VMrd+W4Os0Dh3N5VtMHuIrhi3/AgHB1sm5dePWg4ZJ5VZVzeVYMbQTO5YNXVTmXg0L3FeS/+F0x88DhXIo60VeQcwXkgcO5FIXu8sK5YueBw7kUdaKvIOcKaJtCF8C5YtO5c/rG7VyqmgYM8EDhtlx+xeG2SDVp3PaqJueq5oHDbXFq2rjtVU3OVS3W5zgk9QFuB+oD95rZjSnruwD3Ae2Br4EzzKxC0mHArUlZdwNOM7MnJT0AHAIsidYNNLNJVZXDn+PYuuTjOQrnXObnOGJr45BUH7gTOBKoACZIGmNmM5Ky3QwMN7MHJR0O3ACcaWbjgB7RftoQhol9IWm7/zGzx+Mqu6vbamPMZee2ZnFWVfUGZpnZbDNbDYwE+qbk6Qa8HM2PS7Me4GTgWTNbmWadc5vw5yici1ecgaMj8HnSckWUlmwy0C+aPxFoLqltSp7TgEdT0q6XNEXSrZIapXtzSYMklUsqr6ysrN4RuILxxm3nilehG8cvBw6R9D6h3WIesDaxUlIHYC/g+aRtriC0eewLtAF+l27HZlZmZqVmVtq+ffuYiu/i4I3bzhW32BrHJR0AXGtmR0fLVwCY2Q0Z8jcDPjSzTklplwB7mNmgDNscClxuZsdVVRZvHK9bvHHbueJQiE4OJwC7SOoqqSGhymlMSqHaSUqU4QrCHVbJ+pNSTRVdhSBJwM+AaTGU3RWQN247V9xiCxxmtgYYTKhm+gAYZWbTJQ2TdEKU7VDgI0kfA9sD62uhJZUAOwGvpux6hKSpwFSgHXBdXMfgCsMbt50rbj4ehys6PnSpc8XBx+NwdYY3bjtX3LyTQ1eUvJNA54qXX3G4WNTkOQznXHHzKw6Xd6ltFInnMMCvIpzbEvgVh8u7mo6g55wrbh44XN75cxjObdk8cLi88+cwnNuyeeBweeedDDq3ZfPA4fLOn8Nwbsvmd1W5WPhzGM5tufyKw6Xlz2E45zLxKw63CX8OwzlXFb/icJvw5zCcc1XxwOE24c9hOOeq4oHDbcKfw3DOVSXWwCGpj6SPJM2SNCTN+i6SxkqaIukVScnDxq6VNCmaxiSld5X0TrTPx6LRBV0e+XMYzrmqxBY4JNUH7gSOAboB/SV1S8l2MzDczPYGhgHJ45GvMrMe0XRCUvpNwK1m9kNgMfDLuI5ha+XPYTjnqhLnFUdvYJaZzTaz1cBIoG9Knm7Ay9H8uDTrNxKNM3448HiU9CBh3HGXZwMGwJw5sG5dePWg4ZxLiDNwdAQ+T1quiNKSTQb6RfMnAs0ltY2WG0sql/S2pERwaAt8E41nnmmfzjnnYlToxvHLgUMkvQ8cAswD1kbrukRj3Z4O3CZp51x2LGlQFHjKKysr81po55zbmsUZOOYBOyUtd4rS1jOz+WbWz8z2AYZGad9Er/Oi19nAK8A+wCKglaRtMu0zad9lZlZqZqXt27fP20E559zWLs7AMQHYJboLqiFwGjAmOYOkdpISZbgCuC9Kby2pUSIPcCAww8yM0BZycrTN2cBTMR5DneVdhjjn4hJb4IjaIQYDzwMfAKPMbLqkYZISd0kdCnwk6WNgeyBxw+fuQLmkyYRAcaOZzYjW/Q74b0mzCG0e/4zrGOqqRJchc+eC2YYuQzx4OOfyQeFH/JattLTUysvLC12MWlNSEoJFqi5dwh1SzjmXDUkTo7bmjRS6cdzFwLsMcc7FyQPHFsi7DHHOxckDxxbIuwxxzsXJA8cWyLsMcc7FyQdy2kL50K3Oubj4FYdzzrmceOBwzjmXEw8czjnncuKBwznnXE48cDjnnMuJBw7nnHM58cDhnHMuJx44nHPO5cQDh3POuZx44ChSPhCTc65YeZcjRSgxENPKlWE5MRATeDcizrnCi/WKQ1IfSR9JmiVpSJr1XSSNlTRF0iuSOkXpPSS9JWl6tO7UpG0ekPSppEnR1CPOYyiEoUM3BI2ElStDunPOFVpsgUNSfeBO4BigG9BfUreUbDcDw81sb2AYcEOUvhI4y8z2APoAt0lqlbTd/5hZj2iaFNcxFIoPxOScK2ZxXnH0BmaZ2WwzWw2MBPqm5OkGvBzNj0usN7OPzWxmND8f+BJoH2NZi4oPxOScK2ZxBo6OwOdJyxVRWrLJQL9o/kSguaS2yRkk9QYaAp8kJV8fVWHdKqlRujeXNEhSuaTyysrKmhxHrfOBmJxzxazQd1VdDhwi6X3gEGAesDaxUlIH4CHgF2a2Lkq+AtgN2BdoA/wu3Y7NrMzMSs2stH37unWx4gMxOeeKWZx3Vc0Ddkpa7hSlrRdVQ/UDkNQMOMnMvomWWwD/AYaa2dtJ2yyIZr+TdD8h+GxxfCAm51yxivOKYwKwi6SukhoCpwFjkjNIaicpUYYrgPui9IbAaELD+eMp23SIXgX8DJgW4zE455xLEVvgMLM1wGDgeeADYJSZTZc0TNIJUbZDgY8kfQxsDyRq8U8BfgwMTHPb7QhJU4GpQDvguriOwTnn3KZkZoUuQ+xKS0utvLy80MVwzrk6RdJEMytNTS9047hzzrk6xgOHc865nGw2cEi6WFLr2iiMc8654pfNFcf2wARJo6K+pxR3oZxzzhWvzQYOM7sK2AX4JzAQmCnpT5J2jrlszjnnilBWbRwWbr36IprWAK2BxyX9OcayOeecK0KbfXJc0iXAWcBXwL2Enmm/jx7cmwn8Nt4iOuecKybZdDnSBuhnZnOTE81snaTj4imWc865YpVNVdWzwNeJBUktJO0HYGYfxFUw55xzxSmbwHEXsDxpeXmU5pxzbiuUTeCQJfVLEnVv7mOVO+fcViqbwDFb0q8lNYimS4DZcResrhsxAkpKoF698DpiRKFL5Jxz+ZFN4LgA+C/CWBoVwH7AoDgLVdeNGAGDBsHcuWAWXgcN8uDhnNsyeO+4MSgpCcEiVZcuMGdOrRXDOedqJFPvuNk8x9EY+CWwB9A4kW5m5+S1hFuQzz7LLd055+qSbKqqHgJ2AI4GXiUMAbsszkLVdZ0755bunHN1STaB44dm9ntghZk9CPyU0M6xWVGniB9JmiVpSJr1XSSNlTRF0iuSOiWtO1vSzGg6Oym9l6Sp0T7vKMZOF6+/Hpo02TitSZOQ7pxzdV02geP76PUbSXsCLYHtNreRpPrAncAxQDegv6RuKdluJowrvjcwDLgh2rYNcA0hQPUGrknq2v0u4DxCx4u7AH2yOIZaNWAAlJWFNg0pvJaVhXTnnKvrsgkcZdGX9lXAGGAGcFMW2/UGZpnZbDNbDYwE+qbk6Qa8HM2PS1p/NPCimX1tZouBF4E+kjoALczs7ejZkuHAz7IoS60bMCA0hK9bF149aDjnthRVBo6oI8OlZrbYzMab2Q/MbDszuzuLfXcEPk9arojSkk0G+kXzJwLNJbWtYtuO0XxV+0yUfZCkcknllZWVWRTXOedcNqoMHNFT4nH2fns5cIik94FDCM+KrM3Hjs2szMxKzay0ffv2+dilc845squqeknS5ZJ2ktQmMWWx3Txgp6TlTlHaemY238z6mdk+wNAo7Zsqtp0XzWfcp3POuXhlEzhOBS4CxgMToymbp+kmALtI6iqpIXAaoY1kPUntouowgCuA+6L554GjJLWO2leOAp43swXAUkn7R3dTnQU8lUVZnHPO5clmHwA0s67V2bGZrZE0mBAE6gP3mdl0ScOAcjMbAxwK3CDJCIHpomjbryX9kRB8AIaZWaJr918BDwDbErp8f7Y65XPOOVc9m+1yRNJZ6dLNbHgsJYpBbXc5UixWroQVK8CbeJxz1ZGpy5Fsqqr2TZoOBq4FTshr6VzeLV8OBx8MO+4IZ54JkycXukTOuS3FZgOHmV2cNJ0H9ASaxV80V11r1sCpp8KkSdC/P4weDT16wFFHwQsvhB57nXOuurK54ki1AqhWu4eLnxkMHgzPPAP/+78wfDh8/jnccANMmwZHHx2CyEMPwerVhS6tc64u2mzgkPS0pDHR9G/gI2B0/EVz1fHnP8Pdd8Pvfgfnnx/SWreGIUPg00/h/vth7Vo46yz4wQ/gL3+BJUsKW2bnXN2STeP4IUmLa4C5ZlaRKX8x2loax0eODFVTp50WBo2ql+FngRk89xzcfDO8/DI0bx4GmrrkEthpp/TbOOe2PjVpHP8MeMfMXjWzN4BFkkryXD5XQ6+9BmefDQcdFK4qMgUNCB0vHnMMjB0L5eVw3HFw223hCuTMM0PbiHPOZZJN4PgXsC5peW2U5orERx9B375h5MEnn4TGjTe7yXq9esEjj8Ann4S2kdGjYZ994MgjvSHdOZdeNoFjm6h3WwCi+YbxFWnLMXhwaIh+77343uPLL8PVwzbbwLPPQtu21dtPly5w662hIf3GG2H69NCQ3rUrnHIK3HQTvPgiLFqU3/I75+qebNo4XgT+Fj3pjaS+wK/N7IhaKF9eFKKNo7ISOnWC77+H+vXhD38IDdb16+fvPVauhMMOg6lTYdw42C+r4bWy89138Oij8J//hMA3e/aGdV26QM+eYerVK7xuv33+3ts5VxyqPeY4cAEwQtLfo+UKQh9RrgrDh4fbXV97Df7+dxg6NNwi+9BD4Vd8Ta1dG8b4mDAB/u//8hs0ABo1goEDwwSweDG8/34IIhMnhtfRSffW7bjjhiCSCCg77hjaUxLMQrBbsgS++SZMyfPplletqtlxtGoFBxwQ2n5KS3OrxnPOpbfZK471GaVmAGa2PNYSxaC2rzjMYLfdQlcfr78elh95BC66KAzsdMcdoSG7JoPeXnop3H57aNS+5JL8lT0XS5eGhvT33tsQUD78MBwjwHbbhauupUs3BII1a6reZ8OG4cs+MW27bc3O04IFoQ0ose9994UDDwyB5L/+q/pVe85tDTJdcWRTVfUn4M9Rd+dEvdX+xsyuiqWkMajtwPHqq3DoofDgg+F5iYTPPgsB45VXoF+/8LxFu3a57//220PguOSSEDiKyYoVMGXKhkCycOGGINCyZfr55OU4rggqK+HNN+GNN0IgLy8PVYgA3bptCCQHHRSuBotvFHvnCqMmgeP9aLyM5LT3zKxnnssYm9oOHAMGhGqp+fPDL+Zk69bBLbeEqqs2bcKts31yGDV99Gg46ST42c/gX//Kb5vJ1mLVqlDFlwgkb7yx4SHIDh02DiTdu4cbD5zbGtUkcEwB9jWz76LlbQndou8RS0ljUJuBY9GiULd//vmhSiqTyZNDgJk+Pdx9ddNN0KRJ1ft+551wJdO9e3hwb3P5XXbWrQt/h0Qgef11mDt3w/rGjaFp0+pNrVqFmwm6dAlXVc7VJTVpHB8BjJV0PyBgIPBgfou35Ug0ip93XtX5uncPVSZXXhlug33ppfC0d88M13GffALHHx+C0pgxHjTyqV492GuvMF1wQUirqAiB5MMPQ/Vbumnhwk3Tvvsu8/skgkhJSfrXNm28mszVDVk1jkvqA/wEMGApsIOZXZTldrcTBnK618xuTFnfmRCEWkV5hpjZM5IGAP+TlHVvoKeZTZL0CtABSNxvc5SZfVlVOWrrisMs1Jm3agVvvZX9dmPHhraPhQvT37a7aFFoyP3qq1BXv+uu+S+7y481azaMg7JiBXz9dbh6mTNn09flKbeZNG26aTDZfXc4/PCwzrnaVpMrDoCFhKDxc+BT4Iks3rA+cCdwJOEW3gmSxpjZjKRsVwGjzOwuSd2AZ4ASMxtBuNJB0l7Ak2aW3BHGADMrus6nXn89/EK9777N5012xBHhWYxf/WrT23a//Ta0Z8yZE65KPGgUt222gRYtwpTQu/em+czCLc6Zgspbb4X1EG6N/slPQu8Axx0X2mGcK6SMgUPSj4D+0fQV8BjhCuWwLPfdG5hlZrOj/Y0E+gLJgcOAxL9YS2B+mv30B0Zm+Z4FVVYWvjBOOSX3bVu3Dg/cHX98CCB77x3aSF54IQSkkSPDwExuyyCFqqk2bUIXL+ksXRqqM8eMgaeeCg9jQnhmp29fOOGEcIXr1Vuu1plZ2onQP9WrwA+T0mZnyp9m+5MJ1VOJ5TOBv6fk6QBMJVyRLAZ6pdnPJ8CeScuvRNtMAn5PVN2WZrtBQDlQ3rlzZ4vbokVmjRqZ/epXNd/X3Llmhx5qFn6Xmt14Y8336eq2devMpkwxu+46s3333fDZ2Hlns8suM3vlFbPvvy90Kd2WhnAj1Cbfr1X1VdUPWACMk3SPpCMIjeP51B94wMw6AccCD0laXyZJ+wErzWxa0jYDzGwvwjC2BxMC0ibMrMzMSs2stH0tDLr98MOhYXTQoJrvq3Pn0O5xxx1hAKbf/rbm+3R1mxQa74cOhXffDY33//gH/OhHcOed4W677bcPzw09/jgsW1aYcn77bejv7P33w9XySy9VfcOAq5uyuR23KaGKqT9wODAcGG1mL2xmuwOAa83s6Gj5CgAzuyEpz3Sgj5l9Hi3PBva3qLFb0q1ApZn9KcN7DARKzWxwVWWJu3HcLPxTN20abpl1rjYtWxa+pBPVWV9/HZ6SP/zw0JdZ06ahnaRhwzBlmk+3bt26cHNGZWW4OSPTa2J+xYpNy9eyZWinO+WU0FbT0LtIrTOq3ThuZiuAR4BHoqfGfw78DqgycAATgF0kdQXmAacBp6fk+Qw4AnhA0u5AY6AyKnA94BTCVUXiILYBWpnZV5IaAMcBL23uGOL21lvhOYB77y10SdzWqHnz8FDoSSeFu7reeGNDu8hzz8Xznk2bhi512rULr7vvvmE++XXJEnjiifDg6oMPhra8E08MQeTww6FBg3jK5+KVdV9V1dq5dCxwG+FW2/vM7HpJwwj1ZmOiO6nuAZoRGsp/m7iSkXQocKOZ7Z+0v6bAeKBBtM+XgP82s7VVlSPuK46BA0NHg/PnQ7Nmsb2NczkxCw3s330Xni1avXrj+dTldPOwcSBITKk9ImzO6tWhW/7HHgtjxixbFvoJ69cPTj0VDjkkP0/or1wJM2bAtGlhWrAAOnbccHtzYmrevObvtTWo9pPjW4I4A8fixeGhvIED4a67YnkL57Yo334Lzz8Po0aFK6Ply0NgOumkEEQOPnjzXemsXg0zZ4bb2BNBYtq00P1/4iutUaNw6/KCBZu2s7Rpk/lBzJKS8CxWdaxbt3EAXrs2BNmmTetm1zUeOGIKHH//O1x8cejUL9Ntlc659FatCgOQjRoFTz8drhh22AFOPjlUZx1wQHi2JTk4TJsWejxOdFRZv364SWDPPTeedt45rFu3Lgx4lu55mblzw5TaNtOiRQgiHTqE6r9sr9DWVlH30bBhqJHIpcuaZs1CkGvbduOppr1GZ8sDRwyBwyx0HdKoUeg0zzlXfStWhIdfH3ssNPJ/+23oDmZd0sDVXbtuGiB23TX8D1aXWbgBIF1QWbgwXClkc3NBuvl69TbuSSDb6dtvqy5zo0abBpO2bdMHmX32qX4XRTV9ctyl8c474VK5rKzQJXGu7mvaFH7+8zAtXw7//kWnRqcAABdjSURBVHe4rTdxNdGtWzxtE9KGtptevfK//+pYuzYEnGXLwl1yixZteE03ffDBhvnUMW9mzAg3L+STB44aKCsLl5KnnVbokji3ZUn8X22t/1v164cg2bx5aEPNllkINslBpUuX/JfPA0c1LVkSugE580y/Q8M5VxykDX2l5WOI6kyqenLcVWHEiNCwl48nxZ1zri7xwFENZmHY1549i6dO1DnnaosHjmqYMCGMq+1XG865rZEHjmooKwt3gPTvX+iSOOdc7fPAkaOlS8O4Gf37bzxYj3PObS08cOTokUfC/dVeTeWc21p54MhBolG8Rw8o3eRZSuec2zp44MjBxIkwaVK42vDhOp1zWysPHDkoKwt9vpyeOqqIc85tRTxwZGnZstC+cdppYUQz55zbWnngyNKjj4ZeK71R3Dm3tYs1cEjqI+kjSbMkDUmzvrOkcZLelzQlGjEQSSWSVkmaFE3/SNqml6Sp0T7vkGqntaGsDPbeG3r3ro13c8654hVb4JBUH7gTOAboBvSPhopNdhUwysz2IYxJ/r9J6z4xsx7RdEFS+l3AecAu0dQnrmNImDgxTN4o7pxz8V5x9AZmmdlsM1sNjAT6puQxIPEYXUtgflU7lNQBaGFmb1sYgWo48LP8FntT99wTRtwaMCDud3LOueIXZ+DoCHyetFwRpSW7FjhDUgXwDHBx0rquURXWq5IOTtpnxWb2CYCkQZLKJZVXVlZW+yCWLw+N4qeeWv1xiJ1zbktS6Mbx/sADZtYJOBZ4SFI9YAHQOarC+m/gEUk5dfBhZmVmVmpmpe3bt692AR97LNxR5Y3izjkXxDmQ0zxgp6TlTlFasl8StVGY2VuSGgPtzOxL4LsofaKkT4AfRdt32sw+86qsLAxbuf/+cb6Lc87VHXFecUwAdpHUVVJDQuP3mJQ8nwFHAEjaHWgMVEpqHzWuI+kHhEbw2Wa2AFgqaf/obqqzgKfiOoBJk+Ddd71R3DnnksV2xWFmayQNBp4H6gP3mdl0ScOAcjMbA/wGuEfSZYSG8oFmZpJ+DAyT9D2wDrjAzL6Odv0r4AFgW+DZaIrFPfdA48ZwxhlxvYNzztU9CjcnbdlKS0utvLw85+2GDYPFi+HWW2MolHPOFTlJE81sky5d42zjqPOuvrrQJXDOueJT6LuqnHPO1TEeOJxzzuXEA4dzzrmceOBwzjmXEw8czjnncuKBwznnXE48cDjnnMuJBw7nnHM58cDhnHMuJx44nHPO5cQDh3POuZx44HDOOZcTDxzOOedy4oHDOedcTmINHJL6SPpI0ixJQ9Ks7yxpnKT3JU2RdGyUfqSkiZKmRq+HJ23zSrTPSdG0XZzH4JxzbmOxjccRDf16J3AkUAFMkDTGzGYkZbsKGGVmd0nqBjwDlABfAceb2XxJexJGEeyYtN0AM8t9ZCbnnHM1FucVR29glpnNNrPVwEigb0oeA1pE8y2B+QBm9r6ZzY/SpwPbSmoUY1mdc85lKc7A0RH4PGm5go2vGgCuBc6QVEG42rg4zX5OAt4zs++S0u6Pqql+L0l5LLNzzrnNKPTQsf2BB8zsr5IOAB6StKeZrQOQtAdwE3BU0jYDzGyepObAE8CZwPDUHUsaBAwC6Ny5c8yH4ZxL5/vvv6eiooJvv/220EVxVWjcuDGdOnWiQYMGWeWPM3DMA3ZKWu4UpSX7JdAHwMzektQYaAd8KakTMBo4y8w+SWxgZvOi12WSHiFUiW0SOMysDCgDKC0ttXwdlHMuexUVFTRv3pySkhK8cqA4mRmLFi2ioqKCrl27ZrVNnFVVE4BdJHWV1BA4DRiTkucz4AgASbsDjYFKSa2A/wBDzOyNRGZJ20hqF803AI4DpsV4DM65Gvj2229p27atB40iJom2bdvmdFUYW+AwszXAYMIdUR8Q7p6aLmmYpBOibL8BzpM0GXgUGGhmFm33Q+DqlNtuGwHPS5oCTCJcwdwT1zE452rOg0bxy/VvFGsbh5k9Q2j0Tk67Oml+BnBgmu2uA67LsNte+Syjc8653PiT4865ojFiBJSUQL164XXEiJrtb9GiRfTo0YMePXqwww470LFjx/XLq1evzmofv/jFL/joo4+qzHPnnXcyoqaFrUMKfVeVc84BIUgMGgQrV4bluXPDMsCAAdXbZ9u2bZk0aRIA1157Lc2aNePyyy/fKI+ZYWbUq5f+d/T999+/2fe56KKLqlfAOsqvOJxzRWHo0A1BI2HlypCeb7NmzaJbt24MGDCAPfbYgwULFjBo0CBKS0vZY489GDZs2Pq8Bx10EJMmTWLNmjW0atWKIUOG0L17dw444AC+/PJLAK666ipuu+229fmHDBlC79692XXXXXnzzTcBWLFiBSeddBLdunXj5JNPprS0dH1QS3bNNdew7777sueee3LBBRcQmn3h448/5vDDD6d79+707NmTOXPmAPCnP/2Jvfbai+7duzM0jpOVhgcO51xR+Oyz3NJr6sMPP+Syyy5jxowZdOzYkRtvvJHy8nImT57Miy++yIwZMzbZZsmSJRxyyCFMnjyZAw44gPvuuy/tvs2Md999l7/85S/rg9Df/vY3dthhB2bMmMHvf/973n///bTbXnLJJUyYMIGpU6eyZMkSnnvuOQD69+/PZZddxuTJk3nzzTfZbrvtePrpp3n22Wd59913mTx5Mr/5zW/ydHaq5oHDOVcUMj2nG9fzuzvvvDOlpaXrlx999FF69uxJz549+eCDD9IGjm233ZZjjjkGgF69eq3/1Z+qX79+m+R5/fXXOe200wDo3r07e+yxR9ptx44dS+/evenevTuvvvoq06dPZ/HixXz11Vccf/zxQHhgr0mTJrz00kucc845bLvttgC0adMm9xNRDR44nHNF4frroUmTjdOaNAnpcWjatOn6+ZkzZ3L77bfz8ssvM2XKFPr06ZP2uYaGDRuun69fvz5r1qxJu+9GjRptNk86K1euZPDgwYwePZopU6ZwzjnnFOVT9x44nHNFYcAAKCuDLl1ACq9lZdVvGM/F0qVLad68OS1atGDBggU8//zzeX+PAw88kFGjRgEwderUtFc0q1atol69erRr145ly5bxxBNPANC6dWvat2/P008/DYQHK1euXMmRRx7Jfffdx6pVqwD4+uuv817udPyuKudc0RgwoHYCRaqePXvSrVs3dtttN7p06cKBB27yeFmNXXzxxZx11ll069Zt/dSyZcuN8rRt25azzz6bbt260aFDB/bbb7/160aMGMH555/P0KFDadiwIU888QTHHXcckydPprS0lAYNGnD88cfzxz/+Me9lT6VEi/2WrLS01MrLffgO52rbBx98wO67717oYhSFNWvWsGbNGho3bszMmTM56qijmDlzJttsUxy/39P9rSRNNLPS1LzFUWLnnNvCLV++nCOOOII1a9ZgZtx9991FEzRyVTdL7ZxzdUyrVq2YOHFioYuRF9447pxzLiceOJxzzuXEA4dzzrmceOBwzjmXEw8czrkt1mGHHbbJw3y33XYbF154YZXbNWvWDID58+dz8sknp81z6KGHsrnb/G+77TZWJvXceOyxx/LNN99kU/SiFmvgkNRH0keSZkkakmZ9Z0njJL0vaYqkY5PWXRFt95Gko7Pdp3POJfTv35+RI0dulDZy5Ej69++f1fY77rgjjz/+eLXfPzVwPPPMM7Rq1ara+ysWsd2OK6k+cCdwJFABTJA0Jhr1L+EqwpCyd0nqRhgtsCSaPw3YA9gReEnSj6JtNrdP51wRuvRSSNOLeI306AFRb+ZpnXzyyVx11VWsXr2ahg0bMmfOHObPn8/BBx/M8uXL6du3L4sXL+b777/nuuuuo2/fvhttP2fOHI477jimTZvGqlWr+MUvfsHkyZPZbbfd1nfzAXDhhRcyYcIEVq1axcknn8wf/vAH7rjjDubPn89hhx1Gu3btGDduHCUlJZSXl9OuXTtuueWW9b3rnnvuuVx66aXMmTOHY445hoMOOog333yTjh078tRTT63vxDDh6aef5rrrrmP16tW0bduWESNGsP3227N8+XIuvvhiysvLkcQ111zDSSedxHPPPceVV17J2rVradeuHWPHjq3ReY/zOY7ewCwzmw0gaSTQF0j+kjegRTTfEpgfzfcFRprZd8CnkmZF+yOLfTrnHBB6i+3duzfPPvssffv2ZeTIkZxyyilIonHjxowePZoWLVrw1Vdfsf/++3PCCSdkHH/7rrvuokmTJnzwwQdMmTKFnj17rl93/fXX06ZNG9auXcsRRxzBlClT+PWvf80tt9zCuHHjaNeu3Ub7mjhxIvfffz/vvPMOZsZ+++3HIYccQuvWrZk5cyaPPvoo99xzD6eccgpPPPEEZ5xxxkbbH3TQQbz99ttI4t577+XPf/4zf/3rX/njH/9Iy5YtmTp1KgCLFy+msrKS8847j/Hjx9O1a9e89GcVZ+DoCHyetFwB7JeS51rgBUkXA02BnyRt+3bKth2j+c3tEwBJg4BBAJ3j6pfZOZe1qq4M4pSorkoEjn/+859AGDPjyiuvZPz48dSrV4958+axcOFCdthhh7T7GT9+PL/+9a8B2Hvvvdl7773Xrxs1ahRlZWWsWbOGBQsWMGPGjI3Wp3r99dc58cQT1/fQ269fP1577TVOOOEEunbtSo8ePYDMXbdXVFRw6qmnsmDBAlavXk3Xrl0BeOmllzaqmmvdujVPP/00P/7xj9fnyUfX64VuHO8PPGBmnYBjgYck5aVMZlZmZqVmVtq+ffuct8/32MfOucLo27cvY8eO5b333mPlypX06tULCJ0GVlZWMnHiRCZNmsT2229frS7MP/30U26++WbGjh3LlClT+OlPf1qjrtATXbJD5m7ZL774YgYPHszUqVO5++67a73r9TgDxzxgp6TlTlFasl8CowDM7C2gMdCuim2z2WeNJcY+njsXzDaMfezBw7m6p1mzZhx22GGcc845GzWKL1myhO22244GDRowbtw45s6dW+V+fvzjH/PII48AMG3aNKZMmQKELtmbNm1Ky5YtWbhwIc8+++z6bZo3b86yZcs22dfBBx/Mk08+ycqVK1mxYgWjR4/m4IMPzvqYlixZQseOoRLmwQcfXJ9+5JFHcuedd65fXrx4Mfvvvz/jx4/n008/BfLT9XqcgWMCsIukrpIaEhq7x6Tk+Qw4AkDS7oTAURnlO01SI0ldgV2Ad7PcZ43V5tjHzrn49e/fn8mTJ28UOAYMGEB5eTl77bUXw4cPZ7fddqtyHxdeeCHLly9n99135+qrr15/5dK9e3f22WcfdtttN04//fSNumQfNGgQffr04bDDDttoXz179mTgwIH07t2b/fbbj3PPPZd99tkn6+O59tpr+fnPf06vXr02aj+56qqrWLx4MXvuuSfdu3dn3LhxtG/fnrKyMvr160f37t059dRTs36fTGLtVj26vfY2oD5wn5ldL2kYUG5mY6K7p+4BmhEayn9rZi9E2w4FzgHWAJea2bOZ9rm5cuTarXq9euFKY9PjgXXrst6Nc1s971a97iiabtXN7BnCLbbJaVcnzc8A0o6YEgWETYJCun3mW+fOoXoqXbpzzm3tCt04XpRqe+xj55yrSzxwpFHIsY+d29JsDaOM1nW5/o18IKcMCjX2sXNbksaNG7No0SLatm2b8cE6V1hmxqJFi2jcuHHW23jgcM7FplOnTlRUVFBZWVnoorgqNG7cmE6dOmWd3wOHcy42DRo0WP/EsttyeBuHc865nHjgcM45lxMPHM4553IS65PjxUJSJVB1RzSF0w74qtCFqIKXr2a8fDXj5auZmpavi5lt0kvsVhE4ipmk8nSP9BcLL1/NePlqxstXM3GVz6uqnHPO5cQDh3POuZx44Ci8skIXYDO8fDXj5asZL1/NxFI+b+NwzjmXE7/icM45lxMPHM4553LigaMWSNpJ0jhJMyRNl3RJmjyHSloiaVI0XZ1uXzGWcY6kqdF7bzJcooI7JM2SNEVSz1os265J52WSpKWSLk3JU6vnT9J9kr6UNC0prY2kFyXNjF5bZ9j27CjPTEln12L5/iLpw+jvN1pSqwzbVvlZiLF810qal/Q3PDbDtn0kfRR9FofUYvkeSyrbHEmTMmxbG+cv7XdKrX0GzcynmCegA9Azmm8OfAx0S8lzKPDvApZxDtCuivXHAs8CAvYH3ilQOesDXxAeTCrY+QN+DPQEpiWl/RkYEs0PAW5Ks10bYHb02jqab11L5TsK2Caavyld+bL5LMRYvmuBy7P4+38C/ABoCExO/V+Kq3wp6/8KXF3A85f2O6W2PoN+xVELzGyBmb0XzS8DPgA6FrZUOesLDLfgbaCVpA4FKMcRwCdmVtCeAMxsPPB1SnJf4MFo/kHgZ2k2PRp40cy+NrPFwItAn9oon5m9YGZrosW3gez70c6zDOcvG72BWWY228xWAyMJ5z2vqiqfwsAipwCP5vt9s1XFd0qtfAY9cNQySSXAPsA7aVYfIGmypGcl7VGrBQMDXpA0UdKgNOs7Ap8nLVdQmOB3Gpn/YQt5/gC2N7MF0fwXwPZp8hTLeTyHcAWZzuY+C3EaHFWl3ZehmqUYzt/BwEIzm5lhfa2ev5TvlFr5DHrgqEWSmgFPAJea2dKU1e8Rql+6A38Dnqzl4h1kZj2BY4CLJP24lt9/syQ1BE4A/pVmdaHP30Ys1AkU5b3ukoYCa4ARGbIU6rNwF7Az0ANYQKgOKkb9qfpqo9bOX1XfKXF+Bj1w1BJJDQh/4BFm9n+p681sqZktj+afARpIaldb5TOzedHrl8BoQpVAsnnATknLnaK02nQM8J6ZLUxdUejzF1mYqL6LXr9Mk6eg51HSQOA4YED0xbKJLD4LsTCzhWa21szWAfdkeN9Cn79tgH7AY5ny1Nb5y/CdUiufQQ8ctSCqE/0n8IGZ3ZIhzw5RPiT1JvxtFtVS+ZpKap6YJzSiTkvJNgY4K7q7an9gSdIlcW3J+EuvkOcvyRggcYfK2cBTafI8DxwlqXVUFXNUlBY7SX2A3wInmNnKDHmy+SzEVb7kNrMTM7zvBGAXSV2jK9DTCOe9tvwE+NDMKtKtrK3zV8V3Su18BuNs+fdp/V0MBxEuGacAk6LpWOAC4IIoz2BgOuEukbeB/6rF8v0get/JURmGRunJ5RNwJ+GOlqlAaS2fw6aEQNAyKa1g548QwBYA3xPqiH8JtAXGAjOBl4A2Ud5S4N6kbc8BZkXTL2qxfLMIdduJz+A/orw7As9U9VmopfI9FH22phC+ADukli9aPpZwF9EntVm+KP2BxGcuKW8hzl+m75Ra+Qx6lyPOOedy4lVVzjnncuKBwznnXE48cDjnnMuJBw7nnHM58cDhnHMuJx44nKsmSWu1ca+9eeupVVJJcs+szhWTbQpdAOfqsFVm1qPQhXCutvkVh3N5Fo3H8OdoTIZ3Jf0wSi+R9HLUid9YSZ2j9O0VxseYHE3/Fe2qvqR7ovEWXpC0bZT/19E4DFMkjSzQYbqtmAcO56pv25SqqlOT1i0xs72AvwO3RWl/Ax40s70JHQzeEaXfAbxqoYPGnoQnjgF2Ae40sz2Ab4CTovQhwD7Rfi6I6+Ccy8SfHHeumiQtN7NmadLnAIeb2eyoI7ovzKytpK8I3Wh8H6UvMLN2kiqBTmb2XdI+SghjJuwSLf8OaGBm10l6DlhO6AH4SYs6d3SutvgVh3PxsAzzufguaX4tG9okf0roN6wnMCHqsdW5WuOBw7l4nJr0+lY0/yahN1eAAcBr0fxY4EIASfUltcy0U0n1gJ3MbBzwO6AlsMlVj3Nx8l8qzlXftpImJS0/Z2aJW3JbS5pCuGroH6VdDNwv6X+ASuAXUfolQJmkXxKuLC4k9MyaTn3g4Si4CLjDzL7J2xE5lwVv43Auz6I2jlIz+6rQZXEuDl5V5ZxzLid+xeGccy4nfsXhnHMuJx44nHPO5cQDh3POuZx44HDOOZcTDxzOOedy8v9HnHDjYiHZdgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.clf()   # clear figure\n",
    "\n",
    "plt.plot(epochs, acc, 'bo', label='Training acc')\n",
    "plt.plot(epochs, val_acc, 'b', label='Validation acc')\n",
    "plt.title('Training and validation accuracy')\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Accuracy')\n",
    "plt.legend()\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 25000 samples\n",
      "Epoch 1/4\n",
      "25000/25000 [==============================] - 2s 92us/sample - loss: 0.4549 - accuracy: 0.8201\n",
      "Epoch 2/4\n",
      "25000/25000 [==============================] - 2s 63us/sample - loss: 0.2607 - accuracy: 0.9099\n",
      "Epoch 3/4\n",
      "25000/25000 [==============================] - 2s 63us/sample - loss: 0.2009 - accuracy: 0.9303\n",
      "Epoch 4/4\n",
      "25000/25000 [==============================] - 2s 63us/sample - loss: 0.1705 - accuracy: 0.9390\n",
      "25000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 3s 113us/sample - loss: 0.3296 - accuracy: 0.8835\n"
     ]
    }
   ],
   "source": [
    "model = models.Sequential()\n",
    "model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))\n",
    "model.add(layers.Dense(16, activation='relu'))\n",
    "model.add(layers.Dense(1, activation='sigmoid'))\n",
    "\n",
    "model.compile(optimizer='rmsprop',\n",
    "              loss='binary_crossentropy',\n",
    "              metrics=['accuracy'])\n",
    "\n",
    "model.fit(x_train, y_train, epochs=4, batch_size=512)\n",
    "results = model.evaluate(x_test, y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[0.294880199546814, 0.88348]"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "results"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0.24629208],\n",
       "       [0.9994059 ],\n",
       "       [0.9120151 ],\n",
       "       ...,\n",
       "       [0.14691213],\n",
       "       [0.07435498],\n",
       "       [0.723556  ]], dtype=float32)"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict(x_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}