From ee0c0fd14c513b5acef8c7aac0aac0ab352d1e36 Mon Sep 17 00:00:00 2001 From: Sheng Zha Date: Sat, 21 Apr 2018 22:55:09 -0700 Subject: [PATCH] Fix embedding list_sources to contain only base name (#57) --- gluonnlp/_constants.py | 1013 ++++++++++++++++--------- gluonnlp/embedding/token_embedding.py | 28 +- tests/unittest/test_vocab_embed.py | 10 +- 3 files changed, 688 insertions(+), 363 deletions(-) diff --git a/gluonnlp/_constants.py b/gluonnlp/_constants.py index ec8e29a59a..cb77379b5f 100644 --- a/gluonnlp/_constants.py +++ b/gluonnlp/_constants.py @@ -36,346 +36,683 @@ LARGE_NEGATIVE_FLOAT = -LARGE_POSITIVE_FLOAT -GLOVE_PRETRAINED_NPZ_SHA1 = \ - {'glove.42B.300d.npz': '7deee8f4860744db53ed9e50892effe9883e6d89', - 'glove.6B.100d.npz': '01f80f202fcabcc3e0804898349087bfc191dd1c', - 'glove.6B.200d.npz': '5e6e2bdab346c257f88d80d215d518e680d86e32', - 'glove.6B.300d.npz': '1db264aa936be62f055dfb72854204450bdf4399', - 'glove.6B.50d.npz': 'aa16be8d184399d2199f83fd62586f2c30497bfa', - 'glove.840B.300d.npz': 'b4ba390c1154736e07c0e67d9180935f5930e83c', - 'glove.twitter.27B.100d.npz': '0f7b82c223451d0002f79ba23596983cdbe0e2b1', - 'glove.twitter.27B.200d.npz': '41cc2d26f58a54622ce96bf6c8434360ab524f20', - 'glove.twitter.27B.25d.npz': '9f563d2f296995598cc46812b2fda05ad4c3c879', - 'glove.twitter.27B.50d.npz': 'ce9959c056f2a0a780c468feeb4f823af51630e9'} +GLOVE_NPZ_SHA1 = \ + {'glove.42B.300d': ('glove.42B.300d.npz', + '7deee8f4860744db53ed9e50892effe9883e6d89'), + 'glove.6B.100d': ('glove.6B.100d.npz', + '01f80f202fcabcc3e0804898349087bfc191dd1c'), + 'glove.6B.200d': ('glove.6B.200d.npz', + '5e6e2bdab346c257f88d80d215d518e680d86e32'), + 'glove.6B.300d': ('glove.6B.300d.npz', + '1db264aa936be62f055dfb72854204450bdf4399'), + 'glove.6B.50d': ('glove.6B.50d.npz', + 'aa16be8d184399d2199f83fd62586f2c30497bfa'), + 'glove.840B.300d': ('glove.840B.300d.npz', + 'b4ba390c1154736e07c0e67d9180935f5930e83c'), + 'glove.twitter.27B.100d': ('glove.twitter.27B.100d.npz', + '0f7b82c223451d0002f79ba23596983cdbe0e2b1'), + 'glove.twitter.27B.200d': ('glove.twitter.27B.200d.npz', + '41cc2d26f58a54622ce96bf6c8434360ab524f20'), + 'glove.twitter.27B.25d': ('glove.twitter.27B.25d.npz', + '9f563d2f296995598cc46812b2fda05ad4c3c879'), + 'glove.twitter.27B.50d': ('glove.twitter.27B.50d.npz', + 'ce9959c056f2a0a780c468feeb4f823af51630e9')} FAST_TEXT_NPZ_SHA1 = \ - {'crawl-300d-2M.npz': '9dd611a1fe280c63050cd546d3595400fc0eede4', - 'wiki.aa.npz': '48f163b80eb37f1806142169d3d4c05cf75b7339', - 'wiki.ab.npz': '860ceff119dd27e5b701b605879037c1310cbc3e', - 'wiki.ace.npz': '62938287464040491719f56a6f521f8f808beee8', - 'wiki.ady.npz': '646843afa260d018ed711df3f1ca9c3e000447b6', - 'wiki.af.npz': '7b14cd27690b67fea318d0bac2283c16430680e2', - 'wiki.ak.npz': '20f309adad1c45958c97b6055d5838e05bbaea72', - 'wiki.als.npz': 'a8b03aa133c4f7da12fc27c2b167b7918b1e9805', - 'wiki.am.npz': 'ed3dd10cea64737f7a1623612ee099df9dc19f66', - 'wiki.ang.npz': '8efe64706d9d6b8eae38b2c7ff0b277e20592bc7', - 'wiki.an.npz': '168046283c719ab96a29b1abae2e25a6575c7be8', - 'wiki.arc.npz': '049021b7decea4bc009b12936e56b4dbf5b760e7', - 'wiki.ar.npz': '7e325e1e98dfcdc9368d2ebe40ee834a2ed44912', - 'wiki.arz.npz': '7d851c2c7be3ee6f7fd896de7b76ea08e3fb08b0', - 'wiki.as.npz': '01d38c29cd4bd99c1a8534abc058822da14a5b9c', - 'wiki.ast.npz': '9c9846ba5084505a0adea89c95c66e04efbf5ce9', - 'wiki.av.npz': '7ef6a920c364638504e673cfde5f7675503fa81e', - 'wiki.ay.npz': 'c1202e110930e3902397f5cb64a8359e013b469f', - 'wiki.azb.npz': '10351b7ef14ec2cb610d290cb6a3f6987ef5d8b3', - 'wiki.az.npz': '74257c3bcd533a606afae509ea835dc036d61546', - 'wiki.ba.npz': '4a2857ed694d66864df562b376c2fa12fcb03646', - 'wiki.bar.npz': 'e65c6b7e9ff83798d1eea05d166148837d53e615', - 'wiki.bat_smg.npz': '6420584ae28ba6c9dd145fea8f096243d457c2d8', - 'wiki.bcl.npz': '33606c970ab336b678393e2bdb8af2116d11cf7b', - 'wiki.be.npz': '84487d341e333344cf71bc12c7a205d923762498', - 'wiki.bg.npz': '56f2a175b1a1d1a9cf9f1cea277cd0b46ffd7f66', - 'wiki.bh.npz': '07473989853a344a41aaa18f41030dc56d0d01c7', - 'wiki.bi.npz': '08adfa3c9ef3016d30ef69ea539d217ff67eda09', - 'wiki.bjn.npz': '998a551283222931d3a26922308449950bfa3ec7', - 'wiki.bm.npz': '454ff9fbd4790e4a076d9a2087a51da28aa1332f', - 'wiki.bn.npz': '1f36f6f39c9a9b33bb8035c9a4dc7e04933604fd', - 'wiki.bo.npz': 'b9fe87318428de0a7790de175b5fec80c5af482d', - 'wiki.bpy.npz': '5c7853173d27e2c018c24eca69de8d5f34511b0d', - 'wiki.br.npz': '7aa66a2034fbfaa1d39e637385d48610238797c9', - 'wiki.bs.npz': 'a019a4677677c2e9e4d899326b2b6c15ad6c011a', - 'wiki.bug.npz': '09ae3477941d7a99d1df494368d7efb0b2c18913', - 'wiki.bxr.npz': 'b832c691b8ddd95896c052d3d15e1f98d72068d5', - 'wiki.ca.npz': '391e0d4daad08649251274fa1cc2a5f49c7728b1', - 'wiki.cbk_zam.npz': '02e57a763bc9f9eadaba57953383dd12a0a78a37', - 'wiki.cdo.npz': 'd6e8f422327e8b2273f1f2662d793707ece6695d', - 'wiki.ceb.npz': '23bc0bb9aeaa57dff35092766941a866de142aae', - 'wiki.ce.npz': '182b2a889256119a6d379d501c55c7621e5855db', - 'wiki.ch.npz': '82dd77512fcb463481f43c9cef3507e2baa90d7b', - 'wiki.cho.npz': 'b0b620fc2442d1a6e2440e71a424861c80175f0c', - 'wiki.chr.npz': '3d62c6b95c5af46abd6234426ae760cca65d5bd0', - 'wiki.chy.npz': '34a28a22da79aebc100e3714b825c95c8d5f54a3', - 'wiki.ckb.npz': 'ad19461e4be583d08b7693ff5b1e9d590ed41add', - 'wiki.co.npz': 'fa60d9f0e79f1c7e15f381aef983a0f4f31c05a8', - 'wiki.crh.npz': '540270ba6edd9d7b2f7efca52b3b407524ac67d1', - 'wiki.cr.npz': 'f06b77465a38ec960d7d5a7554b848c37e945c76', - 'wiki.csb.npz': 'b8b28559cf2541341af98e2aa755856765bdeabf', - 'wiki.cs.npz': '19881e931fe06abf341450f00c342d364313e232', - 'wiki.cu.npz': '731e0d00abd53bc2a8eb6cf37f6ab883cff34e15', - 'wiki.cv.npz': 'e60034fcffb7dfef7b236ddba1194c3aa20b7967', - 'wiki.cy.npz': '5a0fb967b5556f007c0d5065f951a3d3b1c1005a', - 'wiki.da.npz': 'd06258014ba2c7450bc2d55edfdf1731433e42e5', - 'wiki.de.npz': 'a21694dfd2af63bd7bb00f0b60b28e88bd1153f1', - 'wiki.diq.npz': '4f6c77a86b39834a7130419967759afd8cc26b84', - 'wiki.dsb.npz': 'e74f1d346a8db96987bff0c33ee5f886907c380a', - 'wiki.dv.npz': '5d6fe6f0eec2e7704121d5aba03b4edbb28af873', - 'wiki.dz.npz': '77c639d36d0355b2de5adead7996eae342b852a6', - 'wiki.ee.npz': '4b5a76127d57515d3e8a76787cdefde5856b754a', - 'wiki.el.npz': 'a00bcb97e7898931196a1c69f7a492e5b6202661', - 'wiki.eml.npz': 'b475d626b3d97e7a68c02827fdc7900599e838c6', - 'wiki.en.npz': 'ad5ec6d49db6c6fe76b8e85ff05d34e5d0e1eb6a', - 'wiki.eo.npz': '18049b0010520d13e676f5a82e8bb90153d99003', - 'wiki.es.npz': 'a6d192ba7d82d762f8367e75ca951aad4d11e410', - 'wiki.et.npz': '4beb7025cf88f1aa62d025b187f0cb09aee61858', - 'wiki.eu.npz': '5e1a8197e35f20a2476798bbb935b4c131289c4f', - 'wiki.ext.npz': '049b2d1b0a8b102b45907cf487cac30aa294e0a0', - 'wiki.fa.npz': '81ed274997c87ef87d73d25e166ca06272ce426f', - 'wiki.ff.npz': '4867dc74cd53ca0b0f769af4fa1ea420406b59bf', - 'wiki.fi.npz': '6d1291b854045179f8171ac7d62ede7d8ac159a2', - 'wiki.fiu_vro.npz': 'dd87806d9dc8833fa0e21e35a50815ebdbaa6c8b', - 'wiki.fj.npz': 'cf5c31b0a69276f5dd18ab738ed92444abaeb755', - 'wiki.fo.npz': 'ffc19807d528af000861a94cfb8097bd686e14fc', - 'wiki.fr.npz': '8f06d5dbe3cf7214354fe9b2f6eca0ef7419f063', - 'wiki.frp.npz': 'c8b200ae592478d3cd0bfaafcd7aa19de8a3bfe5', - 'wiki.frr.npz': 'fa5e5c39ea2a45793c679eacea290a35e37405ea', - 'wiki.fur.npz': 'a61a8940d059f25000e3fe23933e5ed0d37e65d3', - 'wiki.fy.npz': '46f9f41bdf6f4fb8e27a753290413d745465963b', - 'wiki.gag.npz': '49fb01230e6803544122d47ab7d3fe694d1444f2', - 'wiki.gan.npz': '716b7b26acc15975f30caf3c6effa111516fcca5', - 'wiki.ga.npz': 'ea934bc1fdc1acf6caf9ac746c6c499251f1fdee', - 'wiki.gd.npz': '597017b5a32d933f194595d3656f858e37e70a62', - 'wiki.glk.npz': '91a5834658bc2d48714e8807ef24efb79567b4b5', - 'wiki.gl.npz': '2fa8e48d6ae1e9c9d542eb3f2156cf9e359e66c2', - 'wiki.gn.npz': 'e359eef3928e1f1b5d8fcf0ea532e8794c66289a', - 'wiki.gom.npz': '8cd361481c23f7545cc2bd8f1bf22aa7400edd4d', - 'wiki.got.npz': 'd05daf105611150695e61775fdff2c500b36be3f', - 'wiki.gu.npz': '0ce175c5fc39bab4032892f70c9d2bb850af0f4a', - 'wiki.gv.npz': '2c573f873d607831ff01b64603c17b8db79bd7e1', - 'wiki.hak.npz': 'e6048727799cdf149f5c50037e0fc59300d33a94', - 'wiki.ha.npz': 'f18ea7286bbd390c5470896b2c99cb1adc740064', - 'wiki.haw.npz': '18bcd85d2e06b1b889f0835fc5b62697fdf32d72', - 'wiki.he.npz': '76915ff167b6ecb7b7e22ff0ca46914a55d344af', - 'wiki.hif.npz': '12153aaf98d76d5502ab77a27cd0b9a539f61513', - 'wiki.hi.npz': '249666a598991f6ec147954c6af9e531fd1cd94e', - 'wiki.ho.npz': '3f804fd69780c0789708b56ea9d48715f8e38f26', - 'wiki.hr.npz': '9a3de28e69f97048bfb480b4f83eaab6149f66ad', - 'wiki.hsb.npz': '7070bf64e13299dd66ac0e9f8e24011a56b6bfe8', - 'wiki.ht.npz': 'a607093d511afeb584d02dc676bc5a27eff66287', - 'wiki.hu.npz': '9b2c4750daf1bcf39768572e874b5afda0e2f0bc', - 'wiki.hy.npz': 'ec0461a102a6fb00bd324f66cefd3c8d55a7093a', - 'wiki.hz.npz': '5dfb8afbdae6b4148c3e55ab459c56a74b46b463', - 'wiki.ia.npz': '4cfaaf053b9513bbf5b2423258c0f01d20256de6', - 'wiki.id.npz': 'bace396bb9941cc9e5b2e5f5a19be6db833c5fd4', - 'wiki.ie.npz': '1bae7256c2e763ce6d692d1c0a603d99a8b22826', - 'wiki.ig.npz': '23128e54a5e143891d392d621723bad9cfc8cf7b', - 'wiki.ii.npz': '54bc16d05da512481865a89ecf30260b0acc04dc', - 'wiki.ik.npz': 'f8015227e893d2375699b7d132b306ba381f02ac', - 'wiki.ilo.npz': '185a11f81bd5d24a34558dda81ee4735f5ba150b', - 'wiki.io.npz': 'ddf8180a90aa6ee5be93a2582cc99c535f21363e', - 'wiki.is.npz': '968f8dd2a093b279a6f7aaa734008454bf51d724', - 'wiki.it.npz': 'fdfb857a309b2c3d29482bb5cc55f21b858d2e6f', - 'wiki.iu.npz': 'fa8896730bd6c24c3473daa22116d1016294e7f7', - 'wiki.jam.npz': 'a8f0d0b99c89ace0a6401b8fcda261d06065faaf', - 'wiki.ja.npz': '8d42e5a40e4d1d8645b2d80b873a65cadcf68b5c', - 'wiki.jbo.npz': '145fc999ab004b348cf9bf445f0a93a7a145308b', - 'wiki.jv.npz': '66978770bf06e42414395cf5fd8c596044d72bec', - 'wiki.kaa.npz': '624a640ecb9901b2aba2e9f44ab615146ecb2862', - 'wiki.kab.npz': 'e97f93b6ba65e95c85b7541932cf53c5ad9eb896', - 'wiki.ka.npz': '1ca8376e1e0cbd58001c1b51a2d488a2874a6743', - 'wiki.kbd.npz': 'f2d2a05b06723ac549784ad5470d84f5742a1352', - 'wiki.kg.npz': 'fa7f6d5f660a173a3e75342d449980eedcdc789e', - 'wiki.ki.npz': '21a8c7c616c0050c51c288861f3423f313e4f634', - 'wiki.kj.npz': 'f3c347509a0d81f4f7fdbb8b22889b8d76e5014e', - 'wiki.kk.npz': 'bc24a3289e1c1e18e16b6789c2f9f92af1e73071', - 'wiki.kl.npz': 'b8b7e7359f067836e2be2ecfe9f35a820b00fe1d', - 'wiki.km.npz': 'e053799fd01463808432dc035bef3e36620e2f36', - 'wiki.kn.npz': '2849a0a8b3453e9bf6af05d4c7bd3db881dd1068', - 'wiki.koi.npz': 'a9b02e9bd41833bcd54769f94626019c03f29997', - 'wiki.ko.npz': '764d9896e74b5a26c6884d48bce3bed8ed3a7822', - 'wiki.krc.npz': 'bfe39598c718f1cc95909db7544b3214b308a97c', - 'wiki.kr.npz': '1e6af853d4a8ea7830e116eb9b61ac5d7d9a315c', - 'wiki.ksh.npz': '66cd0e3e0a0b0282a13960571ebe7cddd7706bf2', - 'wiki.ks.npz': '85f1adaa05b854df4dede745a1aaab3836e60770', - 'wiki.ku.npz': 'faf90584e5a45e6d0f9eeb88399b82abe037d584', - 'wiki.kv.npz': '9f2b41822013a412da9c99fac06eed8be03ca192', - 'wiki.kw.npz': '3eed8a8fc97a2fc79241b8474a458c98d00fc897', - 'wiki.ky.npz': '0116ff90f10a6c0728e1ea86d8a44896ea83270a', - 'wiki.lad.npz': '5af2015b3d1c5e8563f0e92721580988ebe2ce50', - 'wiki.la.npz': '7143303a3ea13c7668eb90ea6e3d2ca69857a3be', - 'wiki.lbe.npz': 'f206a3c35a184ba5d2b32ee68640eadf66c847da', - 'wiki.lb.npz': '143dc6337f3690379282034c460c613d7f144923', - 'wiki.lez.npz': 'b29a680decc6b29f24e8eb9e4f8e11e3419d45f1', - 'wiki.lg.npz': '866640ce62cedbc1d453b7ea3c289c291ad76e13', - 'wiki.lij.npz': '0dcd3d7009ae89b1016ca6cdb99a9f0d70bc4baf', - 'wiki.li.npz': '4666b3c238256d7b7623a136db19b8b9f4754734', - 'wiki.lmo.npz': 'ac89fa7cfe0675950bcb31c66bf3f88a3cfc98f0', - 'wiki.ln.npz': 'fba158719944aabe58e0002a90be0ed77e11702d', - 'wiki.lo.npz': '1e113e340a8a93d385e14502c9c4e3bcdf6c3101', - 'wiki.lrc.npz': '42cb755f398fba6f0da7949c91e92b55654bd482', - 'wiki.ltg.npz': '182f75859e228d1162215f28fe7f2dca127624a4', - 'wiki.lt.npz': '66aa944bd2e777cb82d6d59b1f2f837b6c48cb37', - 'wiki.lv.npz': '2be8f926da85694fa998bf79d80b61ebb8d67576', - 'wiki.mai.npz': 'b8a9c36e2a0f1bb84a44dc762250d2a9007ef637', - 'wiki.map_bms.npz': '6f0394d6b3d08a946e3df4b9355efe94148f018a', - 'wiki.mdf.npz': '774ee35334641db57f9ac9069961c5372a5d92e8', - 'wiki.mg.npz': '496c48ef668f08ce95ebb11ce1ce5026b52d935c', - 'wiki.mh.npz': '352edd84f99c5aa277a7306f6cacea1fab065ed3', - 'wiki.mhr.npz': 'dd78b27a674ac10411cdf74ac32f9391506b17e0', - 'wiki.min.npz': '628b406441ab03bc8aa68195ada50bfdc8226f34', - 'wiki.mi.npz': '754127b473861cd4f9ae034c9f527a34827b1f00', - 'wiki.mk.npz': 'b09fed4f56c296f13c4020ef1fec498382a38b73', - 'wiki.ml.npz': '02fb55d97ca2f0408f0e7e8dd6a661bbc3319a2a', - 'wiki.mn.npz': '08b2c45689aa5d9ec49df96dc7c777ce9b9a0b4b', - 'wiki.mo.npz': '638c2e8bd2352fd52921b9ae62f578b8357bab49', - 'wiki.mrj.npz': 'ec5cf1f4fb8dfdca64d8172974e620eb8fa41626', - 'wiki.mr.npz': '074dd68c947c2f137a3e84b55012925f00213139', - 'wiki.ms.npz': '3dbe9e9d70251de8a374776ff1250a9c3103ee59', - 'wiki.mt.npz': 'f5103998a68d1b178387417436a83123d44aba01', - 'wiki.multi.ar.npz': 'a010d1d81a465c56ebaf596b3e8e8795e7f0f8e3', - 'wiki.multi.bg.npz': 'c04018f3a600cee170f12a36cdd35b4727a2aade', - 'wiki.multi.ca.npz': 'eef52a0cf20c133ca9065de25f0702861a8cfa29', - 'wiki.multi.cs.npz': 'c5f547aa78c0e3d7dae67a0334d500bf2a86aa30', - 'wiki.multi.da.npz': '24374f2ee169b33327feeee46da31b0de1622fe4', - 'wiki.multi.de.npz': '2e6c119b345bebd34b56eaaf855d6703889b11f7', - 'wiki.multi.el.npz': '9d122beedb80a2e5334946641e5bafd32c01e76b', - 'wiki.multi.en.npz': '8c3c480b4cb2690304173713a646280613b244a8', - 'wiki.multi.es.npz': '483a22656e4fb2a01e9f4ef8156b261e780850ab', - 'wiki.multi.et.npz': '22498c7b91645a3874fa738b5cfb16bf98b6f97c', - 'wiki.multi.fi.npz': '765a6f0b63777bff4ae6ca2b461c5889c03d6a70', - 'wiki.multi.fr.npz': 'decd9aacf600114b8a36072535c0309874a37c83', - 'wiki.multi.he.npz': '7eee940c1b85936f59122f4b1a166223dd946674', - 'wiki.multi.hr.npz': '1673963416af088f8bf15576afb33d58115db35c', - 'wiki.multi.hu.npz': 'a1fbe6ededf3cbaa3eaa22dd8b20cce4b36cfc6d', - 'wiki.multi.id.npz': '6c3e721febb511ede7db7bf978d65769e4270f5c', - 'wiki.multi.it.npz': 'fc5bfc11e0165e8d95c1708573dad5e456826c73', - 'wiki.multi.mk.npz': '6cd50198355674f156fc863108d9bebf11cfabd9', - 'wiki.multi.nl.npz': '4fa06b9230c95dfa5a9e9a5d80f1f5ba614d3cbf', - 'wiki.multi.no.npz': '63756168c1101e73fba8d1a5015f32b8892819e6', - 'wiki.multi.pl.npz': '958b8e8bead965ba1bb1433e1c960fc3e12a10fb', - 'wiki.multi.pt.npz': '22f07df1609d79b95344ee575ea43141424a1528', - 'wiki.multi.ro.npz': '73180b3e382519004bf38ea7b86237aacbbe813a', - 'wiki.multi.ru.npz': '3b2eb9163f35e90bf2ce1cd3c997b354d0c34f59', - 'wiki.multi.sk.npz': '606a0c3ba9849070c6b6b8c22d920fdeed9a1385', - 'wiki.multi.sl.npz': '3cfdab5043b8cfe1535cb6dbd4c9e68847ad5904', - 'wiki.multi.sv.npz': '4f1494885b9a831e87cfa3c15f2204c4a73c0779', - 'wiki.multi.tr.npz': '54f90d5ddb9a65538a41e37c5a67ed933a5e4885', - 'wiki.multi.uk.npz': '500fd26b1d7a25b42458012e99f9f76642e0c787', - 'wiki.multi.vi.npz': '3955809cceb300965c15f9372221417719bb0db8', - 'wiki.mus.npz': 'a5f48934a3fa6eaf4929098046c93fc94dd6bcb6', - 'wiki.mwl.npz': '8a5e2c272166f8a72c5694ca6c3104d5f49179ec', - 'wiki.my.npz': '5e035aca16700d7d6695af8a6d3a88ac847aaeb7', - 'wiki.myv.npz': 'd4cfaab70c640033e02c0fc0c5a3615ae836c569', - 'wiki.mzn.npz': 'ad09ac584ae455b5862b95125ef409360ae18445', - 'wiki.nah.npz': '2dc454ef37d059f2053af46cfa1f4f0ca939cba0', - 'wiki.na.npz': '401f0f880eb7aa78d21348bc1e0a3953b3e81bf0', - 'wiki.nap.npz': '996da46aeeab5644ba766d00c5e343b1553361d7', - 'wiki.nds_nl.npz': '5a9307e16b13a5a82ec19a52b33254537e7198e7', - 'wiki.nds.npz': 'b249a87c78c52becf51e7b50aaf9f9b6a36585f1', - 'wiki.ne.npz': 'a601db2647a74ffd2b4b43dcb8584735f555459c', - 'wiki.new.npz': 'c398a3775aba9c68ce765cfdfb6b188f7c47e4c6', - 'wiki-news-300d-1M.npz': '0a03bbd508e5381e140476140fb121afeb0050ed', - 'wiki-news-300d-1M-subword.npz': '69edae21375407781c727dcb9e534e79d712d137', - 'wiki.ng.npz': 'befd774d15f69d43547e13e5ea3a97c4cb1ab405', - 'wiki.nl.npz': '5a7cb6f1dd0a7621202abba9461ac2c5bf905219', - 'wiki.nn.npz': '8e5059ddeb24050fadaa5cc4622b13feb3e4a226', - 'wiki.no.npz': '5ce6e0f793e66f081652f64013968099de03d9f9', - 'wiki.nov.npz': '95ed23b4cfd7a65afa1c12c7dbdce6af53923d77', - 'wiki.npz': '08ebb912efeb9df1c7d05e1af90484d210dff47e', - 'wiki.nrm.npz': 'e58614b4508ff9810f0b58fd818f973775bc918d', - 'wiki.nso.npz': '56a2ebe260241402d117cd89c5c872b9c96ff05b', - 'wiki.nv.npz': 'c713051fe03ec1f60314bb42161b2a47fb5e169a', - 'wiki.ny.npz': 'ba5a1725955cbc13e7fd93ab499f8085840c992c', - 'wiki.oc.npz': '259e7d994c38a4cfc140fb07016b82d6781e5027', - 'wiki.olo.npz': '0fea70f887def4779ee70a79366b88f1ada65004', - 'wiki.om.npz': '47e2d756b5f8913085d901375c1b4e0b118a4221', - 'wiki.or.npz': '7e274ab060219b019aa02bb97941cc6e162fd01f', - 'wiki.os.npz': '19e8199cc2aaffdb07b6c558dbc5465ac6e03155', - 'wiki.pag.npz': 'eddf4931547649026c02f893297ef673ec6158bb', - 'wiki.pam.npz': '40109aa174bd9f0fa657839bb548e2b0646c58d3', - 'wiki.pa.npz': '8a5870717e9e641b1f757f13259171698118de2e', - 'wiki.pap.npz': '999c8e5b005ca20d9998fbbe4fa79177f69e24c0', - 'wiki.pcd.npz': 'e975066b323a65cdc5e4c27138ef674d2cf7250b', - 'wiki.pdc.npz': '5c770b9d56f276b0aa535845f175c05ee1cea615', - 'wiki.pfl.npz': '0063d0b633ee529a75482b36ed4f4da7d64994ec', - 'wiki.pih.npz': 'ce1d76c94d248545eea0d7436c54849dbb380bfc', - 'wiki.pi.npz': 'c7d56c334bf529f8b3655693d207a80feaec4aed', - 'wiki.pl.npz': '0d612fdf871a1a4084c867f394940475be899443', - 'wiki.pms.npz': 'ca149a2fb138011315bb6d5d61c7a5647e515e51', - 'wiki.pnb.npz': '9ec82d02ad8894056c67991cf8ce927bcca74ee2', - 'wiki.pnt.npz': '3f90123407bb8fc838a0a0d3700a14e15f5b26aa', - 'wiki.ps.npz': '7edebc02ac16f5fab83eb10b7d0fab821a9a4d43', - 'wiki.pt.npz': 'f172fd801edd1ad9d319ba44146d40b5d682a473', - 'wiki.qu.npz': '68bec60ccfe1826c3b3a8968574488dbc74cdf7b', - 'wiki.rm.npz': '00fb191fc736ba60cb23e76169dfccde9a9daad0', - 'wiki.rmy.npz': 'c5e93cc37ff7293b9a1d9fe55c42d6fbde372b97', - 'wiki.rn.npz': '57b8e0d6999269be227af6ef2797a9cf8386ff1b', - 'wiki.roa_rup.npz': 'e06d6b5672a59bb9e83143bc8b28300d23c09546', - 'wiki.roa_tara.npz': 'c083105f40236dc3711f06c1b40e8ee7a714b99d', - 'wiki.ro.npz': '766bc0cb58a65b0b1763b9a0d90e91ab982eb20d', - 'wiki.rue.npz': '9a91fa093cd48d7d658d526b0ccda48dc59cd7f4', - 'wiki.ru.npz': 'd59d099481c22d5592ab9635c9ee48060aa0bf45', - 'wiki.rw.npz': 'e99ee87d249f6c157c5c97397d1025d798b85c69', - 'wiki.sah.npz': '85dae39097b29bc8e2b64f343a77794e4a62f91a', - 'wiki.sa.npz': '7d1928d7c67400045ac1b35a37a0e3089690d875', - 'wiki.scn.npz': '27d7b8050bbeed8ce196061c610216760b053c39', - 'wiki.sc.npz': '69c7b8be0f03a1bbd615695f93bdd78f96a58e16', - 'wiki.sco.npz': '4880282f59d3338b67fbff75359e2d24896e95bb', - 'wiki.sd.npz': '0ed8da4d27223db717a612cf0c88582351db6e19', - 'wiki.se.npz': '0f4b2e060d5e29f96ca73aab29c967e79db69c17', - 'wiki.sg.npz': 'a5e4edf34fe1a88b322da4c3922ec5a470e200c6', - 'wiki.sh.npz': 'c13f1e94676bc939560193f7aa7ffd7d604707b3', - 'wiki.simple.npz': '352d0575e7d60b08e1dfce2c5de713906f0ed78f', - 'wiki.si.npz': '204f9ffbe7770a9f56d3b2fb26999165015f5c33', - 'wiki.sk.npz': '7a9820b5a343b242660bf2595d1ecbf6e00a76d6', - 'wiki.sl.npz': '85f3186f26d6725317a64e290363a7251b928b81', - 'wiki.sm.npz': '9e13452cc4bff677f4f15db04f9d2f95f6ec054c', - 'wiki.sn.npz': 'e8d5f7dcf51280c5f99bc3df849b4889a61e9fcd', - 'wiki.so.npz': '0f5d71b95768b33fd939a870c15344c4478364a9', - 'wiki.sq.npz': '8b05826df8575e65c87a2fc0b7630cf644d4216d', - 'wiki.srn.npz': '2711396ef297ac5dde8904508bc002bdecbcc6f4', - 'wiki.sr.npz': '546edc8e29a5d2e99ed10eb4a552cbef2bb8f417', - 'wiki.ss.npz': '2e5911bad79bb5270a64f587e326d31c95ec58f3', - 'wiki.st.npz': '23bc954719a2962e891f02efaea754c9ea025894', - 'wiki.stq.npz': 'dd3ece0c0aa30e53ae0f4b558309bb60ab628652', - 'wiki.su.npz': '7e48732e8a1fcf212e692924a4416a6ac3b3b055', - 'wiki.sv.npz': 'b9ec52e9423688f195f3145c243226c0e0b51e83', - 'wiki.sw.npz': '5262f0c645322b10eca73f792a970f10b2719e55', - 'wiki.szl.npz': 'fdd6d6b291cdbbcec5ff93451a588fdd103bb2d0', - 'wiki.ta.npz': 'da7c5bc6e1142306ff2669bf1739832beb6c1763', - 'wiki.tcy.npz': 'baa49e1afa2bb0dcaaef0fac1ee75bbe711d1134', - 'wiki.te.npz': 'baf48767ce85e4d41d65d25f2bbf1c5f559ec18f', - 'wiki.tet.npz': '11e46a893af55344dbe102d530fdfea5d949d3bc', - 'wiki.tg.npz': 'da66abb72ec9ccc602713161e544963d59cc51d7', - 'wiki.th.npz': '25e54bf2d305779ec9baa5f344410bd75c7702fc', - 'wiki.ti.npz': '1faf98f3a0eafa7559a4b2a111f43dd1f7b9a05b', - 'wiki.tk.npz': '34c714fa8275fd6abfe86b2d144a043774552a6c', - 'wiki.tl.npz': '7d7f8a0485155bce7a74a1d778824375b0029f53', - 'wiki.tn.npz': 'd0bc3a9b948753ac2283e5e10480c9fa0f6acb53', - 'wiki.to.npz': 'e982fc31bcfcf7339988d7aad21ce29ac9e84b0b', - 'wiki.tpi.npz': '448cef043fa4b7f97825dbf8ee205ef05543bcac', - 'wiki.tr.npz': 'c9830607a4c5134c6191006f1d80bae0ec798fe6', - 'wiki.ts.npz': '84a0598803712c8a713943447ddb73fc0f39af43', - 'wiki.tt.npz': '82c29df18f33e6284af3e977a6dda7e132a7a225', - 'wiki.tum.npz': '358990b894a3fb09d70674465952d828c9b0eda7', - 'wiki.tw.npz': '1e6d2838a4f271c1808795fb929cfcbf95094d93', - 'wiki.ty.npz': 'e41ca5192d8cb515b3561c8d6935b150deb027b7', - 'wiki.tyv.npz': 'ce062ed32e854604714b65698ae290c99ba28060', - 'wiki.udm.npz': '9e1c5891ee0c5ac8f65fc457e1b42c7b2bfc8d37', - 'wiki.ug.npz': '656503e54063e200980e39f00fc011395bcd8551', - 'wiki.uk.npz': '352b7ee24d9fc6513fff4fe13bc04086c680834a', - 'wiki.ur.npz': 'a81e55c7adfc2cef779ce9a01fe21319a7e4943b', - 'wiki.uz.npz': 'd60d1e67bb8574dd71c18c88114aba674fc1eecb', - 'wiki.ve.npz': '5bfc3dbb3e47d23597df47ef12bd1c64ab8d3ea9', - 'wiki.vep.npz': '7a94355754fbe56802242c0bf9d7a27335095552', - 'wiki.vi.npz': 'f118039eb16a4ca3347b6b171eac41113350a041', - 'wiki.vls.npz': '9a46a2fdc6448aa54f212081643745499ea7d05c', - 'wiki.vo.npz': '8e2f93c85ac608bcc4ae14093b9ff016061378fb', - 'wiki.wa.npz': '907074f7743d30cdbb2c48d0c8b4040796ea4164', - 'wiki.war.npz': '928fb410c394b9c18d875326b6a3e750e2611e1b', - 'wiki.wo.npz': '7bb352be44f7261aa926f49b13e77df30f29312f', - 'wiki.wuu.npz': '0d1dc7b05867ff2156a1180ad3da3b4697924e59', - 'wiki.xal.npz': 'd87f4a131e086dc0bdc2a7e10406820c3c03b6a9', - 'wiki.xh.npz': 'c64e1d2e77d1c744a628e2bd7353284616e48bea', - 'wiki.xmf.npz': '160b9ee9773b9099aaf37ae9bdbc8a4a93b7f6ea', - 'wiki.yi.npz': '0662542cee29f3392fc905004ac6443b32c1477c', - 'wiki.yo.npz': '5d12d3b902a1fa19d8548295c3802c0608afa5c8', - 'wiki.za.npz': '536348ff89df62e968739b567a1245bfd4112fbe', - 'wiki.zea.npz': '61fa192289a7c0f73ffa8035632a38b91c31c224', - 'wiki.zh_classical.npz': '9acc9eaf8ebe316b945fb1f56ac71a2b7e024854', - 'wiki.zh_min_nan.npz': '5d38bc025c82af578299d60f7df7b399de6ed81a', - 'wiki.zh.npz': '94007fcf3b105bf2c21b84a3a22bdb7946e74804', - 'wiki.zh_yue.npz': 'af6f0d94e6418d528d6cedd859e07e6e2fb416ab', - 'wiki.zu.npz': 'fc9ce07d5d0c49a3c86cf1b26056ada58f9404ca'} + {'crawl-300d-2M': ('crawl-300d-2M.npz', + '9dd611a1fe280c63050cd546d3595400fc0eede4'), + 'wiki.aa': ('wiki.aa.npz', + '48f163b80eb37f1806142169d3d4c05cf75b7339'), + 'wiki.ab': ('wiki.ab.npz', + '860ceff119dd27e5b701b605879037c1310cbc3e'), + 'wiki.ace': ('wiki.ace.npz', + '62938287464040491719f56a6f521f8f808beee8'), + 'wiki.ady': ('wiki.ady.npz', + '646843afa260d018ed711df3f1ca9c3e000447b6'), + 'wiki.af': ('wiki.af.npz', + '7b14cd27690b67fea318d0bac2283c16430680e2'), + 'wiki.ak': ('wiki.ak.npz', + '20f309adad1c45958c97b6055d5838e05bbaea72'), + 'wiki.als': ('wiki.als.npz', + 'a8b03aa133c4f7da12fc27c2b167b7918b1e9805'), + 'wiki.am': ('wiki.am.npz', + 'ed3dd10cea64737f7a1623612ee099df9dc19f66'), + 'wiki.ang': ('wiki.ang.npz', + '8efe64706d9d6b8eae38b2c7ff0b277e20592bc7'), + 'wiki.an': ('wiki.an.npz', + '168046283c719ab96a29b1abae2e25a6575c7be8'), + 'wiki.arc': ('wiki.arc.npz', + '049021b7decea4bc009b12936e56b4dbf5b760e7'), + 'wiki.ar': ('wiki.ar.npz', + '7e325e1e98dfcdc9368d2ebe40ee834a2ed44912'), + 'wiki.arz': ('wiki.arz.npz', + '7d851c2c7be3ee6f7fd896de7b76ea08e3fb08b0'), + 'wiki.as': ('wiki.as.npz', + '01d38c29cd4bd99c1a8534abc058822da14a5b9c'), + 'wiki.ast': ('wiki.ast.npz', + '9c9846ba5084505a0adea89c95c66e04efbf5ce9'), + 'wiki.av': ('wiki.av.npz', + '7ef6a920c364638504e673cfde5f7675503fa81e'), + 'wiki.ay': ('wiki.ay.npz', + 'c1202e110930e3902397f5cb64a8359e013b469f'), + 'wiki.azb': ('wiki.azb.npz', + '10351b7ef14ec2cb610d290cb6a3f6987ef5d8b3'), + 'wiki.az': ('wiki.az.npz', + '74257c3bcd533a606afae509ea835dc036d61546'), + 'wiki.ba': ('wiki.ba.npz', + '4a2857ed694d66864df562b376c2fa12fcb03646'), + 'wiki.bar': ('wiki.bar.npz', + 'e65c6b7e9ff83798d1eea05d166148837d53e615'), + 'wiki.bat_smg': ('wiki.bat_smg.npz', + '6420584ae28ba6c9dd145fea8f096243d457c2d8'), + 'wiki.bcl': ('wiki.bcl.npz', + '33606c970ab336b678393e2bdb8af2116d11cf7b'), + 'wiki.be': ('wiki.be.npz', + '84487d341e333344cf71bc12c7a205d923762498'), + 'wiki.bg': ('wiki.bg.npz', + '56f2a175b1a1d1a9cf9f1cea277cd0b46ffd7f66'), + 'wiki.bh': ('wiki.bh.npz', + '07473989853a344a41aaa18f41030dc56d0d01c7'), + 'wiki.bi': ('wiki.bi.npz', + '08adfa3c9ef3016d30ef69ea539d217ff67eda09'), + 'wiki.bjn': ('wiki.bjn.npz', + '998a551283222931d3a26922308449950bfa3ec7'), + 'wiki.bm': ('wiki.bm.npz', + '454ff9fbd4790e4a076d9a2087a51da28aa1332f'), + 'wiki.bn': ('wiki.bn.npz', + '1f36f6f39c9a9b33bb8035c9a4dc7e04933604fd'), + 'wiki.bo': ('wiki.bo.npz', + 'b9fe87318428de0a7790de175b5fec80c5af482d'), + 'wiki.bpy': ('wiki.bpy.npz', + '5c7853173d27e2c018c24eca69de8d5f34511b0d'), + 'wiki.br': ('wiki.br.npz', + '7aa66a2034fbfaa1d39e637385d48610238797c9'), + 'wiki.bs': ('wiki.bs.npz', + 'a019a4677677c2e9e4d899326b2b6c15ad6c011a'), + 'wiki.bug': ('wiki.bug.npz', + '09ae3477941d7a99d1df494368d7efb0b2c18913'), + 'wiki.bxr': ('wiki.bxr.npz', + 'b832c691b8ddd95896c052d3d15e1f98d72068d5'), + 'wiki.ca': ('wiki.ca.npz', + '391e0d4daad08649251274fa1cc2a5f49c7728b1'), + 'wiki.cbk_zam': ('wiki.cbk_zam.npz', + '02e57a763bc9f9eadaba57953383dd12a0a78a37'), + 'wiki.cdo': ('wiki.cdo.npz', + 'd6e8f422327e8b2273f1f2662d793707ece6695d'), + 'wiki.ceb': ('wiki.ceb.npz', + '23bc0bb9aeaa57dff35092766941a866de142aae'), + 'wiki.ce': ('wiki.ce.npz', + '182b2a889256119a6d379d501c55c7621e5855db'), + 'wiki.ch': ('wiki.ch.npz', + '82dd77512fcb463481f43c9cef3507e2baa90d7b'), + 'wiki.cho': ('wiki.cho.npz', + 'b0b620fc2442d1a6e2440e71a424861c80175f0c'), + 'wiki.chr': ('wiki.chr.npz', + '3d62c6b95c5af46abd6234426ae760cca65d5bd0'), + 'wiki.chy': ('wiki.chy.npz', + '34a28a22da79aebc100e3714b825c95c8d5f54a3'), + 'wiki.ckb': ('wiki.ckb.npz', + 'ad19461e4be583d08b7693ff5b1e9d590ed41add'), + 'wiki.co': ('wiki.co.npz', + 'fa60d9f0e79f1c7e15f381aef983a0f4f31c05a8'), + 'wiki.crh': ('wiki.crh.npz', + '540270ba6edd9d7b2f7efca52b3b407524ac67d1'), + 'wiki.cr': ('wiki.cr.npz', + 'f06b77465a38ec960d7d5a7554b848c37e945c76'), + 'wiki.csb': ('wiki.csb.npz', + 'b8b28559cf2541341af98e2aa755856765bdeabf'), + 'wiki.cs': ('wiki.cs.npz', + '19881e931fe06abf341450f00c342d364313e232'), + 'wiki.cu': ('wiki.cu.npz', + '731e0d00abd53bc2a8eb6cf37f6ab883cff34e15'), + 'wiki.cv': ('wiki.cv.npz', + 'e60034fcffb7dfef7b236ddba1194c3aa20b7967'), + 'wiki.cy': ('wiki.cy.npz', + '5a0fb967b5556f007c0d5065f951a3d3b1c1005a'), + 'wiki.da': ('wiki.da.npz', + 'd06258014ba2c7450bc2d55edfdf1731433e42e5'), + 'wiki.de': ('wiki.de.npz', + 'a21694dfd2af63bd7bb00f0b60b28e88bd1153f1'), + 'wiki.diq': ('wiki.diq.npz', + '4f6c77a86b39834a7130419967759afd8cc26b84'), + 'wiki.dsb': ('wiki.dsb.npz', + 'e74f1d346a8db96987bff0c33ee5f886907c380a'), + 'wiki.dv': ('wiki.dv.npz', + '5d6fe6f0eec2e7704121d5aba03b4edbb28af873'), + 'wiki.dz': ('wiki.dz.npz', + '77c639d36d0355b2de5adead7996eae342b852a6'), + 'wiki.ee': ('wiki.ee.npz', + '4b5a76127d57515d3e8a76787cdefde5856b754a'), + 'wiki.el': ('wiki.el.npz', + 'a00bcb97e7898931196a1c69f7a492e5b6202661'), + 'wiki.eml': ('wiki.eml.npz', + 'b475d626b3d97e7a68c02827fdc7900599e838c6'), + 'wiki.en': ('wiki.en.npz', + 'ad5ec6d49db6c6fe76b8e85ff05d34e5d0e1eb6a'), + 'wiki.eo': ('wiki.eo.npz', + '18049b0010520d13e676f5a82e8bb90153d99003'), + 'wiki.es': ('wiki.es.npz', + 'a6d192ba7d82d762f8367e75ca951aad4d11e410'), + 'wiki.et': ('wiki.et.npz', + '4beb7025cf88f1aa62d025b187f0cb09aee61858'), + 'wiki.eu': ('wiki.eu.npz', + '5e1a8197e35f20a2476798bbb935b4c131289c4f'), + 'wiki.ext': ('wiki.ext.npz', + '049b2d1b0a8b102b45907cf487cac30aa294e0a0'), + 'wiki.fa': ('wiki.fa.npz', + '81ed274997c87ef87d73d25e166ca06272ce426f'), + 'wiki.ff': ('wiki.ff.npz', + '4867dc74cd53ca0b0f769af4fa1ea420406b59bf'), + 'wiki.fi': ('wiki.fi.npz', + '6d1291b854045179f8171ac7d62ede7d8ac159a2'), + 'wiki.fiu_vro': ('wiki.fiu_vro.npz', + 'dd87806d9dc8833fa0e21e35a50815ebdbaa6c8b'), + 'wiki.fj': ('wiki.fj.npz', + 'cf5c31b0a69276f5dd18ab738ed92444abaeb755'), + 'wiki.fo': ('wiki.fo.npz', + 'ffc19807d528af000861a94cfb8097bd686e14fc'), + 'wiki.fr': ('wiki.fr.npz', + '8f06d5dbe3cf7214354fe9b2f6eca0ef7419f063'), + 'wiki.frp': ('wiki.frp.npz', + 'c8b200ae592478d3cd0bfaafcd7aa19de8a3bfe5'), + 'wiki.frr': ('wiki.frr.npz', + 'fa5e5c39ea2a45793c679eacea290a35e37405ea'), + 'wiki.fur': ('wiki.fur.npz', + 'a61a8940d059f25000e3fe23933e5ed0d37e65d3'), + 'wiki.fy': ('wiki.fy.npz', + '46f9f41bdf6f4fb8e27a753290413d745465963b'), + 'wiki.gag': ('wiki.gag.npz', + '49fb01230e6803544122d47ab7d3fe694d1444f2'), + 'wiki.gan': ('wiki.gan.npz', + '716b7b26acc15975f30caf3c6effa111516fcca5'), + 'wiki.ga': ('wiki.ga.npz', + 'ea934bc1fdc1acf6caf9ac746c6c499251f1fdee'), + 'wiki.gd': ('wiki.gd.npz', + '597017b5a32d933f194595d3656f858e37e70a62'), + 'wiki.glk': ('wiki.glk.npz', + '91a5834658bc2d48714e8807ef24efb79567b4b5'), + 'wiki.gl': ('wiki.gl.npz', + '2fa8e48d6ae1e9c9d542eb3f2156cf9e359e66c2'), + 'wiki.gn': ('wiki.gn.npz', + 'e359eef3928e1f1b5d8fcf0ea532e8794c66289a'), + 'wiki.gom': ('wiki.gom.npz', + '8cd361481c23f7545cc2bd8f1bf22aa7400edd4d'), + 'wiki.got': ('wiki.got.npz', + 'd05daf105611150695e61775fdff2c500b36be3f'), + 'wiki.gu': ('wiki.gu.npz', + '0ce175c5fc39bab4032892f70c9d2bb850af0f4a'), + 'wiki.gv': ('wiki.gv.npz', + '2c573f873d607831ff01b64603c17b8db79bd7e1'), + 'wiki.hak': ('wiki.hak.npz', + 'e6048727799cdf149f5c50037e0fc59300d33a94'), + 'wiki.ha': ('wiki.ha.npz', + 'f18ea7286bbd390c5470896b2c99cb1adc740064'), + 'wiki.haw': ('wiki.haw.npz', + '18bcd85d2e06b1b889f0835fc5b62697fdf32d72'), + 'wiki.he': ('wiki.he.npz', + '76915ff167b6ecb7b7e22ff0ca46914a55d344af'), + 'wiki.hif': ('wiki.hif.npz', + '12153aaf98d76d5502ab77a27cd0b9a539f61513'), + 'wiki.hi': ('wiki.hi.npz', + '249666a598991f6ec147954c6af9e531fd1cd94e'), + 'wiki.ho': ('wiki.ho.npz', + '3f804fd69780c0789708b56ea9d48715f8e38f26'), + 'wiki.hr': ('wiki.hr.npz', + '9a3de28e69f97048bfb480b4f83eaab6149f66ad'), + 'wiki.hsb': ('wiki.hsb.npz', + '7070bf64e13299dd66ac0e9f8e24011a56b6bfe8'), + 'wiki.ht': ('wiki.ht.npz', + 'a607093d511afeb584d02dc676bc5a27eff66287'), + 'wiki.hu': ('wiki.hu.npz', + '9b2c4750daf1bcf39768572e874b5afda0e2f0bc'), + 'wiki.hy': ('wiki.hy.npz', + 'ec0461a102a6fb00bd324f66cefd3c8d55a7093a'), + 'wiki.hz': ('wiki.hz.npz', + '5dfb8afbdae6b4148c3e55ab459c56a74b46b463'), + 'wiki.ia': ('wiki.ia.npz', + '4cfaaf053b9513bbf5b2423258c0f01d20256de6'), + 'wiki.id': ('wiki.id.npz', + 'bace396bb9941cc9e5b2e5f5a19be6db833c5fd4'), + 'wiki.ie': ('wiki.ie.npz', + '1bae7256c2e763ce6d692d1c0a603d99a8b22826'), + 'wiki.ig': ('wiki.ig.npz', + '23128e54a5e143891d392d621723bad9cfc8cf7b'), + 'wiki.ii': ('wiki.ii.npz', + '54bc16d05da512481865a89ecf30260b0acc04dc'), + 'wiki.ik': ('wiki.ik.npz', + 'f8015227e893d2375699b7d132b306ba381f02ac'), + 'wiki.ilo': ('wiki.ilo.npz', + '185a11f81bd5d24a34558dda81ee4735f5ba150b'), + 'wiki.io': ('wiki.io.npz', + 'ddf8180a90aa6ee5be93a2582cc99c535f21363e'), + 'wiki.is': ('wiki.is.npz', + '968f8dd2a093b279a6f7aaa734008454bf51d724'), + 'wiki.it': ('wiki.it.npz', + 'fdfb857a309b2c3d29482bb5cc55f21b858d2e6f'), + 'wiki.iu': ('wiki.iu.npz', + 'fa8896730bd6c24c3473daa22116d1016294e7f7'), + 'wiki.jam': ('wiki.jam.npz', + 'a8f0d0b99c89ace0a6401b8fcda261d06065faaf'), + 'wiki.ja': ('wiki.ja.npz', + '8d42e5a40e4d1d8645b2d80b873a65cadcf68b5c'), + 'wiki.jbo': ('wiki.jbo.npz', + '145fc999ab004b348cf9bf445f0a93a7a145308b'), + 'wiki.jv': ('wiki.jv.npz', + '66978770bf06e42414395cf5fd8c596044d72bec'), + 'wiki.kaa': ('wiki.kaa.npz', + '624a640ecb9901b2aba2e9f44ab615146ecb2862'), + 'wiki.kab': ('wiki.kab.npz', + 'e97f93b6ba65e95c85b7541932cf53c5ad9eb896'), + 'wiki.ka': ('wiki.ka.npz', + '1ca8376e1e0cbd58001c1b51a2d488a2874a6743'), + 'wiki.kbd': ('wiki.kbd.npz', + 'f2d2a05b06723ac549784ad5470d84f5742a1352'), + 'wiki.kg': ('wiki.kg.npz', + 'fa7f6d5f660a173a3e75342d449980eedcdc789e'), + 'wiki.ki': ('wiki.ki.npz', + '21a8c7c616c0050c51c288861f3423f313e4f634'), + 'wiki.kj': ('wiki.kj.npz', + 'f3c347509a0d81f4f7fdbb8b22889b8d76e5014e'), + 'wiki.kk': ('wiki.kk.npz', + 'bc24a3289e1c1e18e16b6789c2f9f92af1e73071'), + 'wiki.kl': ('wiki.kl.npz', + 'b8b7e7359f067836e2be2ecfe9f35a820b00fe1d'), + 'wiki.km': ('wiki.km.npz', + 'e053799fd01463808432dc035bef3e36620e2f36'), + 'wiki.kn': ('wiki.kn.npz', + '2849a0a8b3453e9bf6af05d4c7bd3db881dd1068'), + 'wiki.koi': ('wiki.koi.npz', + 'a9b02e9bd41833bcd54769f94626019c03f29997'), + 'wiki.ko': ('wiki.ko.npz', + '764d9896e74b5a26c6884d48bce3bed8ed3a7822'), + 'wiki.krc': ('wiki.krc.npz', + 'bfe39598c718f1cc95909db7544b3214b308a97c'), + 'wiki.kr': ('wiki.kr.npz', + '1e6af853d4a8ea7830e116eb9b61ac5d7d9a315c'), + 'wiki.ksh': ('wiki.ksh.npz', + '66cd0e3e0a0b0282a13960571ebe7cddd7706bf2'), + 'wiki.ks': ('wiki.ks.npz', + '85f1adaa05b854df4dede745a1aaab3836e60770'), + 'wiki.ku': ('wiki.ku.npz', + 'faf90584e5a45e6d0f9eeb88399b82abe037d584'), + 'wiki.kv': ('wiki.kv.npz', + '9f2b41822013a412da9c99fac06eed8be03ca192'), + 'wiki.kw': ('wiki.kw.npz', + '3eed8a8fc97a2fc79241b8474a458c98d00fc897'), + 'wiki.ky': ('wiki.ky.npz', + '0116ff90f10a6c0728e1ea86d8a44896ea83270a'), + 'wiki.lad': ('wiki.lad.npz', + '5af2015b3d1c5e8563f0e92721580988ebe2ce50'), + 'wiki.la': ('wiki.la.npz', + '7143303a3ea13c7668eb90ea6e3d2ca69857a3be'), + 'wiki.lbe': ('wiki.lbe.npz', + 'f206a3c35a184ba5d2b32ee68640eadf66c847da'), + 'wiki.lb': ('wiki.lb.npz', + '143dc6337f3690379282034c460c613d7f144923'), + 'wiki.lez': ('wiki.lez.npz', + 'b29a680decc6b29f24e8eb9e4f8e11e3419d45f1'), + 'wiki.lg': ('wiki.lg.npz', + '866640ce62cedbc1d453b7ea3c289c291ad76e13'), + 'wiki.lij': ('wiki.lij.npz', + '0dcd3d7009ae89b1016ca6cdb99a9f0d70bc4baf'), + 'wiki.li': ('wiki.li.npz', + '4666b3c238256d7b7623a136db19b8b9f4754734'), + 'wiki.lmo': ('wiki.lmo.npz', + 'ac89fa7cfe0675950bcb31c66bf3f88a3cfc98f0'), + 'wiki.ln': ('wiki.ln.npz', + 'fba158719944aabe58e0002a90be0ed77e11702d'), + 'wiki.lo': ('wiki.lo.npz', + '1e113e340a8a93d385e14502c9c4e3bcdf6c3101'), + 'wiki.lrc': ('wiki.lrc.npz', + '42cb755f398fba6f0da7949c91e92b55654bd482'), + 'wiki.ltg': ('wiki.ltg.npz', + '182f75859e228d1162215f28fe7f2dca127624a4'), + 'wiki.lt': ('wiki.lt.npz', + '66aa944bd2e777cb82d6d59b1f2f837b6c48cb37'), + 'wiki.lv': ('wiki.lv.npz', + '2be8f926da85694fa998bf79d80b61ebb8d67576'), + 'wiki.mai': ('wiki.mai.npz', + 'b8a9c36e2a0f1bb84a44dc762250d2a9007ef637'), + 'wiki.map_bms': ('wiki.map_bms.npz', + '6f0394d6b3d08a946e3df4b9355efe94148f018a'), + 'wiki.mdf': ('wiki.mdf.npz', + '774ee35334641db57f9ac9069961c5372a5d92e8'), + 'wiki.mg': ('wiki.mg.npz', + '496c48ef668f08ce95ebb11ce1ce5026b52d935c'), + 'wiki.mh': ('wiki.mh.npz', + '352edd84f99c5aa277a7306f6cacea1fab065ed3'), + 'wiki.mhr': ('wiki.mhr.npz', + 'dd78b27a674ac10411cdf74ac32f9391506b17e0'), + 'wiki.min': ('wiki.min.npz', + '628b406441ab03bc8aa68195ada50bfdc8226f34'), + 'wiki.mi': ('wiki.mi.npz', + '754127b473861cd4f9ae034c9f527a34827b1f00'), + 'wiki.mk': ('wiki.mk.npz', + 'b09fed4f56c296f13c4020ef1fec498382a38b73'), + 'wiki.ml': ('wiki.ml.npz', + '02fb55d97ca2f0408f0e7e8dd6a661bbc3319a2a'), + 'wiki.mn': ('wiki.mn.npz', + '08b2c45689aa5d9ec49df96dc7c777ce9b9a0b4b'), + 'wiki.mo': ('wiki.mo.npz', + '638c2e8bd2352fd52921b9ae62f578b8357bab49'), + 'wiki.mrj': ('wiki.mrj.npz', + 'ec5cf1f4fb8dfdca64d8172974e620eb8fa41626'), + 'wiki.mr': ('wiki.mr.npz', + '074dd68c947c2f137a3e84b55012925f00213139'), + 'wiki.ms': ('wiki.ms.npz', + '3dbe9e9d70251de8a374776ff1250a9c3103ee59'), + 'wiki.mt': ('wiki.mt.npz', + 'f5103998a68d1b178387417436a83123d44aba01'), + 'wiki.multi.ar': ('wiki.multi.ar.npz', + 'a010d1d81a465c56ebaf596b3e8e8795e7f0f8e3'), + 'wiki.multi.bg': ('wiki.multi.bg.npz', + 'c04018f3a600cee170f12a36cdd35b4727a2aade'), + 'wiki.multi.ca': ('wiki.multi.ca.npz', + 'eef52a0cf20c133ca9065de25f0702861a8cfa29'), + 'wiki.multi.cs': ('wiki.multi.cs.npz', + 'c5f547aa78c0e3d7dae67a0334d500bf2a86aa30'), + 'wiki.multi.da': ('wiki.multi.da.npz', + '24374f2ee169b33327feeee46da31b0de1622fe4'), + 'wiki.multi.de': ('wiki.multi.de.npz', + '2e6c119b345bebd34b56eaaf855d6703889b11f7'), + 'wiki.multi.el': ('wiki.multi.el.npz', + '9d122beedb80a2e5334946641e5bafd32c01e76b'), + 'wiki.multi.en': ('wiki.multi.en.npz', + '8c3c480b4cb2690304173713a646280613b244a8'), + 'wiki.multi.es': ('wiki.multi.es.npz', + '483a22656e4fb2a01e9f4ef8156b261e780850ab'), + 'wiki.multi.et': ('wiki.multi.et.npz', + '22498c7b91645a3874fa738b5cfb16bf98b6f97c'), + 'wiki.multi.fi': ('wiki.multi.fi.npz', + '765a6f0b63777bff4ae6ca2b461c5889c03d6a70'), + 'wiki.multi.fr': ('wiki.multi.fr.npz', + 'decd9aacf600114b8a36072535c0309874a37c83'), + 'wiki.multi.he': ('wiki.multi.he.npz', + '7eee940c1b85936f59122f4b1a166223dd946674'), + 'wiki.multi.hr': ('wiki.multi.hr.npz', + '1673963416af088f8bf15576afb33d58115db35c'), + 'wiki.multi.hu': ('wiki.multi.hu.npz', + 'a1fbe6ededf3cbaa3eaa22dd8b20cce4b36cfc6d'), + 'wiki.multi.id': ('wiki.multi.id.npz', + '6c3e721febb511ede7db7bf978d65769e4270f5c'), + 'wiki.multi.it': ('wiki.multi.it.npz', + 'fc5bfc11e0165e8d95c1708573dad5e456826c73'), + 'wiki.multi.mk': ('wiki.multi.mk.npz', + '6cd50198355674f156fc863108d9bebf11cfabd9'), + 'wiki.multi.nl': ('wiki.multi.nl.npz', + '4fa06b9230c95dfa5a9e9a5d80f1f5ba614d3cbf'), + 'wiki.multi.no': ('wiki.multi.no.npz', + '63756168c1101e73fba8d1a5015f32b8892819e6'), + 'wiki.multi.pl': ('wiki.multi.pl.npz', + '958b8e8bead965ba1bb1433e1c960fc3e12a10fb'), + 'wiki.multi.pt': ('wiki.multi.pt.npz', + '22f07df1609d79b95344ee575ea43141424a1528'), + 'wiki.multi.ro': ('wiki.multi.ro.npz', + '73180b3e382519004bf38ea7b86237aacbbe813a'), + 'wiki.multi.ru': ('wiki.multi.ru.npz', + '3b2eb9163f35e90bf2ce1cd3c997b354d0c34f59'), + 'wiki.multi.sk': ('wiki.multi.sk.npz', + '606a0c3ba9849070c6b6b8c22d920fdeed9a1385'), + 'wiki.multi.sl': ('wiki.multi.sl.npz', + '3cfdab5043b8cfe1535cb6dbd4c9e68847ad5904'), + 'wiki.multi.sv': ('wiki.multi.sv.npz', + '4f1494885b9a831e87cfa3c15f2204c4a73c0779'), + 'wiki.multi.tr': ('wiki.multi.tr.npz', + '54f90d5ddb9a65538a41e37c5a67ed933a5e4885'), + 'wiki.multi.uk': ('wiki.multi.uk.npz', + '500fd26b1d7a25b42458012e99f9f76642e0c787'), + 'wiki.multi.vi': ('wiki.multi.vi.npz', + '3955809cceb300965c15f9372221417719bb0db8'), + 'wiki.mus': ('wiki.mus.npz', + 'a5f48934a3fa6eaf4929098046c93fc94dd6bcb6'), + 'wiki.mwl': ('wiki.mwl.npz', + '8a5e2c272166f8a72c5694ca6c3104d5f49179ec'), + 'wiki.my': ('wiki.my.npz', + '5e035aca16700d7d6695af8a6d3a88ac847aaeb7'), + 'wiki.myv': ('wiki.myv.npz', + 'd4cfaab70c640033e02c0fc0c5a3615ae836c569'), + 'wiki.mzn': ('wiki.mzn.npz', + 'ad09ac584ae455b5862b95125ef409360ae18445'), + 'wiki.nah': ('wiki.nah.npz', + '2dc454ef37d059f2053af46cfa1f4f0ca939cba0'), + 'wiki.na': ('wiki.na.npz', + '401f0f880eb7aa78d21348bc1e0a3953b3e81bf0'), + 'wiki.nap': ('wiki.nap.npz', + '996da46aeeab5644ba766d00c5e343b1553361d7'), + 'wiki.nds_nl': ('wiki.nds_nl.npz', + '5a9307e16b13a5a82ec19a52b33254537e7198e7'), + 'wiki.nds': ('wiki.nds.npz', + 'b249a87c78c52becf51e7b50aaf9f9b6a36585f1'), + 'wiki.ne': ('wiki.ne.npz', + 'a601db2647a74ffd2b4b43dcb8584735f555459c'), + 'wiki.new': ('wiki.new.npz', + 'c398a3775aba9c68ce765cfdfb6b188f7c47e4c6'), + 'wiki-news-300d-1M': ('wiki-news-300d-1M.npz', + '0a03bbd508e5381e140476140fb121afeb0050ed'), + 'wiki-news-300d-1M-subword': ('wiki-news-300d-1M-subword.npz', + '69edae21375407781c727dcb9e534e79d712d137'), + 'wiki.ng': ('wiki.ng.npz', + 'befd774d15f69d43547e13e5ea3a97c4cb1ab405'), + 'wiki.nl': ('wiki.nl.npz', + '5a7cb6f1dd0a7621202abba9461ac2c5bf905219'), + 'wiki.nn': ('wiki.nn.npz', + '8e5059ddeb24050fadaa5cc4622b13feb3e4a226'), + 'wiki.no': ('wiki.no.npz', + '5ce6e0f793e66f081652f64013968099de03d9f9'), + 'wiki.nov': ('wiki.nov.npz', + '95ed23b4cfd7a65afa1c12c7dbdce6af53923d77'), + 'wiki.vec': ('wiki.vec.npz', + '08ebb912efeb9df1c7d05e1af90484d210dff47e'), + 'wiki.nrm': ('wiki.nrm.npz', + 'e58614b4508ff9810f0b58fd818f973775bc918d'), + 'wiki.nso': ('wiki.nso.npz', + '56a2ebe260241402d117cd89c5c872b9c96ff05b'), + 'wiki.nv': ('wiki.nv.npz', + 'c713051fe03ec1f60314bb42161b2a47fb5e169a'), + 'wiki.ny': ('wiki.ny.npz', + 'ba5a1725955cbc13e7fd93ab499f8085840c992c'), + 'wiki.oc': ('wiki.oc.npz', + '259e7d994c38a4cfc140fb07016b82d6781e5027'), + 'wiki.olo': ('wiki.olo.npz', + '0fea70f887def4779ee70a79366b88f1ada65004'), + 'wiki.om': ('wiki.om.npz', + '47e2d756b5f8913085d901375c1b4e0b118a4221'), + 'wiki.or': ('wiki.or.npz', + '7e274ab060219b019aa02bb97941cc6e162fd01f'), + 'wiki.os': ('wiki.os.npz', + '19e8199cc2aaffdb07b6c558dbc5465ac6e03155'), + 'wiki.pag': ('wiki.pag.npz', + 'eddf4931547649026c02f893297ef673ec6158bb'), + 'wiki.pam': ('wiki.pam.npz', + '40109aa174bd9f0fa657839bb548e2b0646c58d3'), + 'wiki.pa': ('wiki.pa.npz', + '8a5870717e9e641b1f757f13259171698118de2e'), + 'wiki.pap': ('wiki.pap.npz', + '999c8e5b005ca20d9998fbbe4fa79177f69e24c0'), + 'wiki.pcd': ('wiki.pcd.npz', + 'e975066b323a65cdc5e4c27138ef674d2cf7250b'), + 'wiki.pdc': ('wiki.pdc.npz', + '5c770b9d56f276b0aa535845f175c05ee1cea615'), + 'wiki.pfl': ('wiki.pfl.npz', + '0063d0b633ee529a75482b36ed4f4da7d64994ec'), + 'wiki.pih': ('wiki.pih.npz', + 'ce1d76c94d248545eea0d7436c54849dbb380bfc'), + 'wiki.pi': ('wiki.pi.npz', + 'c7d56c334bf529f8b3655693d207a80feaec4aed'), + 'wiki.pl': ('wiki.pl.npz', + '0d612fdf871a1a4084c867f394940475be899443'), + 'wiki.pms': ('wiki.pms.npz', + 'ca149a2fb138011315bb6d5d61c7a5647e515e51'), + 'wiki.pnb': ('wiki.pnb.npz', + '9ec82d02ad8894056c67991cf8ce927bcca74ee2'), + 'wiki.pnt': ('wiki.pnt.npz', + '3f90123407bb8fc838a0a0d3700a14e15f5b26aa'), + 'wiki.ps': ('wiki.ps.npz', + '7edebc02ac16f5fab83eb10b7d0fab821a9a4d43'), + 'wiki.pt': ('wiki.pt.npz', + 'f172fd801edd1ad9d319ba44146d40b5d682a473'), + 'wiki.qu': ('wiki.qu.npz', + '68bec60ccfe1826c3b3a8968574488dbc74cdf7b'), + 'wiki.rm': ('wiki.rm.npz', + '00fb191fc736ba60cb23e76169dfccde9a9daad0'), + 'wiki.rmy': ('wiki.rmy.npz', + 'c5e93cc37ff7293b9a1d9fe55c42d6fbde372b97'), + 'wiki.rn': ('wiki.rn.npz', + '57b8e0d6999269be227af6ef2797a9cf8386ff1b'), + 'wiki.roa_rup': ('wiki.roa_rup.npz', + 'e06d6b5672a59bb9e83143bc8b28300d23c09546'), + 'wiki.roa_tara': ('wiki.roa_tara.npz', + 'c083105f40236dc3711f06c1b40e8ee7a714b99d'), + 'wiki.ro': ('wiki.ro.npz', + '766bc0cb58a65b0b1763b9a0d90e91ab982eb20d'), + 'wiki.rue': ('wiki.rue.npz', + '9a91fa093cd48d7d658d526b0ccda48dc59cd7f4'), + 'wiki.ru': ('wiki.ru.npz', + 'd59d099481c22d5592ab9635c9ee48060aa0bf45'), + 'wiki.rw': ('wiki.rw.npz', + 'e99ee87d249f6c157c5c97397d1025d798b85c69'), + 'wiki.sah': ('wiki.sah.npz', + '85dae39097b29bc8e2b64f343a77794e4a62f91a'), + 'wiki.sa': ('wiki.sa.npz', + '7d1928d7c67400045ac1b35a37a0e3089690d875'), + 'wiki.scn': ('wiki.scn.npz', + '27d7b8050bbeed8ce196061c610216760b053c39'), + 'wiki.sc': ('wiki.sc.npz', + '69c7b8be0f03a1bbd615695f93bdd78f96a58e16'), + 'wiki.sco': ('wiki.sco.npz', + '4880282f59d3338b67fbff75359e2d24896e95bb'), + 'wiki.sd': ('wiki.sd.npz', + '0ed8da4d27223db717a612cf0c88582351db6e19'), + 'wiki.se': ('wiki.se.npz', + '0f4b2e060d5e29f96ca73aab29c967e79db69c17'), + 'wiki.sg': ('wiki.sg.npz', + 'a5e4edf34fe1a88b322da4c3922ec5a470e200c6'), + 'wiki.sh': ('wiki.sh.npz', + 'c13f1e94676bc939560193f7aa7ffd7d604707b3'), + 'wiki.simple': ('wiki.simple.npz', + '352d0575e7d60b08e1dfce2c5de713906f0ed78f'), + 'wiki.si': ('wiki.si.npz', + '204f9ffbe7770a9f56d3b2fb26999165015f5c33'), + 'wiki.sk': ('wiki.sk.npz', + '7a9820b5a343b242660bf2595d1ecbf6e00a76d6'), + 'wiki.sl': ('wiki.sl.npz', + '85f3186f26d6725317a64e290363a7251b928b81'), + 'wiki.sm': ('wiki.sm.npz', + '9e13452cc4bff677f4f15db04f9d2f95f6ec054c'), + 'wiki.sn': ('wiki.sn.npz', + 'e8d5f7dcf51280c5f99bc3df849b4889a61e9fcd'), + 'wiki.so': ('wiki.so.npz', + '0f5d71b95768b33fd939a870c15344c4478364a9'), + 'wiki.sq': ('wiki.sq.npz', + '8b05826df8575e65c87a2fc0b7630cf644d4216d'), + 'wiki.srn': ('wiki.srn.npz', + '2711396ef297ac5dde8904508bc002bdecbcc6f4'), + 'wiki.sr': ('wiki.sr.npz', + '546edc8e29a5d2e99ed10eb4a552cbef2bb8f417'), + 'wiki.ss': ('wiki.ss.npz', + '2e5911bad79bb5270a64f587e326d31c95ec58f3'), + 'wiki.st': ('wiki.st.npz', + '23bc954719a2962e891f02efaea754c9ea025894'), + 'wiki.stq': ('wiki.stq.npz', + 'dd3ece0c0aa30e53ae0f4b558309bb60ab628652'), + 'wiki.su': ('wiki.su.npz', + '7e48732e8a1fcf212e692924a4416a6ac3b3b055'), + 'wiki.sv': ('wiki.sv.npz', + 'b9ec52e9423688f195f3145c243226c0e0b51e83'), + 'wiki.sw': ('wiki.sw.npz', + '5262f0c645322b10eca73f792a970f10b2719e55'), + 'wiki.szl': ('wiki.szl.npz', + 'fdd6d6b291cdbbcec5ff93451a588fdd103bb2d0'), + 'wiki.ta': ('wiki.ta.npz', + 'da7c5bc6e1142306ff2669bf1739832beb6c1763'), + 'wiki.tcy': ('wiki.tcy.npz', + 'baa49e1afa2bb0dcaaef0fac1ee75bbe711d1134'), + 'wiki.te': ('wiki.te.npz', + 'baf48767ce85e4d41d65d25f2bbf1c5f559ec18f'), + 'wiki.tet': ('wiki.tet.npz', + '11e46a893af55344dbe102d530fdfea5d949d3bc'), + 'wiki.tg': ('wiki.tg.npz', + 'da66abb72ec9ccc602713161e544963d59cc51d7'), + 'wiki.th': ('wiki.th.npz', + '25e54bf2d305779ec9baa5f344410bd75c7702fc'), + 'wiki.ti': ('wiki.ti.npz', + '1faf98f3a0eafa7559a4b2a111f43dd1f7b9a05b'), + 'wiki.tk': ('wiki.tk.npz', + '34c714fa8275fd6abfe86b2d144a043774552a6c'), + 'wiki.tl': ('wiki.tl.npz', + '7d7f8a0485155bce7a74a1d778824375b0029f53'), + 'wiki.tn': ('wiki.tn.npz', + 'd0bc3a9b948753ac2283e5e10480c9fa0f6acb53'), + 'wiki.to': ('wiki.to.npz', + 'e982fc31bcfcf7339988d7aad21ce29ac9e84b0b'), + 'wiki.tpi': ('wiki.tpi.npz', + '448cef043fa4b7f97825dbf8ee205ef05543bcac'), + 'wiki.tr': ('wiki.tr.npz', + 'c9830607a4c5134c6191006f1d80bae0ec798fe6'), + 'wiki.ts': ('wiki.ts.npz', + '84a0598803712c8a713943447ddb73fc0f39af43'), + 'wiki.tt': ('wiki.tt.npz', + '82c29df18f33e6284af3e977a6dda7e132a7a225'), + 'wiki.tum': ('wiki.tum.npz', + '358990b894a3fb09d70674465952d828c9b0eda7'), + 'wiki.tw': ('wiki.tw.npz', + '1e6d2838a4f271c1808795fb929cfcbf95094d93'), + 'wiki.ty': ('wiki.ty.npz', + 'e41ca5192d8cb515b3561c8d6935b150deb027b7'), + 'wiki.tyv': ('wiki.tyv.npz', + 'ce062ed32e854604714b65698ae290c99ba28060'), + 'wiki.udm': ('wiki.udm.npz', + '9e1c5891ee0c5ac8f65fc457e1b42c7b2bfc8d37'), + 'wiki.ug': ('wiki.ug.npz', + '656503e54063e200980e39f00fc011395bcd8551'), + 'wiki.uk': ('wiki.uk.npz', + '352b7ee24d9fc6513fff4fe13bc04086c680834a'), + 'wiki.ur': ('wiki.ur.npz', + 'a81e55c7adfc2cef779ce9a01fe21319a7e4943b'), + 'wiki.uz': ('wiki.uz.npz', + 'd60d1e67bb8574dd71c18c88114aba674fc1eecb'), + 'wiki.ve': ('wiki.ve.npz', + '5bfc3dbb3e47d23597df47ef12bd1c64ab8d3ea9'), + 'wiki.vep': ('wiki.vep.npz', + '7a94355754fbe56802242c0bf9d7a27335095552'), + 'wiki.vi': ('wiki.vi.npz', + 'f118039eb16a4ca3347b6b171eac41113350a041'), + 'wiki.vls': ('wiki.vls.npz', + '9a46a2fdc6448aa54f212081643745499ea7d05c'), + 'wiki.vo': ('wiki.vo.npz', + '8e2f93c85ac608bcc4ae14093b9ff016061378fb'), + 'wiki.wa': ('wiki.wa.npz', + '907074f7743d30cdbb2c48d0c8b4040796ea4164'), + 'wiki.war': ('wiki.war.npz', + '928fb410c394b9c18d875326b6a3e750e2611e1b'), + 'wiki.wo': ('wiki.wo.npz', + '7bb352be44f7261aa926f49b13e77df30f29312f'), + 'wiki.wuu': ('wiki.wuu.npz', + '0d1dc7b05867ff2156a1180ad3da3b4697924e59'), + 'wiki.xal': ('wiki.xal.npz', + 'd87f4a131e086dc0bdc2a7e10406820c3c03b6a9'), + 'wiki.xh': ('wiki.xh.npz', + 'c64e1d2e77d1c744a628e2bd7353284616e48bea'), + 'wiki.xmf': ('wiki.xmf.npz', + '160b9ee9773b9099aaf37ae9bdbc8a4a93b7f6ea'), + 'wiki.yi': ('wiki.yi.npz', + '0662542cee29f3392fc905004ac6443b32c1477c'), + 'wiki.yo': ('wiki.yo.npz', + '5d12d3b902a1fa19d8548295c3802c0608afa5c8'), + 'wiki.za': ('wiki.za.npz', + '536348ff89df62e968739b567a1245bfd4112fbe'), + 'wiki.zea': ('wiki.zea.npz', + '61fa192289a7c0f73ffa8035632a38b91c31c224'), + 'wiki.zh_classical': ('wiki.zh_classical.npz', + '9acc9eaf8ebe316b945fb1f56ac71a2b7e024854'), + 'wiki.zh_min_nan': ('wiki.zh_min_nan.npz', + '5d38bc025c82af578299d60f7df7b399de6ed81a'), + 'wiki.zh': ('wiki.zh.npz', + '94007fcf3b105bf2c21b84a3a22bdb7946e74804'), + 'wiki.zh_yue': ('wiki.zh_yue.npz', + 'af6f0d94e6418d528d6cedd859e07e6e2fb416ab'), + 'wiki.zu': ('wiki.zu.npz', + 'fc9ce07d5d0c49a3c86cf1b26056ada58f9404ca')} BATS_CHECKSUMS = \ {'BATS_3.0/1_Inflectional_morphology/I01 [noun - plural_reg].txt': diff --git a/gluonnlp/embedding/token_embedding.py b/gluonnlp/embedding/token_embedding.py index 46ebeebddc..7d3d051c0f 100644 --- a/gluonnlp/embedding/token_embedding.py +++ b/gluonnlp/embedding/token_embedding.py @@ -180,16 +180,12 @@ def __init__(self, unknown_token=''): self._token_to_idx.update((token, idx) for idx, token in enumerate(self._idx_to_token)) self._idx_to_vec = None - @classmethod - def _get_file_name(cls, source): - return source - @classmethod def _get_file_url(cls, source): cls_name = cls.__name__.lower() namespace = 'gluon/embeddings/{}'.format(cls_name) - return _get_repo_file_url(namespace, cls._get_file_name(source)) + return _get_repo_file_url(namespace, cls.source_file_hash[source][0]) @classmethod def _get_file_path(cls, embedding_root, source): @@ -198,10 +194,9 @@ def _get_file_path(cls, embedding_root, source): url = cls._get_file_url(source) embedding_dir = os.path.join(embedding_root, cls_name) - pretrained_file_name = cls._get_file_name(source) - pretrained_file_path = os.path.join(embedding_dir, pretrained_file_name) - expected_file_hash = cls.source_file_hash[pretrained_file_name] + pretrained_file_name, expected_file_hash = cls.source_file_hash[source] + pretrained_file_path = os.path.join(embedding_dir, pretrained_file_name) if not os.path.exists(pretrained_file_path) \ or not check_sha1(pretrained_file_path, expected_file_hash): @@ -497,12 +492,11 @@ def _check_source(cls, source): source : str The pre-trained token embedding source. """ - file_name = cls._get_file_name(source) embedding_name = cls.__name__.lower() - if file_name not in cls.source_file_hash: - raise KeyError('Cannot find pre-trained source {} (file {}) for token embedding {}. ' + if source not in cls.source_file_hash: + raise KeyError('Cannot find pre-trained source {} for token embedding {}. ' 'Valid pre-trained file names for embedding {}: {}'.format( - source, file_name, embedding_name, embedding_name, + source, embedding_name, embedding_name, ', '.join(cls.source_file_hash.keys()))) @staticmethod @@ -675,7 +669,7 @@ class GloVe(TokenEmbedding): """ # Map a pre-trained token embedding file and its SHA-1 hash. - source_file_hash = C.GLOVE_PRETRAINED_NPZ_SHA1 + source_file_hash = C.GLOVE_NPZ_SHA1 def __init__(self, source='glove.6B.50d', embedding_root=os.path.join('~', '.mxnet', 'embedding'), @@ -688,10 +682,6 @@ def __init__(self, source='glove.6B.50d', self._load_embedding(pretrained_file_path, elem_delim=' ', init_unknown_vec=init_unknown_vec) - @classmethod - def _get_file_name(cls, source): - return source + '.npz' - @register class FastText(TokenEmbedding): @@ -767,7 +757,3 @@ def __init__(self, source='wiki.simple', self._load_embedding(pretrained_file_path, elem_delim=' ', init_unknown_vec=init_unknown_vec) - - @classmethod - def _get_file_name(cls, source): - return source + '.npz' diff --git a/tests/unittest/test_vocab_embed.py b/tests/unittest/test_vocab_embed.py index 646dc988fa..9224b67e46 100644 --- a/tests/unittest/test_vocab_embed.py +++ b/tests/unittest/test_vocab_embed.py @@ -725,11 +725,12 @@ def test_download_embed(): class Test(nlp.embedding.TokenEmbedding): # 33 bytes. source_file_hash = \ - {'embedding_test.vec': '29b9a6511cf4b5aae293c44a9ec1365b74f2a2f8'} + {'embedding_test': ('embedding_test.vec', + '29b9a6511cf4b5aae293c44a9ec1365b74f2a2f8')} namespace = 'test' def __init__(self, embedding_root='embedding', init_unknown_vec=nd.zeros, **kwargs): - source = 'embedding_test.vec' + source = 'embedding_test' Test._check_source(source) super(Test, self).__init__(**kwargs) @@ -802,11 +803,12 @@ def test_token_embedding_serialization(tmpdir): class Test(nlp.embedding.TokenEmbedding): # 33 bytes. source_file_hash = \ - {'embedding_test.vec': '29b9a6511cf4b5aae293c44a9ec1365b74f2a2f8'} + {'embedding_test': ('embedding_test.vec', + '29b9a6511cf4b5aae293c44a9ec1365b74f2a2f8')} namespace = 'test' def __init__(self, embedding_root='embedding', init_unknown_vec=nd.zeros, **kwargs): - source = 'embedding_test.vec' + source = 'embedding_test' Test._check_source(source) super(Test, self).__init__(**kwargs)