Paddle demo中文数据集

[reyoung]

Related #176

为了更好的做Paddle的demo、教程，需要有中文的数据集。数据集的获取方法可以是自己标注，也可以是找公开的数据集。

可能的中文数据集有：

• 中文的情感分类数据
  • 判断某一句话的情感倾向。比如 正向/这个显示器的显示效果真好。
• 中文的问答数据
  • 比如 问: 刘德华的妻子是谁? 答: 朱丽倩
• 中文的对话数据
• 中文的看图说话数据
  • 给出一张图片，给出描述。
  • 这个数据集似乎我们公开过一个，可以直接拿来用。

[llxxxll]

uci数据集：http://archive.ics.uci.edu/ml/index.html
kaggle平台数据集：https://www.kaggle.com/datasets

@beckett1124 贡献的两个数据集参考

[llxxxll]

Image classification
ImageNet: http://image-net.org/challenges/LSVRC/2016/
CIFAR-10 and CIFAR-100: https://www.cs.toronto.edu/~kriz/cifar.html
MNIST: http://yann.lecun.com/exdb/mnist/
SVHN: http://ufldl.stanford.edu/housenumbers/
CUB-200: http://www.vision.caltech.edu/visipedia/CUB-200.html

Object detection:
ImageNet: http://image-net.org/challenges/LSVRC/2016/
PASCAL VOC: http://host.robots.ox.ac.uk/pascal/VOC/
KITTI: http://www.cvlibs.net/datasets/kitti/
MS-COCO: http://mscoco.org/dataset/

Segmentation:
ImageNet: http://image-net.org/challenges/LSVRC/2016/
PASCAL VOC: http://host.robots.ox.ac.uk/pascal/VOC/
KITTI: http://www.cvlibs.net/datasets/kitti/
MS-COCO: http://mscoco.org/dataset/
Cityscapes: https://www.cityscapes-dataset.com/
PASCAL-Part: http://www.stat.ucla.edu/~xianjie.chen/pascal_part_dataset/pascal_part.html
PASCAL-Context: http://www.cs.stanford.edu/~roozbeh/pascal-context/
CamVid: http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/

Image caption
MS-COCO: http://mscoco.org/dataset/
Flickr 8K: http://nlp.cs.illinois.edu/HockenmaierGroup/Framing_Image_Description/KCCA.html
Flickr 30k: http://shannon.cs.illinois.edu/DenotationGraph/
IAPR TC-12: http://imageclef.org/photodata

Question answering
DAQUAR: http://www.cs.toronto.edu/~mren/imageqa/results/
COCO-QA: http://www.cs.toronto.edu/~mren/imageqa/data/cocoqa/
Visual Genome: https://visualgenome.org/

Saliency:
MIT300: http://saliency.mit.edu/results_mit300.html
CAT2000: http://saliency.mit.edu/results_cat2000.html
MSRA10K: http://mmcheng.net/msra10k/
ECSSD: http://www.cse.cuhk.edu.hk/leojia/projects/hsaliency/dataset.html

Video summarization
SumMe: https://people.ee.ethz.ch/~gyglim/vsum/#benchmark
TVSum: https://github.com/yalesong/tvsum

@hohdiy 贡献的数据集参考

[pengli09]

中文完形填空数据集：https://github.com/ymcui/Chinese-RC-Dataset

[Zrachel]

上面@reyoung提的：中文的看图说话数据，是没有中文数据的；但看图问话是有的，见http://idl.baidu.com/FM-IQA.html

此外还需要
中文语音识别corpus（THCHS-30 : A Free Chinese Speech Corpus貌似可用，待调研）
中文语料库（类似 1 Billion Word Language Model Benchmark）
中英翻译（类似WMT）
中文序列标注（类似CoNLL-2005＆2012）

[luotao1]

@llxxxll 在 @Zrachel 的回复中已经提到需要中英翻译的数据集了。wmt法英翻译数据集，主要以新闻语料为主，其中训练样本集有超过1200万条的平行语料。同时，根据 @lcy-seso 的经验，中英翻译如果少于100万条的平行语料，很难训练出一个比较好的模型。

[livc]

THUOCL：清华大学开放中文词库 近日开源，供参考。

[pengli09]

如果类似THUOCL这种语料能用的话，那http://thunlp.org/site2/index.php/en/resources 这里还有几个

[livc]

发现一个古诗的数据集。

最全中华古诗数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗.
https://github.com/jackeyGao/chinese-poetry

[JiayiFeng]

Close this inactivate issue, please feel free to reopen.