自然语言处理(NLP)资源库及代码汇总

本文收集了大量深度学习项目图像自然语言处理领域的代码链接。包括NLP基础教程,打造聊天机器人,语音识别等等方向的代码,所有代码均按照所属技术领域建立索引,便于查阅使用。

第一部分:基础课程

1、以NLP为主题的教程:Deep Learning For NLP in Pytorch

简介:一套以 NLP 为主题的 PyTorch 基础教程。本教程使用Ipython Notebook编写,看起来很直观,方便学习。

GitHub库:https://github.com/rguthrie3/DeepLearningForNLPInPytorch

2、从RNN出发的NLP教程:Practial Pytorch with Topic RNN & NLP

简介:以 RNN for NLP 为出发点的 PyTorch 基础教程,分为“RNNs for NLP”和“RNNs for timeseries data”两个部分。

GitHub库:https://github.com/spro/practical-pytorch

3、资源集合:Deep Learning for NLP resources

简介:一套以NLP为主题的资源集合,其中包括了大量NLP相关的文章、博客。

GitHub库:https://github.com/andrewt3000/DL4NLP

4NLP解决方案集合:Solving NLP tasks using Deep Learning

简介:一些使用深度学习解决自然语言处理问题的集合,内容包主体识别、文本理解、机器翻译等,有相当的参考价值

GitHub库:https://github.com/zhuruihe/Deep-Learning-for-NLP-Resources#solving-nlp-tasks-using-deep-learning

5、oxford-cs-deepnlp-2017(大数据文摘翻译)

https://github.com/oxford-cs-deepnlp-2017

http://www.xiniuedu.com/   犀牛学院

第二部分:工具

1、清华大学NLP实验室GitHub小站

简介:著名的清华大学NLP实验室的GitHub站点,其中有知识图谱TransX的模型实现,一些必读的NLP Paper资源,以及一些中文语言处理的工具。

GitHub库:https://github.com/thunlp

2、复旦大学NLP实验室GitHub小站

简介:著名的福大大学NLP实验室的GitHub站点,其中提供了一套用于中文语言处理的工具,以及一个2016年微博分词的数据集。

GitHub库:https://github.com/xpqiu

3、中科院Kaggle全球文本匹配获奖项目

简介:16-中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程。

GitHub库:https://github.com/HouJP/kaggle-quora-question-pairs/

4、汉语处理工具包:Han Language Processing

简介:HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

GitHub库:https://github.com/hankcs/HanLP

5Ansj中文分词

简介:ansj分词.ict的真正java实现.分词效果速度都超过开源版的ict. 中文分词,人名识别,词性标注,用户自定义词典

GitHub库:https://github.com/NLPchina/ansj_seg

6、语句相似度计算:FuzzyWuzzy

简介:可以在多种尺度上比较两句话的相似度,比如fuzz.ratio("this is a test", "this is a test!") output:97。

GitHub库:https://github.com/seatgeek/fuzzywuzzy

第三部分:机器翻译

1、基于PyTorch的机器翻译系统:PyOpenNMT

简介:一套由PyTorch实现的机器翻译系统。

GitHub库:https://github.com/OpenNMT/OpenNMT-py

2、谷歌的注意力机制模型:Attention is all you need

简介:Google Research 著名论文《Attention is all you need》的PyTorch实现。

GitHub库:https://github.com/jadore801120/attention-is-all-you-need-pytorch

3、可复用Seq2Seq模型:Sequence to Sequence Learning with Keras

简介:一套可以结合到自己网络中的Seq2Seq模型,使用起来非常灵活,可以直接使用,也可以集成在自己的网络中,且有多级别的Seq2Seq模型可以选择使用。

GitHub库:https://github.com/farizrahman4u/seq2seq

4、机器翻译中的自动对齐方法

简介:不同于传统的统计机器翻译系统,神经机器翻译完全采用大规模的神经网络模型。而大多数神经机器翻译方法均采用encoder-decoder模式,将源文本编码成固定长度的向量化表示。问题是随着句子长度增长,基于此模式的翻译性能大幅度恶化。为避免此问题,本方法在encoder-decoder模式中融入一种自动对齐策略。相关论文:《Neural Machine Translation by Jointly Learning to Align and Translate》。

GitHub库:https://github.com/nyu-dl/dl4mt-tutorial/blob/master/session2/nmt.py

第四部分:可交谈机器人

1、维基百科问答机器人:DrQA

简介:一个基于维基百科的开放域问题问答系统

GitHub库:https://github.com/facebookresearch/DrQA#drqa

2、剑桥的餐厅推荐机器人:NNDIAL

简介:剑桥大学机器对话系统小组的成果,可以用自然语言与人交流,从而根据用户的需求推荐相应的餐厅。从网上的评价来看,这个聊天机器人的构架以及训练方法和数据集都是非常靠谱的,是目的服务型聊天机器人的典型范例。项目论文:《A network-based end-to-end trainable task-oriented dialogue system》,集智AI学园“打造自己的聊天机器人”课程,第3节课是对这个系统的详细解析。

GitHub库:https://github.com/shawnwun/NNDIAL#nndial

3、一个中文聊天机器人:chatbot-zh-torch7

简介:一个开放领域的聊天机器人,使用中文训练。

GitHub库:https://github.com/majoressense/chatbot-zh-torch7

4、一个英文聊天机器人:Deep Q&A

简介:一个基于论文《A neural conversational model》实现的聊天机器人,在GitHub上挺有名的。

GitHub库:https://github.com/Conchylicultor/DeepQA

5、脸书的谈判机器人:Deal or No Deal?

简介:Facebook AI Research 论文《Deal or No Deal? End-to-End Learning for Negotiation Dialogues》的 PyTorch 实现。开放了数据集,支持使用自然语言与人谈判,还支持以强化学习的方式自我学习。

GitHub库:https://github.com/facebookresearch/end-to-end-negotiator

6、可推理问答机器人:memnn

简介:memnn的一个官方实现。可以根据文字描述,针对描述中的实体进行推理问答。

GitHub库:https://github.com/facebook/MemNN

7、用端到端的记忆做QAEnd-To-End Memory Networks

简介:类似于《Memory Networks》的工作,采用Recurrent attention model + large external memory,然而本工作采用一种End-to-end模式进行训练,无需知道背景信息中哪些是支撑事实。更适用于实际场景。采用一种神经机器翻译策略的扩展方法。该模型可灵活地解决QA问题(对比Memory Networks)及语言建模问题(对比RNN和LSTM)。

GitHub库:https://github.com/npow/MemN2N

8、建立在人工数据集上的问答系统:bAbI tasks

简介:Facebook Research 认为QA系统应该先在人造数据集上取得突破性进展才能比较好的应用于开放域非人造数据集中。当现实数据不够大时,研究方法通常会设计较为复杂的方法并陷入局部收敛问题中,而设计一种人造数据是避免此问题一种比较好的途径。传统的对话是很难评估的,这是AI的长远问题,而问答系统中对问题的响应是比较容易评估的。传统的QA方法是基于大规模知识库,并采用人工构造模版及特征。对之前的MemNNs的一些问题进行改进。

GitHub库:https://github.com/facebook/bAbI-tasks

9、问我啥都行:Dynamic Memory Networks for NLP

简介:提出了一个Dynamic Memory Network,

Input:所有evidence句子作为sequence过GRU,有几个句子就生成几个hidden state;

Question:一句话,过GRU;Episode: 以question output作为初始化,每次(共TM[Math Processing Error]次)过一轮GRU;Answer:用mTM[Math Processing Error]作为初始化,根据具体情况决定输出y1...yn[Math Processing Error]还是yn[Math Processing Error]。

GitHub库:https://github.com/swstarlab/DynamicMemoryNetworks

10、基于强化学习的聊天机器人:KB-InfoBot

简介:论文《Towards End-to-End Reinforcement Learning of Dialogue Agents for Information Access》的代码实现。

GitHub库:https://github.com/MiuLab/KB-InfoBot

第五部分:参考资料

参考网址1:https://zhuanlan.zhihu.com/p/28616862

参考资料2:http://mp.weixin.qq.com/s/HUXzRKmMy9F0PHcPGjXzIg

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: