Tensorflow 文本分类-Python深度学习文本分类是一项为给定的文本片段分配合

Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。

Tensorflow 文本分类主要讲什么？

文本分类是一项为给定的文本片段分配合理的标签的任务。文本可以是一个短语、一个句子甚至一个段落。我们的目的是用一些文本作为输入，然后为输入打上标签。因为我们将用Tensorfow深度学习库，所以我们可以把这项文本分类任务叫作Tensorflow文本分类系统。看起来很简单不是吗～额，其实没那么简单。

分类任务涉及到训练一个包含有大量文本片段及其表达内容（标签）数据集的神经网络。我相信你们一定听过这个术语“情感分析”。我们将情感分析与文本分类任务相结合进行文本情感分析，这仅限于识别一个人说了什么。比如“这食物真实太棒啦！”这句话表达了积极的情感，相反，“这电影太差啦！”这句话表达了消极的情感；然而“太阳从东方升起”这句话蕴含的是中性情感

对于情感分析而言，标签一般包含积极、消极、中性三类。但是这只是文本分类的一项应用。如果你在构建其他像聊天机器人一样的的应用或者一个文档解析算法，你可能想要清楚每个特定的句子属于什么类别。比如：“您好”“您好吗？”可以被打上“打招呼”的类标签，“很高兴见到你”可以被打上“告别”类标签

你将要学什么？

你可以构建一个文本分类器来对一个给定的句子分类，打上为分类器训练的多个标签之一。在这个教程中，我们就要完成这个任务。我们将详细介绍你如何根据分类或标签构建一个自己的文本分类器。

Tensorflow文本分类这个文章将会被分为几节来展示。首先是文本数据预处理和生成并使用“词袋”技术，接下来讲述训练文本分类器，最后讲解测试和应用分类器。

开始之前先看一下NLP领域的一些术语

自然语言处理在文本分类任务中被大量使用。所以，动手之前，我先讲一些我们会用到的相关术语和概念。这将会帮助你搞明白为什么调用一个特定的函数或进程，或者至少你能帮你弄清楚你可能会有的一些疑惑。

1.词干提取--词干提取是应用于提取单个词语词根的过程。一个句子中的很多词语经常被提取出来。为了标准化我们的过程，我们提取出这样的词语并且全部转换为词语的词根。比如，一个提取器将会把“walking”,"walked","walker"全部转换为“walk”

2.词语切分--Token基本上是单词。词语切分是一个将输入的文本片段进行处理，输入其中所有的单个词语。比如对于句子“Python NLP is just going great”来说，我们将得到一个token列表 [ “Python”, “NLP”, ?s”, “just”, “going”, “great”].你可以看到，词语切分就是把文本分解为词语。

3.词袋--在文本处理领域的词袋（BOW）模型是一个具有元素唯一性单词列表的过程。这个模型被用作特征生成。举例如下：看如下两个句子：

1.Star Wars is better than Star Trek.

2.Star Trek isn’t as good as Star Wars.

对于这两个句子，BOW是[“Star”, “Wars”, “Trek”, “better”, “good”, “isn’t”, “is”, “as”]。每个单词的位置因此也是固定的。那么，为了构建从一个句子进行分类的特征，我们使用二态数组（二态数组是指数组的每个元素只能是0或者1）

比如，一个新的句子“Wars is good”会被表示为[0,1,0,0,1,0,1,0]。如你所见，词袋数组中第二个位置处的值设置为1，因为在位置2处的单词是“wars”,同时“wars”也出现在样本句子中。同样，"is","good"也是一样的道理。你可以在下面这个链接读一读更多关于BOW模型的知识：http://ongspxm.github.io/blog/2014/12/bag-of-words-natural-language-processing/

注意：以下代码只用于展示大体过程，代码并不完整。想得到完整可用的代码，可以到我的Github仓库获取（链接在文末）

第一步：准备数据

我们在训练一个能够将给定的文本进行分类的模型前，首先要做的是准备数据。我们可以创建一个包含有训练所需数据的简单JSON文件。

以下是我创建的一个包含五个类别的简单示例。你可以自己创建任意数量的类别。