NLP实践七：TextCNN原理与代码实践

TextCNN原理

TextCNN是一种应用于文本分类的卷积神经网络，由Yoon Kim 在Convolutional Neural Networks for Sentence Classification 一文中提出。

extCNN的网络结构如图所示，由词嵌入层，卷积层，最大池化层和全连接层组成。
词嵌入层：假设输入是n词的句子，词嵌入维度为d，通过使用预训练好的词向量，词嵌入层的映射将其映射为n×d的二维矩阵。
卷积层：词嵌入层的输出输入到具有多种不同卷积核的卷积层做卷积。卷积的具体过程如下图所示，卷积核的参数为k×d×m，k代表卷积核的长度，图二中k∈[1,2,3]（实际我的代码中设置为1,2,3,4,5）；d代表卷积核的宽度，与词嵌入维度相同；m代表卷积核的个数。红色的横框就是所谓的卷积核，红色的竖框是卷积后的结果。图中上下方向是文本的序列方向，卷积核只能沿着“上下”方向移动，步长为1。如一个卷积核kernel的大小为2×d，则卷积后得到的结果是|n-2+1|×1的一个向量，m个卷积核生成|n-2+1|×m的二维矩阵。有3种不同尺度的卷积核，则会生成3个不同大小的二维矩阵，分别是n×m，|n-1|×m，|n-2|×m。

最大池化层：卷积层输出的3个不同大小的二维矩阵，经过最大池化层后为三个1×m的向量，拼接在一块，得到最终的3m×1的向量。
全连接层：将最大池化层输出的一维向量进行分类判断。

Pytoch代码实现TextCNN文本分类

使用wordembeddings来实现，数据集为ThuCnews
数据预处理代码在NLP实践二：分词的基本概念与生成词向量矩阵
训练函数定义与数据加载代码在NLP实践六：Fasttext实现文本分类

模型定义

class TextCNN(nn.Module):

    def __init__(self,kernel_num,kernel_size,word_embeddings):
        super(TextCNN, self).__init__()



        self.embed_size=200

        self.stride = 1
        self.kernel_size = kernel_size
        self.kernel_num = kernel_num

        self.embed_dropout = 0.1
        self.fc_dropout = 0.1

        self.embeddings = nn.Embedding(len(word_embeddings),self.embed_size)
        self.embeddings.weight.data.copy_(torch.from_numpy(word_embeddings))
        self.embeddings.weight.requires_grad = False
        self.label_num=10

        self.convs = nn.ModuleList(
            [nn.Conv2d(1, self.kernel_num, (K, self.embed_size), stride=self.stride, padding=(K // 2, 0)) for K in
             self.kernel_size])

        in_fea = len(self.kernel_size) * self.kernel_num

        self.linear1 = nn.Linear(in_fea, in_fea // 2)
        self.linear2 = nn.Linear(in_fea // 2, self.label_num)

        self.embed_dropout = nn.Dropout(self.embed_dropout)
        self.fc_dropout = nn.Dropout(self.fc_dropout)
        self.softmax = nn.Softmax()
    def forward(self, input):
        out = self.embeddings(input)
        out = self.embed_dropout(out)
        out = torch.tanh(out)
        l = []
        out = out.unsqueeze(1)
        for conv in self.convs:
            l.append(torch.tanh(conv(out)).squeeze(3))
        out = l
        l = []
        for i in out:
            l.append(F.max_pool1d(i, kernel_size=i.size(2)).squeeze(2))
        out = torch.cat(l, 1)
        out = self.fc_dropout(out)
        out = self.linear1(F.relu(out))
        out = self.linear2(F.relu(out))
        return self.softmax(out)

训练

import os
os.environ['CUDA_VISIBLE_DEVICES']='0'
t.cuda.set_device(0)
kernel_num=50
kernel_size=[1,2,3,4,5]
TextCNNmodel = TextCNN(kernel_num,kernel_size,embed_weight,)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad, TextCNNmodel.parameters()), lr=0.001)
train(train_loader, val_loader,
         TextCNNmodel, 'cuda',
         criterion, optimizer,  
         num_epochs=20)