达观杯文本智能处理挑战赛练习-数据初识

数据说明

官网提供的数据包含两个csv文件：train_set.csv、test_set.csv

train_set.csv

此数据集用于训练模型，每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列：
第一列是文章的索引(id)，
第二列是文章正文在“字”级别上的表示，即字符相隔正文(article)；
第三列是在“词”级别上的表示，即词语相隔正文(word_seg)；
第四列是这篇文章的标注(class)。

注：每一个数字对应一个“字”，或“词”，或“标点符号”。“字”的编号与“词”的编号是独立的！

test_set.csv

此数据用于测试。数据格式同train_set.csv，但不包含class。

注：test_set与train_test中文章id的编号是独立的。

任务：

将训练集拆分为训练集和验证集
由于每个文件的文件的数据量超过一万条，为了防止电脑爆掉，就之调取前5000行

读取数据

import pandas as pd
from sklearn.model_selection import train_test_split
//读取数据
train=pd.read_csv("train_set.csv",nrows=5000)
//查看前10行
train.head(10)

描述数据

print(train['class'].describe())

查看种类

print(train['class'].value_counts())

5000条数据的文本共分为19类

将训练集按9：1拆分为训练集和验证集

x= train.drop(['class'],axis=1)
y=train['class']
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.1,random_state=0)
print(len(x_train))
##4500
print(len(y_test))
##500