达观杯数据竞赛 01

比赛地址

这是一个NLP类型的数据比赛,小白一个,初步了解

学习目标:

1. 下载数据,读取数据,观察数据

2. 将训练集拆分为训练集和验证集。要求:数据3-7分,随机种子2019

3. 分享自己对数据以及赛题的理解和发现

 首先导入读取数据和分割数据所需要用的Python包

import pandas as pd
from sklearn.model_selection import train_test_split

数据分为两个部分,一个训练集文件,一个测试集文件,分别读取

#读取训练集数据
data1 = pd.read_csv('train_set.csv')
data1.head()

达观杯数据竞赛 01

 

#读取测试集数据
data2 = pd.read_csv('test_set.csv')
data2.head()

达观杯数据竞赛 01

 完成数据集的划分

#训练样本特征集
data1_train_data = data1[['id','article','word_seg']]
#训练样本标签
data1_train_target = data1['class']

x_train,x_test,y_train,y_test = train_test_split(data1_train_data,data1_train_target,test_size = 0.3,random_state = 2019)