第八周周报
第八周周报
这次参加了一个新的数据挖掘比赛，企业非法集资风险预测，与新手赛相比，本次比赛的难度更大一些。
数据处理
本次比赛中，我起初按照上一次比赛贷款违约预测中的相关经验，直接将所有的表合并到一起，然后进行数据转化，将非数值型数据转化为数值型，填充缺失值，精简一些属性，然后采用lightgbm模型进行训练，但是训练结果提交却出错，我经过观察发现，是因为本次比赛中出现了贷款违约预测中不存在的情况，即主键对应的数据，出现重复项，因此，我转而首先分别处理各个不同的表。
-
news_info中，分别对每个id的正面，负面，中立的信息进行统计。 -
other_info.csv中存在矛盾值，去除掉不合理的矛盾值 -
change_info.csv，我进行特征提取，不记载变更的代码，相反，统计不同公司变更的次数 -
base_info.csv中，进行特征的删除与填充
建模训练
我采用的是我比较熟悉的lightgbm模型，初步训练并输出了一个结果，更进一步的调参优化在之后完成