多算法综合的文本挖掘系统
向AI转型的程序员都关注了这个号????????????
机器学习AI算法工程 公众号: datayx
系统说明
集成了文本过滤、去重及邮件实时通知的功能
集成了文本关键词提取的功能
集成了文本分类即打标签的功能
集成了文本推荐即热点评价的功能
支持中英文
本文完整源码 获取方式:
关注微信公众号 datayx 然后回复 文本挖掘 即可获取。
系统架构图
关于配置
config文件:
可以进行服务器配置,针对数据库中制订collection的不同字段column
可以限定操作数据库条目的数量,默认时间从最近往前推
可以选择语言(中文,英文)
可以设置分类特征词词典的维度
可以设置是否接收邮件通知
可以设置版本加速,如果加速分类,此时会将文本特征词和分类模型固定化!因此,如果要测试分类特征词词典的维度、分类器的特征和算法,需要取消加速。
程序文件:
可以更改特征词典的生成,通过该词的词频数或者包含该词的文档频率
可以更改文本过滤及去重算法
可以更改关键词提取算法,可选基于特征词提取、基于Tf提取、基于IDf提取、基于TfIDf提取,可以更改前K个关键词筛选方法
可以更改训练集和测试集的特征生成,基于特征词,可选Bool特征、Tf特征、IDf特征(无区分)、TfIDf特征,可以选择进行特征选择或降维
可以更改文本分类算法,可选SVC、LinearSVC、MultinomialNB、LogisticRegression、KNeighborsClassifier、DecisionTreeClassifier,可以更改算法调参寻优的方法
可以更改文本推荐算法
阅读过本文的人还看了以下:
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
长按图片,识别二维码,点关注