多算法综合的文本挖掘系统

多算法综合的文本挖掘系统

向AI转型的程序员都关注了这个号????????????

机器学习AI算法工程  公众号: datayx

系统说明

  • 集成了文本过滤、去重邮件实时通知的功能

  • 集成了文本关键词提取的功能

  • 集成了文本分类打标签的功能

  • 集成了文本推荐热点评价的功能

  • 支持中英文

本文完整源码 获取方式:

关注微信公众号 datayx  然后回复 文本挖掘 即可获取。

    

系统架构图

多算法综合的文本挖掘系统

多算法综合的文本挖掘系统

关于配置

config文件:

  • 可以进行服务器配置,针对数据库中制订collection的不同字段column

  • 可以限定操作数据库条目的数量,默认时间从最近往前推

  • 可以选择语言(中文,英文)

  • 可以设置分类特征词词典的维度

  • 可以设置是否接收邮件通知

  • 可以设置版本加速,如果加速分类,此时会将文本特征词和分类模型固定化!因此,如果要测试分类特征词词典的维度、分类器的特征和算法,需要取消加速。

程序文件:

  • 可以更改特征词典的生成,通过该词的词频数或者包含该词的文档频率

  • 可以更改文本过滤及去重算法

  • 可以更改关键词提取算法,可选基于特征词提取、基于Tf提取、基于IDf提取、基于TfIDf提取,可以更改前K个关键词筛选方法

  • 可以更改训练集和测试集的特征生成,基于特征词,可选Bool特征、Tf特征、IDf特征(无区分)、TfIDf特征,可以选择进行特征选择或降维

  • 可以更改文本分类算法,可选SVC、LinearSVC、MultinomialNB、LogisticRegression、KNeighborsClassifier、DecisionTreeClassifier,可以更改算法调参寻优的方法

  • 可以更改文本推荐算法


阅读过本文的人还看了以下:

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加: datayx  

多算法综合的文本挖掘系统

长按图片,识别二维码,点关注

多算法综合的文本挖掘系统