如何分析非结构化文本?

如何分析非结构化文本?

问题描述:

我使用TF-IDF来影响可以帮助我构建字典的重量。但我的模型不够好,因为我有非结构化文本。如何分析非结构化文本?

有关TF-IDF类似算法的任何建议?

当你说,你的模型不够好,这是否意味着你生成的字典不够好?使用TF-IDF权重提取关键词并构建词典实际上是特征选择步骤。

要为您的模型提取或选择特征,您可以遵循其他方法,如主成分分析,潜在语义分析等。机器学习中的很多其他特征选择技术也可能有用!

但是我真的相信情感分类任务,TF-IDF应该是构建字典的一个很好的方法。我建议您在训练时调整模型参数,而不要责怪特征选择方法。

有许多深度学习技巧,以及适用于您的目标任务。