在散装物品中发现抄袭

Question

我有20,000本硕士文章集，我每天会得到约400,000篇一两页的文章。现在，我试图看看这400k篇文章中的每篇文章是否是我收集的主要文章的副本或修改版本（60％以上的剽窃阈值对我来说都不错） 我应该使用哪些算法和技术以非常有效和及时的方式解决问题。 谢谢

Answer 1

指纹的文章（即智能散列他们基于词的频率），然后寻找指纹之间的统计连接。然后，如果对某些数据集有预感，请对这些数据集上的匹配字符串进行蛮力搜索。