sklearn.feature_extraction.text.TfidfVectorizer函数解析
1. TfidfVectorizer
这个函数的输入是分词后的列表，输出是tfidf的矩阵。
其实这个函数是以下CountVectorizer和TfidfTransformer的组合：
vectorizer = CountVectorizer(min_df=1e-5) # drop df < 1e-5,去低频词
X = vectorizer.fit_transform(corpus_set)
transformer = TfidfTransformer()
tfidf = transformer.fit_transform(X)
2. TfidfVectorizer.build_tokenizer()
TfidfVectorizer中的这个函数可以返回token。
token和原始输入略有区别，如下图所示，token里没有了标点符号，以及一些单个的字。
这是 因为里边内置了一个参数：token_pattern，默认会只选择2个及以上的字母或者数字。