使用特定网域后缀检索网站

Question

我有兴趣找到尽可能多的具有我感兴趣的域名后缀的域名，例如：“.com”，“.net”，“.org”，等

我试图抓取谷歌，但它明显不合法，很难做到。

是否存在与域名大的列表？如果没有，我如何才能使抓取工具尽可能找到以给定域名后缀结尾的域名？

Answer 1

CommonCrawl最近宣布发布[排名的主机列表] [2]（总共385M），您可以通过域名后缀进行过滤。