删除列表中的重复项的最快方法Python

Question

我有两个非常大的列表，并通过它循环一次至少需要一秒钟，我需要做到200,000次。删除两个列表中的重复项以形成重复项的最快方法是什么？

Answer 1

这是我能想到的最快方法：

import itertools 
output_list = list(set(itertools.chain(first_list, second_list))) 

轻微更新：作为jcd指出，根据您的应用程序，你可能并不需要将结果转换回列表。由于一组是由本身迭代，你也许可以只直接使用它：

output_set = set(itertools.chain(first_list, second_list)) 
for item in output_set: 
    # do something 

要小心的是，涉及使用set()可能会重新排序列表中的元素，所以没有保证元素的任何解决方案将以任何特定的顺序。这就是说，既然你把两个列表结合在一起，很难想出一个很好的理由说明为什么你需要对它们进行特定的排序，所以这可能不是你需要担心的。

Answer 2

result = list(set(list1).union(set(list2))) 

这就是我该怎么做的。尽管如此，我对演出不太确定，但肯定比手动演奏更好。

Answer 3

由于丹尼尔指出，一组不能包含重复的条目 - 所以串连名单：

list1 + list2 

新的名单，然后转换为一组：

set(list1 + list2) 

然后回到列表：

list(set(list1 + list2)) 

Answer 4

我推荐这样的：

def combine_lists(list1, list2): 
    s = set(list1) 
    s.update(list2) 
    return list(s) 

这消除了创建头两个连接的怪物列表的问题。

根据你在输出中做什么，不要费心地转换回列表。如果订购是重要的，你可能需要某种装饰/排序/ undecorate shenanig围绕此。