Python：Joblib中的并行处理使代码运行速度更慢

Question

我想集成并行处理以使我的for循环运行得更快。

但是，我注意到它只是让我的代码运行得更慢。请参阅下面的示例，其中我使用joblib，并在随机整数列表上使用了简单函数。请注意，没有的并行处理运行速度快于和。

任何有关正在发生的事情的见解？

def f(x): 
    return x**x 

if __name__ == '__main__': 
    s = [random.randint(0, 100) for _ in range(0, 10000)] 


    # without parallel processing 
    t0 = time.time() 
    out1 = [f(x) for x in s] 
    t1 = time.time() 
    print("without parallel processing: ", t1 - t0) 

    # with parallel processing 
    t0 = time.time() 
    out2 = Parallel(n_jobs=8, batch_size=len(s), backend="threading")(delayed(f)(x) for x in s) 
    t1 = time.time() 
    print("with parallel processing: ", t1 - t0) 

我得到以下输出：

without parallel processing: 0.0070569515228271484 
with parallel processing:  0.10714387893676758 

Answer 1

参数batch_size=len(s)有效说给每一个进程一批的工作之一。这意味着您创建8个线程，但是将所有工作负载分配给1个线程。

此外，您可能还想增加工作量以获得可测量的优势。我更喜欢使用time.sleep延迟：

def f(x): 
    time.sleep(0.001) 
    return x**x 

out2 = Parallel(n_jobs=8, 
       #batch_size=len(s), 
       backend="threading")(delayed(f)(x) for x in s) 

无并行处理：11.562264442443848

与并行处理：1.412865400314331