Pytorch广播机制与matmul函数
1.pytorch的广播机制与numpy类似,当两个tensor逐元素相乘时(两个tensor的size必须相同),会遇到前后tensor的size不同,此时便需要广播机制了。
广播机制条件:其中任意一个tensor必须至少有一个维度要么相等,从两个tensor的size末尾开始比较,要么其中一个为1,要么其中一个不存在,满足其一即可。
如:
在pytorch中,*表示逐元素相乘,而@是矩阵乘积,但是对于高维tensor,@不再适用,尤其是对于size大小还不同的两个张量,pytorch还有一个函数:mulmat()multiple matrix
考虑下面两个tensor:
a.size = [batch_size,1,1000,8,1]
b.size = [10,1000,16,8]
mulmat(a,b).size = [batch_size,10,1000,16,1]
对于要相乘的2个tensor前面类似于广播机制,后面[8,1]和[16,8]符合矩阵相乘规则,其他维度按照广播机制填充。
这可能是mulmat的用法。
例子源于用pytorch搭建CapsuleNet