大数据计算中经常会遇到矩阵乘法计算问题,所以Mapreduce实现矩阵乘法是重要的基础知识,下文我尽量用通俗的语言描述该算法。
1.首先回顾矩阵乘法基础
矩阵A和B可以相乘的前提是,A的列数和B的行数相同,因为乘法结果的矩阵C中每一个元素Cij,是A的第i行和B的第j列做点积运算的结果,参见下图:
2.进入正题
在了解了矩阵乘法规则后,我们打算采用分布式计算模型Mapreduce来完成这一过程。
MR过程是在Hadoop集群的多台机器上同时进行的,所以能MR化的计算必须是没有前后关系、相互独立的过程。通过分析上述矩阵乘法过程我们可以发现,其实C矩阵的每一个元素的计算过程都是相互独立的,比如C11和C21的计算不会相互影响,可以同时进行。
所以,我们的目标就转变为:通过MR计算每一个C矩阵元素Cij。
针对以上目标我们进一步分析,Cij其实就是A矩阵的第i行和B矩阵的第j列的点积,所以我们只要能最终将参与计算Cij的所有元素(A矩阵的第i行和B矩阵的第j列)都归到一组来参与计算就能算出Cij。这个所谓的“归到一组”,结合MR模型和矩阵乘法规则,其实就是Map将这些元素输出为相同的Key---C矩阵中元素的坐标,然后通过Shuffle就能把所有相同Key的元素输入到Reduce中,由Reduce来进行点积运算,得出该C元素最终的值。
OK,上面的思路都看明白后,我们回到输入数据,即A和B两个矩阵,我们只需要将矩阵中的每个元素处理一下(该过程需要在Map中进行),根据每一个元素即将参与哪些Cij的计算,为每一个元素打上(i,j)坐标即可,这样最终这些元素就会被shuffle到目标Cij的计算数据源分组中。
具体举例,A12,会参与到C11,C12的计算中;B22会参与到C12,C22的计算中。所以,我们从A和B的元素坐标,就完全可以得知它们即将参与计算的C元素的坐标。注意,这里是一对多的,每个A或者B的元素都会参与多个C元素的计算,如果不明白请再看第一遍矩阵乘法规则。
通过以上的分析,对于一个i行j列的A矩阵,和j行k列的B矩阵乘法:
我们将每个Aij元素处理为如下格式:
key=i,n(n=1,2,3...k) value='a','j',aij
我们将每个Bjk处理为如下格式:
key= m,k(m=1,2,3...i) value='b',
上面这个格式可能很多人看得痛苦,我就再唠叨两句,拿A12来举例,参见下图:
A12最终会参与C11,C12的计算,所以我们处理A12时需将其处理为两个{key,value}对:
{(1,1),('a' , 2 , 2)} /* (1,1)是A12将参与计算的C11的坐标;'a'代表该数据来自A矩阵,因为A和B需要相乘,所以需要做一个标志位;头一个2代表这是计算C11时对应A向量的坐标,因为要知道A向量的第几个元素和B向量的第几个元素相乘;最后一个2就是当前元素的值 */
{(1,2),('a' , 2 , 2)} /* 参考以上描述 */
这么解释都看不懂,就自己面壁去哈!
OK,Map过程结束,所有参与Cij的的A、B元素都shuffle到同一个Reduce了,Reduce的算法思路就简单了,通过标志位区分数据来源(A或B)创建数组,然后两个数组做点积即可。
Ubuntu 13.04上搭建Hadoop环境