Master通过RunGraph触发子图运算，Worker会使用GPU/CPU运算设备执行TensorFlow Kernel运算。在本节点的CPU和GPU之间，使用cudaMemcpyAsync传输数据；在本节点GPU和GPU之间，使用peer-to-peer DMA传输数据，避免通过CPU复制数据。TensorFlow使用gRPC（TCP）和RDMA （Converged Ethernet）技术，实现Worker间的数据通信及传输，如下图所示：
TensorFlow系统架构(2)
内容版权声明：除非注明，否则皆为本站原创文章。