caffe研究心得 #

Date: 2015/11/3

不同的GPU型号，架构还不一样么？TitanX与GTX980是一样的？Kepler和Fermi不一样？
caffe里面使用的情况是：可以使用多个GPU，但最好是型号一样的。其基本理论是：将任务分发到GPU之上，每个GPU仍然按照配置里所设定的执行，所以在配置里batchsize设为了256，那么实际的batchsize 是256*GPU数量。
整体的结构是树型结构，按层次交换gradients。
如果有P2P的DMA加速，那么效率会更高。这种加速不知道是硬件提供的还是软件设定的。 Categories: Cuda&MPI, caffe