与CUDA的沟通集体 – 1

函授合作社

torch.cuda.comm.broadcast（张量，小工具）

向各种GPU传达张量。

参数

（张量） – 张量沟通。

小工具（Iterable） – 一个可互换的小工具，可以进行通信。请注意，它应该类似于（src，dst1，dst2，…），其主要组件是要与之通信的源小工具。

返回

包含张量重复项的元组，设置与小工具中的文件相关的小工具。

torch.cuda.comm.broadcast_coalesced（张量，小工具，buffer_size = 10485760）

将安排张量传达给预定的GPU。小张量首先组合成支持以减少同步的数量。

参数

张量（分组） – 传播的张量。

小工具（Iterable） – 一个可互换的小工具，可以进行通信。请注意，它应该类似于（src，dst1，dst2，…），其主要组件是要与之通信的源小工具。

buffer_size（int） – 用于混合的垫子的最大极限尺寸

返回

包含张量重复项的元组，与小工具中的记录相比较的小工具。