InitBufPool

【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。 【免费下载链接】asc-devkit 项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

产品

是否支持

Ascend 950PR/Ascend 950DT

Atlas A3 训练系列产品 / Atlas A3 推理系列产品

Atlas A2 训练系列产品 / Atlas A2 推理系列产品

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品 AI Core

Atlas 推理系列产品 Vector Core

x

Atlas 训练系列产品

Kirin X90

Kirin 9030

功能说明

通过Tpipe::InitBufPool接口可划分出整块资源,整块TbufPool资源可以继续通过TBufPool::InitBufPool接口划分成小块资源。

函数原型

  • 非共享模式

    template <class T>
    __aicore__ inline bool InitBufPool(T& bufPool, uint32_t len)
    
  • 共享模式

    template <class T, class U>
    __aicore__ inline bool InitBufPool(T& bufPool, uint32_t len, U& shareBuf)
    

参数说明

表 1 模板参数说明

参数名

说明

T

bufPool参数的类型。

U

shareBuf参数的类型。

表 2 InitBufPool(T& bufPool, uint32_t len) 原型定义参数说明

参数名称

输入/输出

含义

bufPool

输入

新划分的资源池,类型为TBufPool。

len

输入

新划分资源池长度,单位为字节,非32字节对齐会自动向上补齐至32字节对齐。

表 3 InitBufPool(T& bufPool, uint32_t len, U& shareBuf) 原型定义参数说明

参数名称

输入/输出

含义

bufPool

输入

新划分的资源池,类型为TBufPool。

len

输入

新划分资源池长度,单位为字节,非32字节对齐会自动向上补齐至32字节对齐。

shareBuf

输入

被复用资源池,类型为TBufPool,新划分资源池与被复用资源池共享起始地址及长度。

约束说明

  1. 新划分的资源池与被复用资源池的物理内存需要一致,两者共享起始地址及长度;
  2. 输入长度需要小于等于被复用资源池长度;
  3. 其他泛用约束参考TBufPool

返回值说明

调用示例

数据量较大且内存有限时,无法一次完成所有数据搬运,需要拆分成多个阶段计算,每次计算使用其中的一部分数据,可以通过TBufPool资源池进行内存地址复用。本例中,从Tpipe划分出资源池tbufPool0,tbufPool0为src0Gm分配空间后,继续分配了资源池tbufPool1,指定tbufPool1与tbufPool2复用并分别运用于第一、二轮计算,此时tbufPool1及tbufPool2共享起始地址及长度。

完整样例链接可以参考tbufpool_management样例

AscendC::TPipe* pipe;
AscendC::TBufPool<AscendC::TPosition::VECCALC> tbufPool0, tbufPool1, tbufPool2;
// srcQue0、srcQue1、srcQue2为VECIN上的TQue,dstQue0、dstQue1为VECOUT上的TQue
// 从Tpipe划分出资源池tbufPool0
pipe->InitBufPool(tbufPool0, bufSize * 4);
// 通过tbufPool0给tbufPool1分配空间,并指定tbufPool1与tbufPool2复用同一块空间
tbufPool0.InitBufPool(tbufPool1, bufSize * 2);
// 给srcQue0分配空间
tbufPool0.InitBuffer(srcQue0, 1, bufSize * 2); // Total src0
tbufPool0.InitBufPool(tbufPool2, bufSize * 2, tbufPool1);
// 通过tbufPool1给srcQue1、dstQue0分配空间
tbufPool1.InitBuffer(srcQue1, 1, bufSize);
tbufPool1.InitBuffer(dstQue0, 1, bufSize);
CopyIn();
Compute();
CopyOut();
// 切换资源池到tbufPool2,并通过tbufPool2给srcQue2、dstQue1分配空间
tbufPool1.Reset();
tbufPool2.InitBuffer(srcQue2, 1, bufSize);
tbufPool2.InitBuffer(dstQue1, 1, bufSize);
CopyIn1();
Compute1();
CopyOut1();
tbufPool2.Reset();
tbufPool0.Reset();
pipe->Reset();

【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。 【免费下载链接】asc-devkit 项目地址: https://gitcode.com/cann/asc-devkit

Logo

欢迎加入 MCP 技术社区!与志同道合者携手前行,一同解锁 MCP 技术的无限可能!

更多推荐