大数跨境

基于Atlas 150加速卡的MiniMax-H3音视频生成性能实践

基于Atlas 150加速卡的MiniMax-H3音视频生成性能实践 昇腾AI开发者
2026-11-16
0



音视频生成需要在多轮迭代中完成密集计算、大量张量读写与多卡数据交换,对算力、内存带宽和互联能力都有很高要求。Atlas 150 加速 卡采用 Ascend 950PR 处理器,以标卡形态提供多精度高计算高带宽能力, 在单机四卡配置下,基于 MiniMax-H3 模型,针对 BF16 与 MXFP8 两种精度配置优化 DiT 推理性能,加速音视频生成。




实测:MiniMax-H3 四卡T2VA


以下四组均为4卡、USP4、1344×768的文生音视频任务测试结果,主要是5秒、15秒两种输出规格的无损与有损方案结果。 



相比采用 BF16 精度、50 步去噪的无损方案,当前有损方案结合 FlashGen 蒸馏 LoRA 与 MXFP8 低精度计算,将去噪迭代减少至 4 步,同时降低矩阵运算和数据读写开销,进一步缩短生成耗时:


  • 5 秒 T2VA:有损方案耗时约 14 秒,较无损方案的约 3 分 27 秒降低约 93%,吞吐量约为原来的 15 倍。

  • 15 秒 T2VA:有损方案耗时约 54 秒,较无损方案的约 22 分 17 秒降低约 96%,吞吐量约为原来的 25 倍。


5秒无损生成视频


5秒有损生成视频


15秒无损生成视频


15秒有损生成视频




Atlas 150 加速卡:
以大内存与高速互联加速音视频生成



Atlas 150加速卡面向互联网及国计民生等行业的 AI 推理场景,采用 Ascend 950PR 处理器,以标卡形态满足服务器部署需求。针对音视频生成中的密集计算、大量张量读写与频繁跨卡通信,Atlas 150 从计算、内存和互联三个方面提供硬件支撑,让四卡推理更好地发挥整体性能。


多精度大算力,支撑 DiT 密集迭代


音视频生成需要在多轮去噪中反复执行注意力与前馈网络计算,单步耗时会随迭代累积。Atlas 150 单卡理论算力达到 425 TFLOPS FP16/BF16、804 TFLOPS MXFP8,并支持 1561 TFLOPS MXFP4,为不同精度需求提供计算基础。在本次 MiniMax-H3实践中,BF16 与 MXFP8 分别支撑无损和低精度加速配置,配合融合算子等优化,提升 DiT 推理效率。


84GB大容量内存,让模型与中间数据拥有更充足的驻留空间


随着视频时长、分辨率增加,激活与中间张量会占用更多内存。Atlas 150 单卡配备 84 GB 内存,为权重、激活和通信缓冲区预留空间,有助于减少容量不足引入的 CPU 内存卸载与反复搬运。同时,1.4 TB/s 内存带宽为高频张量读写提供支撑,减少计算单元等待数据的时间。


四卡灵衢全互联,让多卡算力更有效地协同


序列并行将计算任务分配到多张卡,也带来了跨卡数据交换问题。Atlas 150 通过专属灵衢(UnifiedBus,UB)连接器支持四卡全互联,每卡双向互联带宽达到 318 GB/s,为 USP4 并行提供专用高速数据通路,减少同步等待,将多卡计算能力转化为生成效率。




实践部署指南


下表为4卡、USP4的两套部署配置,完整命令见下文。无损方案采用BF16;有损方案采用FlashGen蒸馏LoRA与MXFP8量化,注意力后端使用RAINFUSION_ATTN。当前有损方案并非极致优化配置,用户还可按需开启MXFP4量化。实际输出效果需结合相同输入与随机种子的样片评估。



以BF16配置开展质量评估时,可先使用无损方案;更关注响应时间时,可结合样片评估有损方案。持续生产还需结合并发能力与批量吞吐安排资源。


创建推理容器官方Docker镜像


本文使用官方Docker镜像quay.io/ascend/vllm-omni:v0.33.0rc1-a5,镜像已集成MindIE-SD 3.2.0,为vLLM-Omni提供昇腾优化算子与注意力加速能力。容器参数沿用官方示例,按本文四卡场景映射设备0—3,并增加Ascend 950所需的驱动拓扑目录挂载。模型目录/home/models/MiniMax-H3由宿主机与容器共享。


# 拉取官方A5镜像docker pull quay.io/ascend/vllm-omni:v0.33.0rc1-a5# 创建容器export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5export CONTAINER_NAME=h3docker run -it -u root --name ${CONTAINER_NAME} \  --privileged=true \  --shm-size=2000g \  --net=host \  --device /dev/davinci0 \  --device /dev/davinci1 \  --device /dev/davinci2 \  --device /dev/davinci3 \  --device /dev/davinci_manager \  --device /dev/devmm_svm \  --device /dev/hisi_hdc \  -v /home:/home \  -v /usr/local/dcmi:/usr/local/dcmi \  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \  -v /etc/ascend_install.info:/etc/ascend_install.info \  -v /usr/local/Ascend/driver/topo:/usr/local/Ascend/driver/topo \  -v /root/.cache:/root/.cache \  ${IMAGE} \  /bin/bash


获取模型权重


进入容器后下载模型;T2VA使用其中的FL2VA权重。


export MODEL=/home/models/MiniMax-H3hf download MiniMaxAI/MiniMax-H3 --local-dir "${MODEL}"


进入容器后下载LoRA权重,通过 vLLM-Omni 运行时加载,无需 merge 进基座。


pip install modelscopeexport FLASHGEN_DIR=/path/to/minimax-h3-flashgen-loraexport FLASHGEN_FILE=minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensorsmodelscope download FlashGen/Minimax-H3-4step-lora-flashgen \  --local_dir "${FLASHGEN_DIR}" \  --include "${FLASHGEN_FILE}"export FLASHGEN_LORA="${FLASHGEN_DIR}/${FLASHGEN_FILE}"


按任务启动服务


在容器中选择以下一套配置启动服务。两套配置均使用端口9098,切换时先停止前一个服务。无损配置保留官方DLO逐层卸载;有损配置采用FlashGen蒸馏LoRA与在线MXFP8量化,生成请求需配套使用4步去噪并传入LoRA参数。


推荐无损优化配置 Ascend 950PR&950DT系列产品


export MODEL=/home/models/MiniMax-H3export PORT=9098export VLLM_WORKER_MULTIPROC_METHOD=spawnexport VLLM_OMNI_VIDEO_SYNC_TIMEOUT=4000export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"vllm serve "${MODEL}" \  --omni \  --host 0.0.0.0 \  --port "${PORT}" \  --trust-remote-code \  --task-type fl2va \  --num-gpus 4 \  --usp 4 \  --ring 1 \  --text-encoder-tp-size 4 \  --vae-parallel-mode tile \  --vae-use-tiling \  --vae-patch-parallel-size 4 \  --enable-distributed-layerwise-offload \  --diffusion-attention-backend FLASH_ATTN


推荐有损优化配置 Ascend 950PR&950DT系列产品


export MODEL=/home/models/MiniMax-H3export PORT=9098export VLLM_WORKER_MULTIPROC_METHOD=spawnexport VLLM_OMNI_VIDEO_SYNC_TIMEOUT=4000export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"export LORA_PATH="${LORA_DIR}/minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensors"vllm serve "${MODEL}" \  --omni \  --host 0.0.0.0 \  --port "${PORT}" \  --trust-remote-code \  --task-type fl2va \  --lora-backend peft \  --lora-path "${LORA_PATH}" \  --num-gpus 4 \  --usp 4 \  --ring 1 \  --text-encoder-tp-size 4 \  --vae-parallel-mode tile \  --vae-use-tiling \  --vae-patch-parallel-size 4 \  --diffusion-attention-config '{"default":{"backend":"RAINFUSION_ATTN","block_sparse":{"sparsity":0.8,"precision":"mix","start_step":1}}}' \  --diffusion-quantization-config '{"transformer":{"method":"mxfp8"}}'


发送生成请求


服务启动后,在另一终端发送与当前服务配置对应的T2VA请求。两套请求使用相同的PROMPT、分辨率、帧率与随机种子。


无损方案请求


export API_URL="http://127.0.0.1:${PORT}/v1/videos/sync"export PROMPT="At night, three cats march into a bedroom playing tiny brass instruments, then abruptly file out, with synchronized room ambience."HDR_FILE=$(mktemp)curl -sS -D "$HDR_FILE" -X POST "${API_URL}" \  -F "prompt=${PROMPT}" \  -F 'width=1344' \  -F 'height=768' \  -F 'aspect_ratio=16:9' \  -F 'fps=24' \  -F 'num_inference_steps=50' \  -F "flow_shift=12.0" \  -F "audio_flow_shift=3.0" \  -F "seed=1101" \  -F 'extra_params={"task":"t2va","duration":5.0}' \  -o "t2va.mp4"


有损方案请求


export PORT=9098export API_URL="http://127.0.0.1:${PORT}/v1/videos/sync"export PROMPT="At night, three cats march into a bedroom playing tiny brass instruments, then abruptly file out, with synchronized room ambience."export LORA_DIR=/workspace/loras/flashgen-4stepexport LORA_PATH="${LORA_DIR}/minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensors"HDR_FILE=$(mktemp)curl -sS -D "$HDR_FILE" -X POST "${API_URL}" \  -F "prompt=${PROMPT}" \  -F 'width=1344' \  -F 'height=768' \  -F 'aspect_ratio=16:9' \  -F 'fps=24' \  -F 'num_inference_steps=4' \  -F 'seed=1101' \  -F 'extra_params={"task":"t2va","duration":5.0}' \  -F "lora={\"name\":\"h3-flashgen-v1.0\",\"path\":\"${LORA_PATH}\",\"scale\":1.0}" \  -o "t2va_lossy_4step.mp4"


生成15秒视频时,将对应请求中的“duration”:5.0改为“duration”:15.0,并将输出文件名分别改为t2va_15s.mp4(无损)或t2va_lossy_4step_15s.mp4(有损)。无损请求保留50步;有损请求保留4步及lora字段,分别保存样片。


【声明】内容源于网络
0
0
昇腾AI开发者
昇腾社区
内容 1024
粉丝 0
昇腾AI开发者 昇腾社区
总阅读20.0k
粉丝0
内容1.0k