❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 技术核心：基于跨尺度多视图扩散模型，仅需一张照片即可生成逼真的3D人像模型。
2. 功能亮点：支持面部细节重建、全身姿态生成、背景移除和结构化输出。
3. 应用场景：广泛应用于影视制作、游戏开发、虚拟现实和时尚设计等领域。

PSHuman 是什么

PSHuman 是一种先进的单图像3D人像重建技术，基于跨尺度多视图扩散模型，仅需一张照片即可生成高度逼真的3D人像模型。该技术能够同时建模全局形状和局部细节的联合概率分布，避免几何失真，并保持不同视图下身体形状的一致性。

通过显式人体雕刻技术，PSHuman 能够高效恢复逼真的纹理人体网格。在多个数据集上表现出色，具有出色的几何细节、纹理保真度和泛化能力。

PSHuman 的主要功能

• 单图像3D人像重建：仅需一张照片，快速生成详细的3D模型，大幅提高建模效率。
• 多视图扩散技术：从单一视角的照片中生成多个角度的人体图像，确保每个角度都尽可能真实。
• 高保真度面部细节：通过跨尺度扩散方法，兼顾整体身体形状和局部面部特征，避免几何变形。
• 结合SMPL-X人体模型：生成更加自然和真实的人体动作和形态，提升3D模型的逼真度。
• 背景移除：支持使用 Clipdrop 或 rembg 工具移除人像照片的背景，简化后续处理流程。
• 结构化输出：生成的3D模型和渲染视频以结构化文件形式保存，便于查看和分享。
• SMPL-free版本：无需SMPL条件即可进行多视图生成，适用于一般姿态的人像。

PSHuman 的技术原理

• 身体+面部增强和多视角生成：将输入照片和预测的人体骨架模型（SMPL-X）送入多视角图像扩散模型，生成6个不同角度的全身图片及高精度局部面部图片。
• 跨尺度扩散方法：同时建模全局全身形状和局部面部特征的联合概率分布，避免几何变形。
• 基于SMPL-X的显式人物雕刻：通过可微分的渲染技术调整、变形和重新细化SMPL-X模型，生成带真实纹理的3D人物模型。
• 多视图图像融合：使用可微分渲染技术融合多视图颜色图像，减少生成不一致性，实现纹理映射。
• 优化和重建模块：通过优化SMPL-X参数对齐多视图图像，进行几何优化，并使用可微分光栅化技术对网格进行雕刻。

如何运行 PSHuman

1. 环境配置

首先，创建一个 Conda 环境并安装依赖：

conda create -n pshuman python=3.10
conda activate pshuman

# 安装 PyTorch
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121

# 安装 Kaolin
pip install kaolin==0.17.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.1.0_cu121.html

# 安装其他依赖
pip install -r requirements.txt

2. 背景移除

使用 Clipdrop 或 rembg 工具移除人像照片的背景：

python utils/remove_bg.py --path $DATA_PATH$

3. 运行推理

通过以下命令生成3D模型和渲染视频：

CUDA_VISIBLE_DEVICES=$GPU python inference.py --config configs/inference-768-6view.yaml \
    pretrained_model_name_or_path='pengHTYX/PSHuman_Unclip_768_6views' \
    validation_dataset.crop_size=740 \
    with_smpl=false \
    validation_dataset.root_dir=$DATA_PATH$ \
    seed=600 \
    num_views=7 \
    save_mode='rgb'

资源

• 项目官网：https://penghtyx.github.io/PSHuman
• GitHub 仓库：https://github.com/pengHTYX/PSHuman
• HuggingFace 仓库：https://huggingface.co/spaces/fffiloni/PSHuman
• arXiv 技术论文：https://arxiv.org/pdf/2409.10141

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦