CatVTON

什么是"CatVTON"？

CatVTON 是一个简单高效的虚拟试穿扩散模型，具有以下特点：1) 轻量化网络（总参数量为899.06M），2) 参数高效训练（可训练参数量为49.57M），3) 简化推理（1024X768分辨率下显存需求小于8G）。CatVTON 通过高效的算法和简化的流程，为用户提供了一个便捷的虚拟试穿解决方案。

"CatVTON"有哪些功能？

CatVTON 提供了一系列强大的功能，使得虚拟试穿变得更加简单和高效：

1. 轻量化网络：总参数量为899.06M，确保了模型的高效性和快速响应。
2. 参数高效训练：仅需训练49.57M参数，大大减少了训练时间和资源消耗。
3. 简化推理：在1024X768分辨率下，仅需小于8G的显存即可进行推理，适用于大多数普通计算机。
4. 高分辨率支持：支持高达1024X768分辨率的图像生成，确保试穿效果的清晰度和细节表现。
5. 自动下载权重文件：首次运行时自动下载所需的权重文件，简化用户操作。

产品特点：

CatVTON 具有以下显著特点：

1. 高效性：通过轻量化网络和参数高效训练，CatVTON 能够在较短时间内完成模型训练和推理。
2. 低资源消耗：推理过程中显存需求小于8G，适用于大多数普通计算机，降低了硬件要求。
3. 高分辨率支持：支持高达1024X768分辨率的图像生成，确保试穿效果的清晰度和细节表现。
4. 简化操作：自动下载权重文件和简化的推理流程，使得用户能够轻松上手，快速体验虚拟试穿的乐趣。

应用场景：

CatVTON 可广泛应用于以下场景：

1. 电商平台：为在线购物提供虚拟试穿功能，提升用户购物体验，减少退货率。
2. 时尚行业：设计师和品牌可以通过虚拟试穿展示新款服装，提高宣传效果。
3. 社交媒体：用户可以在社交媒体上分享虚拟试穿效果，增加互动和参与度。
4. 虚拟现实：结合虚拟现实技术，提供更加沉浸式的试穿体验。
5. 教育培训：用于时尚设计和服装搭配的教学和培训，提供直观的学习工具。

"CatVTON"如何使用？

1. 安装环境：创建并激活 conda 环境，安装所需依赖。
   bash
   conda create -n catvton python==3.9.0
   conda activate catvton
   cd CatVTON-main # 或者你的 CatVTON 项目目录
   pip install -r requirements.txt

2. 部署 ComfyUI 工作流：

   • 安装 CatVTON 和 ComfyUI 的所有依赖。
   • 下载并解压 ComfyUI-CatVTON.zip 到 ComfyUI 项目的 custom_nodes 文件夹下。
   • 运行 ComfyUI。
   • 下载 catvton_workflow.json 并拖入 ComfyUI 网页，开始使用。

3. 部署 Gradio App：

   • 运行以下命令，自动下载检查点文件：
     bash
     CUDA_VISIBLE_DEVICES=0 python app.py
     --output_dir="resource/demo/output"
     --mixed_precision="bf16"
     --allow_tf32

4. 数据准备：下载 VITON-HD 或 DressCode 数据集，并确保文件夹结构正确。

常见问题：

1. 如何解决 Windows 系统下的问题？
   请参考 issue#8 进行解决。
2. 首次运行时权重文件下载时间较长怎么办？
   这是正常现象，通常需要几十分钟，请耐心等待。
3. 如何确保推理过程中显存需求小于8G？
   使用 bf16 精度进行推理，确保显存需求控制在8G以内。

通过以上步骤，您可以轻松部署和使用 CatVTON，享受高效的虚拟试穿体验。