跳到正文
Hugging Face Blog·· 8 天前精選AI 評分62

TRELLIS.2 的 LoRA 微調指南:調整鞋類 3D 幾何生成

The Definitive Fine-Tuning Guide for 3D Generation Models

AI 導讀

Hugging Face Blog 提供 TRELLIS.2 微調指南、腳本及 Docker 容器,示範如何用 LoRA 針對鞋類 3D 幾何生成進行微調。實驗使用 GSO 的 188 件鞋類物件,只微調 sparse-structure flow DiT 和 shape flow DiT,並凍結 texture flow DiT;其中 9 件留作評估。

推薦理由

文章示範如何按任務與資料特性選擇 TRELLIS.2 的微調部件,並以留出鞋類物件的幾何指標比較調整前後結果。

正文 · 繁體中文

Hero GIF

簡而言之:在這篇網誌中,我們提供微調指令碼和容器,讓你使用自己的 3D 資產微調熱門 3D 模型 TRELLIS.2,並可在本機及 Hugging Face Jobs 上執行。如果你有興趣進行微調,只需設定少量參數(假設你已將數據集更新至 Hugging Face Hub),即可使用我們的指令碼;你亦可以使用這個儲存庫自行調整。如果你想了解更多,我們會介紹指令碼的運作方式。開始吧!

簡介

3D 生成技術在機械人、模擬、媒體及娛樂領域有很多用途。在這些領域,要令生成的物件遵守嚴格規則,並標準化模型和數據的表示方式並不容易。檔案格式有很多種,例如GLB和PLY。表示方式亦有很多種,例如神經輻射場(NeRFs)和3D 高斯點描(3DGS)。每種方式各有優缺點。

TRELLIS引入一種稱為統一潛在表示的通用內部表示方式。其解碼器會將這種表示方式轉換成所需輸出格式的 3D 模型。因此,你不必為每種表示格式使用不同模型。

同一團隊其後推出了TRELLIS.2,改進了模型對 3D 結構的表示方式。不過,這兩個模型都沒有提供簡便的方法,讓用戶針對特定任務調整模型。

我們希望改進之處

TRELLIS.2 這類通用模型,可能會在特定應用重視的細節上出錯。例如,用戶可能需要傢俱模型具備準確的幾何形狀。若沒有針對這項任務進行微調,預訓練模型生成的幾何形狀可能不夠準確。我們在實驗中使用 GSO 的一個子集,當中有 188 件鞋類物件。在初步測試中,預訓練模型通常能生成外觀正確的鞋子,但鞋底不正確。我們會測試 LoRA 能否提升鞋底的準確度。

Sole Orbit Base

我們的目標是使用Google Scanned Objects(GSO)數據集,提升 TRELLIS.2 在特定物件類別上的表現。我們會説明要微調哪些管線組件,以及訓練期間要保留哪些組件不變。管線會分別處理結構、詳細幾何形狀及材質。因此,我們只會微調對任務重要的組件。

Meme

選擇要凍結哪些部分,與選擇要微調哪些部分同樣重要。

我們會用到甚麼?

LoRA

LoRA 是低秩適配(low-rank adaptation)的簡稱。它會在凍結原有權重的同時,透過訓練小型適配器矩陣來微調模型。這樣可減少可訓練參數的數量,以及計算其梯度和最佳化器狀態所需的記憶體。我們使用 Hugging Face 的 PEFT 程式庫來加入並訓練這些適配器。詳情請參閲我們的LoRA 指南。

Hugging Face Jobs

Hugging Face Jobs 會在雲端硬件上執行容器化工作負載。我們用它進行預處理和訓練。如要改用自己的 GPU,請參閲下方的本機 Docker 指令。開始前,請確保你具備以下項目:

  • 可在此取得的 HF_TOKEN
  • 你的 Hugging Face 帳戶必須具備 DINOv3 的存取權限,因為 DINOv3 是受存取限制的模型
  • 如果你使用自己的數據集,請在開始前將其中的網格模型上載至 Hub。

TRELLIS.2 的運作方式

在訓練前,先看看 TRELLIS.2 如何生成 3D 物件,以及我們會在哪些位置加入 LoRA 適配器。

TRELLIS.2 主要分為五個階段:移除圖片背景、編碼圖片、預測粗略結構、生成詳細幾何資料,以及生成材質。接着,整個流程會將結果匯出為帶紋理的網格。

TRELLIS.2 Pipeline

編碼輸入圖片

首先,BiRefNet 會移除輸入圖片的背景。接着,DINOv3-L 會將圖片編碼為特徵詞元。生成模型會利用這些詞元來引導 3D 物件的生成。

Pixels to feature tokens

稀疏結構生成(稀疏結構流程)

稀疏結構流程 DiT 會預測物件的粗略形狀。這是一種擴散 Transformer(DiT),會生成尺寸為 16³ × 8 的小型潛在表示。接着,變分自編碼器(VAE)解碼器會將這個潛在表示轉換為 64 × 64 × 64 的佔用網格。網格中的每個體素都表示該位置是否屬於物件。體素是三維中的像素。我們會在這個模型加入 LoRA 適配器,因為模型的輸出會引導幾何生成階段。
Stage 1

O-Voxel 與結構化潛在表示

O-Voxel 是 TRELLIS.2 的 3D 格式,採用稀疏體素網格,只保留物件表面的體素。每個體素都會保留局部幾何資訊(例如網格頂點)和材質屬性。由於這種格式精簡,CPU 可在數秒內將網格轉換為 O-Voxel,而 GPU 也可在數秒內將 O-Voxel 轉換回網格。

結構化稀疏潛在表示源自 TRELLIS。它們以稀疏張量儲存 3D 數據,令計算更快。模型只會使用網格中約 10% 的體素,因此不會把運算資源花在空置體素上。因此,形狀流程 DiT 和紋理流程 DiT 都是稀疏 Transformer;稀疏結構流程 DiT 則是密集 Transformer。
O-Voxel

幾何生成(形狀流程)

形狀流程 DiT 會利用佔用網格和 DINOv3 特徵詞元生成潛在表示。接着,另一個 VAE 解碼器會將這個潛在表示轉換為解析度為 512 × 512 × 512 的 O-Voxel 幾何資料。

我們會在這個階段的 DiT 加入 LoRA 適配器,因為它會控制物件的形狀。

Stage 2

材質生成 + 網格建立

在最後一個階段,紋理流程 DiT 會以形狀潛在表示和 DINOv3 特徵作為輸入,定義幾何表面的材質和紋理。接着,VAE 解碼器會將潛在表示轉換為每個體素的基礎色彩、金屬度、粗糙度和 Alpha 值。我們不會在這個階段加入 LoRA 適配器。我們的數據集包含漫反射色彩貼圖,但缺少這個階段訓練所需的獨立材質貼圖。此外,我們要解決的是鞋子的形狀問題。基礎模型已能生成良好的色彩和紋理。

最後,整個流程會將幾何資料和材質屬性合併成帶紋理的網格,並匯出為 GLB 檔案。

Stage 3

規劃

要微調哪些組件

我們只會在稀疏結構流程 DiT 和形狀流程 DiT 加入 LoRA 適配器。這兩個 DiT 會控制物件的形狀和幾何資料。我們會凍結紋理流程 DiT,以保留其現有能力。

我們的數據集包含帶有預烘焙光照效果的漫反射色彩貼圖。要訓練紋理流程 DiT,我們需要獨立的材質貼圖。數據集中的色彩貼圖將表面顏色與光照混在一起,因此並非合適的訓練目標。

如果我們使用這些貼圖訓練紋理流 DiT,它便能學會將光照呈現為表面屬性。它亦可能忘記先前學到的內容,這個問題稱為災難性遺忘。

為何使用 LoRA

我們的子集從 GSO 的 1,030 個物件中選出 188 個鞋類物件。對於這麼小的數據集,LoRA 比全量微調更合適。全量微調的成本高得多,亦可能覆寫模型原本擅長的部分(即已學得的先驗知識)。我們的設定會為兩個指定的 DiT 訓練總共約 9.3 million 個適配器參數。我們在稀疏結構流 DiT 的注意力及前饋(MLP)層使用 rank 8 適配器,並在形狀流 DiT 的注意力層使用 rank 16 適配器。rank 決定適配器矩陣的大小。rank 越高,適配器能學習的內容越多。

你將執行的操作

3D 模型的環境設定可能需要安裝大量相依項目及執行多個安裝步驟。我們提供兩個 Docker 映像檔,內含所需軟件,可在Jobs或你自己的機器上執行。一個映像檔用於預處理,另一個用於微調。

如要訓練 LoRA 適配器並上載至 Hub:

  1. 讓容器存取你的數據。
  2. 設定任務參數。
  3. 執行預處理容器。
  4. 執行微調容器。

接着我們會説明微調指令碼及其設定,以及各項設定如何影響訓練。

實驗概覽

我們會逐一介紹實驗的三個部分:

  1. 準備數據。將 GLB 或 OBJ 網格轉換為 TRELLIS.2 用於訓練的潛在表示,並渲染輸入圖像。
  2. 訓練適配器。為每個 DiT 各執行一項工作,使用已準備好的數據集及 LoRA 設定。
  3. 説明程式碼。檢視容器如何載入數據、加入適配器並訓練模型。

我們會儲存預處理後的數據集,讓所有訓練工作都可重用。

逐步解説

在 Hugging Face Jobs 上執行

預處理

預處理容器會使用 Blender 為每個物件渲染 16 個視角。LoRA 訓練會以這些視角作為條件圖像。Blender 會透過 xvfb-run 工具在無顯示器環境下執行。容器亦會透過預處理流程處理每個物件。請參閲此處的鞋類數據集,查看中間輸出範例。處理我們的 188 個物件,在 a100-large 工作上共耗時約 1 hour。精簡版的預處理流程亦可在這個配套存放庫取得。

export HF_TOKEN=hf_xxx  

# Replace your-username with your Hugging Face username

hf jobs run -d --flavor a100-large --timeout 6h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep \
    --meshes your-username/my-meshes \
    --push-to your-username/my-meshes-trellis2 \
    --private --holdout 0.05 \
    --views 16 --workers 8

對於 Hugging Face Jobs,我們會傳入以下引數:

旗標 説明
-d 分離:列印工作 ID 和 URL,然後返回。要追蹤工作,請執行 hf jobs logs -f <id>
--flavor a100-large 硬件。我們使用 a100-large (80 GB)。如要查看所有選項,請執行 hf jobs hardware
--timeout 6h 工作會在這段時間後停止。兩個指令都可以接續執行。預處理會略過已完成的物件。訓練會從 --push-to 中最新的檢查點繼續
--secrets HF_TOKEN 將你的 token(來自 HF_TOKEN 或 hf auth login)以加密環境變數的形式傳送給工作。Token 不會寫入映像檔
cr.hf.co/...:latest 要執行的映像檔。其後所有文字都是在容器中執行的指令

這個容器還接受幾個其他引數(無論是在 Hugging Face Jobs 上執行,還是使用 Docker 執行),相關文件可在此處查閲。預處理流程中的各個步驟會在稍後的本節説明。

LoRA 微調

訓練容器會載入已準備好的數據集及設定預設值或設定檔,並使用 Trackio 記錄訓練指標。你可以使用 Trackio 儀錶板監察訓練過程。

我們以 ‘ss’ 和 ‘shape’ 表示訓練 LoRA 的兩種模式。‘ss’ 模式只會微調 Sparse-Structure Flow DiT,而 ‘shape’ 模式則會微調 Shape Flow DiT。底層而言,兩者只是在每個階段引用不同的 config.json 檔案。更多流程詳情請參閲稍後的本節。

export HF_TOKEN=hf_xxx  # Replace your-username with your Hugging Face username

hf jobs run -d --flavor a100-large --timeout 12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss \
    --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora \
    --run-name ss_lora \
    --push-path ss_lora \
    --trackio-space your-username/trellis2-trackio

hf jobs run -d --flavor a100-large --timeout 12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape \
    --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora \
    --run-name shape_lora \
    --push-path shape_lora \
    --trackio-space your-username/trellis2-trackio \
    --set max_steps=3000 i_save=500

如果設定 --push-to,容器便會將 adapter 檢查點上載至 Hub。容器接受的參數亦在此簡要列出。同一個儲存庫亦提供精簡版腳本。

如果你想試用我們已處理好的數據集並進行微調,歡迎使用以下指令。

export HF_TOKEN=hf_xxx  

# Replace your-username with your Hugging Face username

# For the Sparse-Structure Flow DiT
hf jobs run -d --flavor a100-large --timeout 12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config ss \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --run-name ss_lora \
    --push-path ss_lora \
    --trackio-space your-username/trellis2-trackio \
    --set max_steps=3000 i_save=500

# For the Shape Flow DiT
hf jobs run -d --flavor a100-large --timeout 12h --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config shape \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --run-name shape_lora \
    --push-path shape_lora \
    --trackio-space your-username/trellis2-trackio \
    --set max_steps=3000 i_save=500

使用 Docker 在本機執行

預處理

指令和旗標與 Hugging Face Jobs 相同,只有 Docker 選項不同。

# For preprocessing into latents
docker run --gpus all --rm --shm-size 16g -e HF_TOKEN=hf_xxx \
  -v hf-cache:/root/.cache/huggingface -v "$PWD/work":/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep --meshes your-username/my-meshes --push-to your-username/my-meshes-trellis2
LoRA 微調
# For Sparse-structure Flow DiT
docker run --gpus all --rm --shm-size 16g \
  -v hf-cache:/root/.cache/huggingface -v "$PWD/work":/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora --trackio-space your-username/trellis2-trackio

# For Shape Flow DiT
docker run --gpus all --rm --shm-size 16g \
  -v hf-cache:/root/.cache/huggingface -v "$PWD/work":/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape --latents your-username/my-meshes-trellis2 \
    --push-to your-username/my-trellis2-lora --trackio-space your-username/trellis2-trackio

如果你想在自己的電腦上使用我們已完成預處理的數據集,請使用以下指令:

export HF_TOKEN=hf_xxx  # Replace your-username with your Hugging Face username

# For Sparse-structure Flow DiT
docker run --gpus all --rm --shm-size 16g -e HF_TOKEN \
  -v hf-cache:/root/.cache/huggingface \
  -v "$PWD/work":/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config ss \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --trackio-space your-username/trellis2-trackio \
    --set max_steps=3000 i_save=500

# For Shape Flow DiT
docker run --gpus all --rm --shm-size 16g -e HF_TOKEN \
  -v hf-cache:/root/.cache/huggingface \
  -v "$PWD/work":/workspace/work \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train \
    --config shape \
    --latents suvadityamuk/gso-footwear-trellis2-latents \
    --push-to your-username/trellis2-footwear-lora \
    --trackio-space your-username/trellis2-trackio \
    --set max_steps=3000 i_save=500

我們訓練的 LoRA adapters 位於此儲存庫:suvadityamuk/trellis-2-finetune-gso

訓練流程內部

預處理為潛在表示

Preprocessing 我們使用 TRELLIS.2 凍結的編碼器,將輸入網格轉換為訓練用的潛在表示。我們會儲存這些潛在表示,讓之後的執行不必再次編碼網格。

我們亦會在 Blender 中為每個物件渲染 16 個視角。訓練期間,我們會為每個樣本隨機選取一個視角作為條件圖像。我們從 188 個物件中保留 9 個作評估,並使用其餘 179 個物件進行訓練。這些保留的物件可用來檢視 adapters 是否適用於模型在訓練期間未曾見過的物件。

Conditioning

Blender 為一個物件渲染的部分視角

第一段程式碼片段會準備數據。FLOW會選擇要訓練的 flow DiT(ss或shape),而STEPS則會設定優化器步數。批次大小為 4,並採用 4 個梯度累積步數,有效批次大小便是 16。然後,程式碼片段會載入所選 flow DiT 的 LoRA 設定檔、建立符合 TRELLIS.2 格式的數據集、移除保留作評估的物件,並建立用於微調的數據載入器。

cfg = json.load(
    open(
        {
            "ss": "/workspace/TRELLIS.2/configs/lora/ss_flow_lora_gso.json",
            "shape": "/workspace/TRELLIS.2/configs/lora/slat_flow_img2shape_lora_gso.json",
        }[FLOW]
    )
)

key, latents = {
    "ss": ("ss_latent", "ss_latents/ss_enc_conv3d_16l8_fp16_64"),
    "shape": ("shape_latent", "shape_latents/shape_enc_next_dc_f16c32_fp16_512"),
}[FLOW]


roots = json.dumps(
    {
        "gso": {
            key: f"{DATA}/{latents}",
            "render_cond": f"{DATA}/renders_cond",
            "meta": DATA,
        }
    }
)

ds = getattr(datasets, cfg["dataset"])(roots, **cfg["dataset_args"])

holdout = set(open(f"{DATA}/holdout.txt").read().split())
ds.instances = [(root, sha) for root, sha in ds.instances if sha not in holdout]

batches = cycle(
    DataLoader(
        ds,
        batch_size=BATCH,
        shuffle=True,
        drop_last=True,
        num_workers=4,
        collate_fn=getattr(ds, "collate_fn", None),
    )
)

準備 LoRA adapters

Preparing LoRA Adapters 我們使用 peft 程式庫,將 LoRA adapters 加入所選層。TRELLIS.2 使用自訂的 forward pass,因此標準的 PeftModel() wrapper 並不適用。我們改為呼叫 inject_adapter_in_model()。此函式會直接將 adapters 加入模型,並保留模型的自訂介面。

為確保數值穩定性,我們將可訓練的 adapter 權重保留為 32 位浮點數(fp32),並在前向傳播時使用 bfloat16(bf16)自動轉型。自動轉型可讓 PyTorch 在部分運算中使用較低精度,從而減少記憶體用量。自動轉型不會改變凍結骨幹網絡權重的儲存方式。


model = models.from_pretrained(cfg["ckpt"])
for block in model.blocks:
    block.use_checkpoint = True

inject_adapter_in_model(
    LoraConfig(
        r=cfg["rank"], lora_alpha=cfg["alpha"], target_modules=cfg["lora_targets"]
    ),
    model,
)

params = []
for name, p in model.named_parameters():
    p.requires_grad_("lora_" in name)
    if p.requires_grad:
        p.data = p.data.float()  # fp32 master weights for LoRA
        params.append(p)

model.cuda().train()

訓練

Training Loop 值得注意的是,我們在這裏使用的目標函數是傳統的整流流匹配(在 Stable Diffusion 3、Flux 2 等熱門圖像生成模型中可見)。TRELLIS.2 在預訓練時使用了相同的目標函數,因此它適合用於微調。理論方面,請閲讀這篇網誌,瞭解流匹配。

我們只更新稀疏結構 DiT 和形狀 DiT 中的 LoRA 參數。所有原始模型權重均保持凍結。

以下程式片段展示某一階段的核心訓練迴圈。它們比容器程式碼簡單,亦未包含部分設定步驟。完整工作流程請使用容器命令。

我們初始化最佳化器,並載入 DINOv3,從輸入圖像提取特徵。

opt = torch.optim.AdamW(
    params, lr=cfg["lr"], weight_decay=cfg["weight_decay"], betas=(0.9, 0.95)
)

dino = DinoV3FeatureExtractor(
    cfg["image_cond_model"], image_size=cfg["image_size"]
).cuda()

接着在訓練迴圈中依照以下步驟進行:

  • 根據 TRELLIS.2 設定,為每個樣本抽取一個時間步 t(稀疏結構 flow DiT 使用 logitNormal,形狀 flow DiT 使用 uniform)。
  • 產生與數據形狀相符的隨機雜訊,並調整 t 的形狀以便廣播。
  • 根據 t 將乾淨數據與雜訊混合(t = 0 時,數據中的雜訊最少;t = 1 時則為純雜訊)。
  • 在 t × 1000 時預測速度,以符合預訓練條件。
  • 以預測速度與目標速度(x_t 的一階導數)之間的均方誤差計算損失。
def flow_loss(x0, cond):
    s = cfg["t_schedule"]

    t = (
        torch.rand(x0.shape[0])
        if s["name"] == "uniform"
        else torch.sigmoid(
            torch.randn(x0.shape[0]) * s["args"]["std"] + s["args"]["mean"]
        )
    )
    t = t.cuda()

    noise = (
        x0.replace(torch.randn_like(x0.feats))
        if cfg["sparse"]
        else torch.randn_like(x0)
    )

    tv = t.view(-1, *[1] * (len(x0.shape) - 1))

    x_t = (1 - tv) * x0 + (cfg["sigma_min"] + (1 - cfg["sigma_min"]) * tv) * noise

    pred, target = model(x_t, t * 1000, cond), (1 - cfg["sigma_min"]) * noise - x0

    return (
        F.mse_loss(pred.feats, target.feats)
        if cfg["sparse"]
        else F.mse_loss(pred, target)
    )

訓練迴圈會計算損失並更新適配器權重。梯度累積會在每次最佳化器步驟前,將 4 個小批次的梯度累加起來。梯度檢查點透過在反向傳播期間重新計算部分中間值,節省 GPU 記憶體。外層迴圈會執行指定數目的最佳化器步驟,內層迴圈則會累積一組批次的梯度。

每個批次都會由 DINOv3 對條件圖像進行編碼。為進行無分類器引導(CFG)丟棄,迴圈會將隨機比例(p_uncond)的樣本條件設為零。然後使用 bf16 自動混合精度計算 flow-matching 損失。內層迴圈結束後,程式會裁剪梯度以防止更新幅度過大,然後執行最佳化器步驟。每 10 個步驟記錄一次損失,每 500 個步驟儲存一次適配器檢查點。


for step in range(1, STEPS + 1):
    for _ in range(ACCUM):
        batch = next(batches)
        x0 = recursive_to_device(batch["x_0"], "cuda")

        with torch.no_grad():
            cond = dino(batch["cond"])
            cond[torch.rand(len(cond), device="cuda") < cfg["p_uncond"]] = 0

        with torch.autocast("cuda", dtype=torch.bfloat16):
            loss = flow_loss(x0, cond) / ACCUM

            loss.backward()

    torch.nn.utils.clip_grad_norm_(params, cfg["grad_clip"])

    opt.step()
    opt.zero_grad()

結果

我們訓練了兩個適配器:一個用於稀疏結構 DiT,另一個用於形狀 DiT。容器映像中的 LoRA 設定檔包含完整的訓練設定:稀疏結構 flow DiT 使用 ss_flow_lora_gso.json,形狀 flow DiT 使用 slat_flow_img2shape_lora_gso.json。每次訓練均在 Hugging Face Jobs 上使用一部 A100 80 GB。稀疏結構訓練耗時 7.2 小時,形狀訓練耗時 3.6 小時。

稀疏結構 flow DiT 的訓練損失在開始時迅速下降,之後下降速度放緩。形狀 flow DiT 的損失則大致維持在同一水平。這些曲線顯示訓練目標如何變化,但並不能直接衡量生成幾何形狀的品質。
Loss

Flow-matching 損失會隨抽取的物件、雜訊和時間步而變化。要了解微調是否改善幾何形狀,我們亦必須比較留出物件上的輸出。

下圖比較了九個留出物件中的五個輸出,包括輸入圖像、基礎模型生成的輸出、經旋轉調整後的基礎輸出、使用鞋類適配器生成的輸出,以及參考掃描結果。在這些例子中,微調模型生成的鞋底更接近掃描結果。

Heldout Meshes

我們亦使用三項指標評估測試集上的幾何形狀:

指標 含義
Chamfer 距離 在兩個方向上,分別計算一個表面上的點至另一個表面最近點的距離。數值越低越好。
F-score @ 0.02 精確率(生成表面中有多少部分接近參考表面)與召回率(生成表面覆蓋了多少參考表面)的綜合指標。此處的匹配閾值為掃描結果包圍盒對角線的 2%。數值越高越好。
法線一致性 表面方向的一致程度。表面法線是垂直於表面的向量。數值越高越好。

Heldout Metrics

在圖表對九個物件的比較中,基礎模型的平均 F-score 為 0.276,而加入鞋履適配器的模型則為 0.803。Chamfer 距離由 0.174 降至 0.033,法線一致性則由 0.530 升至 0.804。使用兩個適配器後,全部九個未參與訓練的物件,其 F-score 均有所提升。
Object Metrics

如需查看所有執行結果的統計數據,請參閲這個 Trackio 空間。

未來方向

呼,總算完成了!我們透過為控制幾何形狀的兩個模型組件加入 LoRA 適配器,微調 TRELLIS.2 以生成鞋履。我們只準備了一次數據,在不同訓練工作中分別訓練適配器,並在未參與訓練的物件上評估輸出。

主要啟示是,訓練目標應配合問題和現有數據。在這次實驗中,我們微調了結構和形狀階段,並凍結紋理階段。

接下來,我們可以探討相同的選擇是否有助於其他 3D 生成模型,例如 Pixal3D 和 UniLat3D。

高斯潑濺和世界生成模型,例如 HunyuanWorld 2.0 和 NVIDIA Lyra 2.0,也是值得探索的下一步。這些模型的表示方式和訓練流程可能需要不同的方法。

感謝一路跟進,下一篇再見!👋🤗

來源:Hugging Face Blog · huggingface.co