IC-Light 升級為IC-Light V2-Vary 可更靈活地調整光源位置和強度
IC-Light V2更新升級，升級為IC-Light V2-Vary
主要改進
光照變化能力增強
- 模型在光影處理方面有顯著提升，可以更靈活地調整光源位置和強度，生成不同光照效果的圖像。
- 針對需要複雜光影變化的用戶，提供了更豐富的操作空間。
細節保留能力提高
- 相較於之前版本，V2-Vary 對輸入圖像細節的保留能力更強，減少了調整光影時圖像內容的丟失或扭曲。
- 適合對細節要求較高的圖像處理任務，例如人像攝影后期處理。
多樣性輸出優化
- 輸出圖像的多樣性得到加強，可以生成不同風格和特徵的光影效果。
- 特別適用於藝術創作和專業光影效果模擬。
這些改進使得 IC-Light V2-Vary 更加適合需要強光影效果和細節處理的用戶，如攝影師、設計師及3D建模專業人士，同時為藝術創作者提供了更多可能性。
Examples示例
Input image:輸入圖像：
輸出比較（查看改變光影的能力）：
輸入輸出比較（查看詳細保留級別）：
Screenshots:截圖：
IC-Light的主要功能特點
IC-Light 是一種用於擴展基於擴散模型的光照編輯訓練的方法，旨在解決複雜光照場景中的圖像生成和編輯問題。其主要功能包括：
1. 光照一致性約束
-
核心原理
- 基於物理光傳輸理論，確保物體在不同光照條件下的表現可以線性組合。
- 保證混合光照下的表現與單獨光照條件下的線性疊加一致。
功能
- 通過光照一致性約束，模型能夠在編輯光照時保持圖像本質屬性（如反射率、紋理等）不變。
- 減少不必要的圖像偽影，確保輸出結果與實際物理光照條件一致。
2. 大規模數據支持
- 支持超過
1000 萬樣本
的訓練數據，包括：
- 真實光照數據：例如光照舞台的單光源實驗數據。
- 3D 渲染數據：通過渲染技術生成的多光照條件圖像。
- 自然場景增強數據：通過增強真實圖像光照效果，生成豐富的訓練數據。
功能
- 適配多種數據來源，增強模型處理多樣化光照場景的能力。
- 擴展模型泛化能力，支持從自然光照到複雜藝術光照的多場景應用。
3. 精確光照編輯
- 支持各種複雜光照條件的編輯，包括：
- 自然光效：如陽光穿過百葉窗、樹蔭投影等。
- 藝術光效：如魔法金光、霓虹燈等特殊效果。
- 背景協調：根據背景調整光照，使得前景與背景協調一致。
功能
- 提供精確的光照調整能力，適用於各種場景需求。
- 確保生成結果中光照效果與圖像整體風格和諧。
4. 圖像本質屬性保持
- 修改光照的同時保持圖像內在特性，如：
- 反射率（Albedo）：維持原始圖像的顏色和反射特性。
- 細節保真度：保留原圖中的紋理細節和形狀特性。
功能
- 避免因光照調整導致的圖像失真。
- 提高生成圖像的質量和真實性。
5. 支持高性能模型骨幹
- 支持多種擴散模型框架，如：
- Stable Diffusion 1.5/SDXL：用於高解像度圖像生成。
- Flux 模型：適用於處理大規模和複雜數據的任務。
功能
- 通過適配多種強大模型骨幹，增強方法的適用性。
- 支持更高解像度和更複雜場景的生成。
6. 靈活應用於多場景
- 提供多種應用功能，包括：
- 法線圖生成：根據光照條件生成高質量法線圖，用於3D渲染和增強現實（AR）。
- 藝術光效設計：支持藝術化的光照效果生成，滿足創意設計需求。
- 背景感知光照協調：根據背景調整圖像光照，提升整體協調性。
功能
- 實現從技術到藝術的多樣化應用，適應不同領域需求。
7. 優化訓練流程
- 結合多種數據源的優化訓練方法：
- 數據采樣概率動態調整，逐步提升高質量光照數據在訓練中的比例。
- 靈活的學習目標設計（如光照一致性損失）確保模型學習效果。
功能
- 提高訓練效率，減少模型在大規模數據上的偏差。
- 實現更高質量的光照編輯模型。
GitHub：https://github.com/lllyasviel/IC-Light/discussions/109
技術報告：https://openreview.net/pdf?id=u1cQYxRI1H
在線演示：https://huggingface.co/spaces/lllyasviel/iclight-v2-vary
