Inicio Ciencia Guía muestra cómo ajustar TRELLIS.2 con LoRA para generar zapatos 3D más...

Guía muestra cómo ajustar TRELLIS.2 con LoRA para generar zapatos 3D más precisos

0
62
Guía muestra cómo ajustar TRELLIS.2 con LoRA para generar zapatos 3D más precisos

Hugging Face publicó una guía con scripts y contenedores Docker para hacer fine-tuning de TRELLIS.2, modelo de generación 3D, usando adaptadores LoRA. En el experimento con 188 calzados del dataset GSO, los adaptadores se aplicaron solo a los dos componentes que controlan la geometría, mientras la etapa de textura quedó congelada. Según la publicación, el F-score promedio subió de 0,276 a 0,803 en nueve objetos de prueba.

Hugging Face publicó una guía práctica para ajustar TRELLIS.2, modelo de generación 3D, a una categoría específica de objetos usando adaptadores LoRA. El material incluye scripts, contenedores Docker e instrucciones para ejecutar el entrenamiento localmente o en Hugging Face Jobs, servicio de cargas de trabajo en contenedor en la nube.

Según la publicación, el objetivo del experimento fue mejorar el desempeño de TRELLIS.2 en un tipo de objeto del dataset Google Scanned Objects (GSO). El equipo usó un subconjunto con 188 calzados y observó que el modelo preentrenado solía generar zapatos visualmente correctos, pero con suelas incorrectas.

Cómo genera TRELLIS.2 un objeto 3D

El texto describe cinco etapas principales en el pipeline: eliminación del fondo de la imagen, codificación de la imagen, predicción de la estructura gruesa, generación de la geometría detallada y generación de materiales. Al final, el resultado se exporta como una malla texturizada en GLB.

En la primera etapa, BiRefNet elimina el fondo de la imagen de entrada. Luego, DINOv3-L codifica la imagen en tokens de características que orientan la generación. El DiT de flujo de estructura dispersa predice la forma gruesa del objeto, y un decodificador VAE transforma ese latente en una cuadrícula de ocupación de 64 x 64 x 64.

La publicación explica que el formato interno O-Voxel es una cuadrícula de vóxeles dispersa que mantiene solo los vóxeles en la superficie del objeto, con geometría local y atributos de material. Según el texto, el modelo usa aproximadamente el 10% de los vóxeles de la cuadrícula, lo que evita gastar cómputo en regiones vacías.

Dónde se aplicaron los adaptadores LoRA

El equipo agregó adaptadores LoRA solo al DiT de flujo de estructura dispersa y al DiT de flujo de forma, que controlan la estructura y la geometría del objeto. El DiT de flujo de textura se congeló.

La justificación presentada es que el dataset contiene mapas de color difuso con efectos de iluminación incorporados, pero no los mapas de material separados necesarios para entrenar esa etapa. Según el texto, entrenar el flujo de textura en esos mapas podría enseñar al modelo a tratar la iluminación como propiedad de superficie y causar olvido catastrófico.

La guía usa la biblioteca PEFT, de Hugging Face, para insertar los adaptadores. Como TRELLIS.2 tiene un paso de propagación personalizado, el texto informa que el wrapper estándar PeftModel no funciona y que se usó la función inject_adapter_in_model para agregar los adaptadores directamente al modelo.

La configuración entrena aproximadamente 9,3 millones de parámetros de adaptador en total para los dos DiTs. Son adaptadores de rango 8 en las capas de atención y MLP del DiT de estructura dispersa y de rango 16 en las capas de atención del DiT de forma.

Preparación de los datos y resultados

El preprocesamiento usa Blender para renderizar 16 vistas de cada objeto, que sirven como imágenes de condicionamiento en el entrenamiento. Según la publicación, la ejecución completa para los 188 objetos tomó aproximadamente 1 hora en un job a100-large. Nueve objetos se reservaron para evaluación, y el entrenamiento usó los otros 179.

Cada ejecución de entrenamiento usó una A100 de 80 GB en Hugging Face Jobs. El entrenamiento del adaptador de estructura dispersa tomó 7,2 horas, y el de forma, 3,6 horas. El texto resalta que las curvas de pérdida muestran cómo cambia el objetivo de entrenamiento, pero no miden directamente la calidad de la geometría generada.

En la comparación con nueve objetos de prueba, el modelo base tuvo un F-score promedio de 0,276, frente a 0,803 con los adaptadores de calzado. La distancia de Chamfer bajó de 0,174 a 0,033, y la consistencia de normales subió de 0,530 a 0,804. Según el texto, con los dos adaptadores el F-score fue mejor en los nueve objetos reservados para evaluación.

La publicación afirma que, en los ejemplos comparados, las suelas generadas por el modelo ajustado quedaron más cerca de los escaneos de referencia. Los adaptadores entrenados están disponibles en un repositorio en Hugging Face.

La principal lección destacada por los autores es elegir un objetivo de entrenamiento que combine con el problema y con los datos disponibles. Para el experimento, las etapas de estructura y forma se ajustaron, y la etapa de textura se congeló.

Como próximos pasos, el texto menciona verificar si las mismas decisiones ayudan a otros modelos de generación 3D, como Pixal3D y UniLat3D, además de modelos de Gaussian splatting y generación de mundos, como HunyuanWorld 2.0 y NVIDIA Lyra 2.0. La publicación no presenta resultados de esas pruebas futuras, y las cifras citadas se refieren solo al experimento con calzado del GSO.

Fuente original: Hugging Face — The Definitive Fine-Tuning Guide for 3D Generation Models.

Recibe Radar de IA todos los días

Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.

Sin spam. Cancela cuando quieras.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí