¿Qué es el fine-tuning? Definición y retos para la empresa

El fine-tuning adapta un modelo ya entrenado prosiguiendo su entrenamiento sobre un conjunto de datos propio de su caso de uso, lo que modifica sus parámetros internos. El RAG, en cambio, se limita a inyectar contexto en el momento de la consulta sin tocar el modelo. La diferencia condiciona el coste y el mantenimiento.

Conviven tres familias. El fine-tuning completo reajusta todos los parámetros y exige una potencia de cálculo elevada. El fine-tuning paramétricamente eficiente (PEFT), mediante la técnica LoRA, a menudo ajusta menos del 1 % de los parámetros y reduce con fuerza el número de parámetros a entrenar y la memoria necesaria, sin pérdida de calidad medida en el artículo original. El instruction tuning enseña al modelo a seguir consignas estructuradas más que a dominar un dominio de negocio.

No, es el reflejo a evitar. Es mejor seguir una lógica de escalada: probar primero en zero-shot, después few-shot, después RAG, y reservar el fine-tuning solo en cuarta posición. Un proyecto de fine-tuning completo compromete un presupuesto significativo, una competencia escasa y un mantenimiento pesado.

Caso ilustrativo. Tomemos un despacho de auditoría que quiere automatizar notas de análisis a partir de 5 000 notas históricas, sobre un modelo abierto de 70 mil millones de parámetros. Fine-tuning completo: unos 15 000 euros y 6 semanas, para una calidad óptima. Fine-tuning LoRA: 800 euros y 4 días, para el 90 % al 95 % de esa calidad. RAG sin fine-tuning: 50 euros y 1 día, del 75 % al 85 % de calidad, con reindexación automática en cada nueva nota.

Solo allí donde el RAG hace meseta: un estilo editorial muy específico a reproducir, una terminología de negocio inaccesible a las instrucciones, o una latencia crítica. En esos casos, priorice el fine-tuning paramétricamente eficiente (LoRA), que reduce con fuerza el coste de entrenamiento sin degradar de forma significativa la calidad, y conserve el RAG como complemento para la frescura documental.