Estrategias de ingeniería para el ajuste fino supervisado y eficiente de los LLM específicos de dominio: un estudio de caso sobre patrimonio cultural

Reynier Hernández Palacios; Reynaldo  Alonso Reyes

Autores/as

Reynier Hernández Palacios Universidad de Camagüey
Reynaldo Alonso Reyes Universidad de Camagüey "Ignacio Agramonte Loynaz"

Palabras clave:

Modelos de lenguaje grandes, ajuste fino supervisado, adaptación de dominio, ajuste fino con eficiencia de parámetros, sistemas de preguntas y respuestas

Resumen

Los modelos de lenguaje de gran tamaño (LLMs) muestran un alto rendimiento en tareas generales, pero su adaptación a dominios altamente especializados sigue siendo un desafío bajo restricciones computacionales. Este trabajo presenta un estudio de caso metodológico de supervised fine-tuning (SFT) del modelo Qwen 1.5 de 7B parámetros para tareas de pregunta–respuesta en un dominio especializado, utilizando el patrimonio cultural como caso de validación. Se propone un pipeline eficiente en recursos que combina técnicas de adaptación eficiente de parámetros y optimización computacional, incluyendo DoRA, QLoRA con cuantización de baja precisión, Flash Attention y gradient checkpointing, permitiendo el entrenamiento en hardware de consumo (NVIDIA RTX 3090, 24 GB de VRAM). El modelo fue ajustado sobre un dataset de 1,000 a 4,000 pares de preguntas y respuestas, generado de forma asistida por LLMs y validado mediante revisión experta. La evaluación cualitativa sistemática mostró mejoras claras en contextualización específica del dominio y reducción de errores respecto al modelo base. Los resultados demuestran la viabilidad de especializar LLMs en dominios altamente contextuales bajo entornos de recursos limitados y aportan un marco metodológico replicable para proyectos de adaptación de dominio.

Citas

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., ... Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877-1901.

Chen, T., Xu, B., Zhang, C., & Guestrin, C. (2016). Training deep nets with sublinear memory cost. arXiv preprint arXiv:1604.06174.

Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & Ré, C. (2022). FlashAttention: Fast and memory-efficient exact attention with IO-awareness. Advances in Neural Information Processing Systems, 35, 16344-16359.

Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient fine-tuning of quantized LLMs. Advances in Neural Information Processing Systems, 36.

Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't stop pretraining: Adapt language models to domains and tasks. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 8342-8360.

Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-rank adaptation of large language models. International Conference on Learning Representations.

Kestemont, M., Manjavacas, E., & Daelemans, W. (2022). LLMs in digital humanities research. Proceedings of the Computational Humanities Research Conference 2022, 311-326.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

Liu, S., Wang, C., Yin, H., Molchanov, P., Wang, Y. C., Cheng, K. T., & Chen, M. H. (2024). DoRA: Weight-decomposed low-rank adaptation. arXiv preprint arXiv:2402.09353.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140), 1-67.

Schofield, A., Thompson, P., & Mimno, D. (2023). Humanities scholars and the use of large language models. Digital Scholarship in the Humanities, 38(4), 1567-1582.

Zhao, W. X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., Min, Y., Zhang, B., Zhang, J., Dong, Z., Du, Y., Yang, C., Chen, Y., Chen, Z., Jiang, J., Ren, R., Li, Y., Tang, X., Liu, Z., ... Wen, J. R. (2023). A survey of large language models. arXiv preprint arXiv:2303.18223.