Algoritmo de aprendizaje reforzado para software de modelado basado en mapas cognitivos difusos

Autores/as

  • Iván Santana Ching UCLV
  • Ariel Barreiros Universidad Central Marta Abreu de Las Villas
  • Richar Sosa Universidad Central Marta Abreu de Las Villas

Palabras clave:

Aprendizaje Automático; Aprendizaje Reforzado; Mapas Cognitivos Difusos

Resumen

Los Mapas Cognitivos Difusos son una herramienta potente con la que se puede llegar a modelar sistemas complejos con dinámicas indeterminadas, además de ser interpretables. Sin embargo, en ocasiones es difícil determinar con precisión las relaciones que se producen entre los conceptos de un sistema. En investigaciones previas se diseñó y desarrolló una biblioteca de software capaz de crear este tipo de modelos, y ajustarlos con buena precisión. Para lograr un buen ajuste de las matrices de pesos de un modelo utilizando el algoritmo de aprendizaje disponible es necesario que se desarrolle a partir de un conjunto de valores específicos. En esta investigación se introdujo un nuevo algoritmo de Aprendizaje Automático a la biblioteca, que emplea técnicas de Aprendizaje Reforzado. Esto permite un mejor ajuste de las matrices de pesos, aún al enfrentarse el aprendizaje a incertidumbre en la inicialización de los valores del modelo. Los resultados reflejan que un modelo que se obtiene empleando la biblioteca con las modificaciones, se ajusta correctamente al comportamiento del sistema que emula en un mayor número de situaciones. La calidad del modelo se relaciona directamente con las iteraciones que se realicen para entrenarlo, siendo favorable un aumento de las mismas. Para la obtención de los resultados se emplearon datos de simulación de un circuito RLC a los cuales se le adicionó una señal de ruido para lograr una mayor semejanza a datos de procesos reales.

Citas

Chen, R. Y. (2018). A traceability chain algorithm for artificial neural networks using T–S fuzzy cognitive maps in blockchain. Future Generation Computer Systems, 80, 198-210.

Cielen, D., Meysman, A. & Ali, M. (2016). Introducing data science: big data, machine learning, and more, using Python tools: Manning Publications Co.

Fang, M., Li, Y. & Cohn, T. (2017). Learning how to Active Learn: A Deep Reinforcement Learning Approach. Paper presented at the Conference on Empirical Methods in Natural Language Processing.

François-Lavet, V., Henderson, P., Islam, R., Bellemare, MG. & Pineau, J. (2018). An introduction to deep reinforcement learning. Foundations Trends® in Machine Learning, 11(3-4), 219-354.

George, G., Osinga, E. C., Lavie, D. & Scott, B. A. (2016). Big data and data science methods for management research. In: Academy of Management Briarcliff Manor, New York.

Hirasawa, T., Aoyama, K., Tanimoto, T., Ishihara, S., Shichijo, S., Ozawa, T., . . . Fujisaki, J. (2018). Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer, 21(4), 653-60.

Jenitha, G. y Kumaravel, A. (2014). An Instance of Reinforcement Learning Based on Fuzzy Cognitive Maps. International Journal of Applied Engineering Research, 9(18), 3913-20.

Kosko, B. (1986). Fuzzy cognitive maps. International journal of man-machine studies, 24(1), 65-75.

Lange, S., Gabel, T. & Riedmiller, M. (2012). Batch Reinforcement Learning. In M. Wiering y M. van Otterlo (Eds.), Reinforcement Learning: State-of-the-Art (pp. 45-73). Berlin, Heidelberg: Springer Berlin Heidelberg.

Madruga, A., Alvarado, Y., Sosa, R., Santana, I. y Mesa, J. R. (2019). Modelo de crecimiento y desarrollo de hortalizas en casas de cultivo mediante mapas cognitivos difusos. Revista Cubana de Ciencias Informáticas, 13(2), 47-60.

Mendonça, M., Chrun, I. R., Neves Jr, F. & Arruda, L. V. (2017). A cooperative architecture for swarm robotic based on dynamic fuzzy cognitive maps. Engineering Applications of Artificial Intelligence, 59, 122-132.

Polydoros, A. S. & Nalpantidis, L. (2017). Survey of model-based reinforcement learning: Applications on robotics. Journal of Intelligent Robotic Systems, 86(2), 153-173.

Sewak, M. (2019). Q-Learning in Code. In Deep Reinforcement Learning (pp. 65-74): Springer.

Sosa, R., Alfonso, A., Nápoles, G., Bello, R., Vanhoof, K. & Nowé, A. (2019). Synaptic Learning of Long-Term Cognitive Networks with Inputs. Paper presented at the 2019 International Joint Conference on Neural Networks (IJCNN).

Sutton, R. S. & Barto, A. G. (2018). Reinforcement learning: An introduction: MIT press.

Topol, EJ. (2019). High-performance medicine: the convergence of human and artificial intelligence. Nature medicine, 25(1), 44-56.

Venkatasubramanian, V. (2019). The promise of artificial intelligence in chemical engineering: Is it here, finally? AIChE Journal, 65(2), 466-478. doi:10.1002/aic.16489

Wu, L., Tian, F., Qin, T., Lai, J. & Liu, T.Y. (2018). A study of reinforcement learning for neural machine translation. arXiv preprint arXiv:.08866.

Yin, S., Li, X., Gao, H. & Kaynak, O. (2014). Data-based techniques focused on modern industry: An overview. IEEE Transactions on Industrial Electronics, 62(1), 657-67.

Yousefi, F. & Amoozandeh, Z. (2016). Statistical mechanics and artificial intelligence to model the thermodynamic properties of pure and mixture of ionic liquids. Chinese Journal of Chemical Engineering, 24(12), 1761-71.

Zhang, D., Han, X. & Deng, C. (2018). Review on the research and practice of deep learning and reinforcement learning in smart grids. CSEE Journal of Power Energy Systems, 4(3), 362-70.

Descargas

Publicado

2021-03-07

Cómo citar

Santana Ching, I., Barreiros, A., & Sosa, R. (2021). Algoritmo de aprendizaje reforzado para software de modelado basado en mapas cognitivos difusos. Revista Cubana De Transformación Digital, 2(1), 66–78. Recuperado a partir de https://rctd.uic.cu/rctd/article/view/97