Tecnologías de Big Data geoespacial en el Centro de Información Geoespacial de Geocuba
Palabras clave:
Big Data Geoespacial, Centro de Información Geoespacial, Infraestructura de Datos EspacialesResumen
Desde 2006 la Agencia GeoMIX, de GEOCUBA, ha estado lidiando con los problemas relacionados con BigData en el marco del proyecto de Gestión y Control de Flotas, Movilweb. El gran volumen de información, la variedad de la misma y la velocidad con que se requieren los análisis han sido una constante en este trabajo. Hasta hace poco las soluciones a estos problemas estuvieron siempre relacionadas con cambios de arquitectura, optimización de índices, incremento de recursos de cómputo, etc. Aunque las tecnologías relacionadas con BigData ya se utilizaban en el contexto global, no es hasta hace poco que, gracias a las bondades de Docker, se habilitaron para una más amplia utilización. En el marco de esta investigación permitió probar y evaluar una variedad de herramientas de este tipo y considerarlas como componentes de nuestras arquitecturas. Durante este periodo se han evaluado tres tecnologías de BigData Geoespacial que son Geomesa, Geogrellis y MrGeo en un experimento cuyo objetivo es completar un flujo de gestión que comprende desde la ingestión en el clúster de BigData hasta su publicación como Servicio Web, tanto de datos vectoriales como ráster. El completamiento de este flujo garantiza la generación de una cadena de valor agregado sobre estos datos geoespaciales primarios. El presente trabajo expone las experiencias obtenidas en el trabajo con BigData Geoespacial, su vinculación a algunos proyectos actuales y las perspectivas futuras de su utilización en el Centro de Información Geoespacial de GEOCUBA.
Citas
Abreus, Y. A. (2006). Tipos de fragmentación en bases de datos distribuidas. Ingeniería Industrial, 27(1), 3–6.
Cugler, D. C., Oliver, D., Evans, M. R., Shekhar, S., & Medeiros, C. B. (2013). Spatial big data: Platforms, analytics, and science. GeoJournal. https://pdfs.semanticscholar.org/c64e/b7f733cf78573e962c6b5df24860eed3aabe.pdf
de la Beaujardiere, J. (2003). OGC Implementation Specification OGC 01-068r3: OpenGIS Web Map Service. Open Geospatial Consortium. http://www.opengeospatial.org/standards/wms
Fernandez, P. M., Martínez, D. O., García, E. P., & Lorenzo, F. B. (s. f.). Vehículos aéreos no tripulados (vant) en cuba, aplicados a la Geomática. Estado actual, perspectivas y desarrollo.
Furht, B., & Villanustre, F. (2016). Introduction to big data. En Big data technologies and applications (pp. 3–11). Springer.
GDAL. (2012). GDAL - Geospatial Data Abstraction Library. http://www.gdal.org/
González Suarez, G., Capote Fernández, J. L., Cruz Iglesias, R., Batule Dominguez, M., Farre Rosales, D., & Fernández Águila, L. (2018, marzo 15). Movilweb sistema de control de flotas, estado actual y perspectivas. Informática Habana 2018. X CONGRESO INTERNACIONAL DE GEOMÁTICA 2018, La Habana, Cuba. http://www.informaticahabana.cu/es/node/4495
Graser, A. (2017, agosto 27). Getting started with GeoMesa using Geodocker | Free and Open Source GIS Ramblings. https://anitagraser.com/2017/08/27/getting-started-with-geomesa-using-geodocker/
Hughes, J. N., Annex, A., Eichelberger, C. N., Fox, A., Hulbert, A., & Ronquest, M. (2015). Geomesa: A distributed architecture for spatio-temporal fusion. Geospatial Informatics, Fusion, and Motion Video Analytics V, 9473, 94730F.
Kim, G., Humble, J., Debois, P., & Willis, J. (2015). The DevOps HandBook. IT Revolution.
Locationtech Labs. (2018). GeoTrellis for PySpark. Contribute to locationtech-labs/geopyspark development by creating an account on GitHub [Python]. LocationTech Labs. https://github.com/locationtech-labs/geopyspark (Original work published 2016)
Abreus, Y. A. (2006). Tipos de fragmentación en bases de datos distribuidas. Ingeniería Industrial, 27(1), 3–6.
Cugler, D. C., Oliver, D., Evans, M. R., Shekhar, S., & Medeiros, C. B. (2013). Spatial big data: Platforms, analytics, and science. GeoJournal. https://pdfs.semanticscholar.org/c64e/b7f733cf78573e962c6b5df24860eed3aabe.pdf
de la Beaujardiere, J. (2003). OGC Implementation Specification OGC 01-068r3: OpenGIS Web Map Service. Open Geospatial Consortium. http://www.opengeospatial.org/standards/wms
Fernandez, P. M., Martínez, D. O., García, E. P., & Lorenzo, F. B. (s. f.). Vehículos aéreos no tripulados (vant) en cuba, aplicados a la Geomática. Estado actual, perspectivas y desarrollo.
Furht, B., & Villanustre, F. (2016). Introduction to big data. En Big data technologies and applications (pp. 3–11). Springer.
GDAL. (2012). GDAL - Geospatial Data Abstraction Library. http://www.gdal.org/
González Suarez, G., Capote Fernández, J. L., Cruz Iglesias, R., Batule Dominguez, M., Farre Rosales, D., & Fernández Águila, L. (2018, marzo 15). Movilweb sistema de control de flotas, estado actual y perspectivas. Informática Habana 2018. X CONGRESO INTERNACIONAL DE GEOMÁTICA 2018, La Habana, Cuba. http://www.informaticahabana.cu/es/node/4495
Graser, A. (2017, agosto 27). Getting started with GeoMesa using Geodocker | Free and Open Source GIS Ramblings. https://anitagraser.com/2017/08/27/getting-started-with-geomesa-using-geodocker/
Hughes, J. N., Annex, A., Eichelberger, C. N., Fox, A., Hulbert, A., & Ronquest, M. (2015). Geomesa: A distributed architecture for spatio-temporal fusion. Geospatial Informatics, Fusion, and Motion Video Analytics V, 9473, 94730F.
Kim, G., Humble, J., Debois, P., & Willis, J. (2015). The DevOps HandBook. IT Revolution.
Locationtech Labs. (2018). GeoTrellis for PySpark. Contribute to locationtech-labs/geopyspark development by creating an account on GitHub [Python]. LocationTech Labs. https://github.com/locationtech-labs/geopyspark (Original work published 2016)
McCoy, M. D. (2017). Geospatial Big Data and archaeology: Prospects and problems too great to ignore. Journal of Archaeological Science, 84, 74–94.
Mohammed, F., Idries, A., Mohamed, N., Al-Jaroodi, J., & Jawhar, I. (2014). UAVs for smart cities: Opportunities and challenges. Unmanned Aircraft Systems (ICUAS), 2014 International Conference on, 267–273.
Moreno, C. S., Valenti, H. R., Rubio, D. M., & Gonzalez, C. J. (2016). Experiencias de Implementación de Despliegue Continuo con una Infraestructura “Conteinerizada”.
NGA. (2015). Home • ngageoint/mrgeo Wiki • GitHub. https://github.com/ngageoint/mrgeo/wiki
OSGeo. (2018). Geotrellis. Geotrellis. https://www.osgeo.org/projects/geotrellis/
Percivall, G., Reichardt, M., & Taylor, T. (2015). Common Approach To Geoprocessing of Uav Data Across Application Domains. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 40(1), 275.
Schut, P. (2007). OGC Implementation Specification 05-007r7: OpenGIS Web Processing Service.
Shekhar, S. (2012). Spatial big data challenges. Keynote at ARO/NSF Workshop on Big Data at Large: Applications and Algorithms, Durham, NC. http://www-users.cs.umn.edu/~shekhar/talk/2012/12.11.sbd.acmgis.pdf
Vretanos, A. (2005). OGC Implementation Specification 04-094: Web Feature Service Implementation Specification. Technical report. Open Geospatial Consortium. http://www.opengeospatial.org/standards/wfs
Willis, J. (2012). The convergence of DevOps. DevOps Blog.
Yao, X., Mokbel, M. F., Alarabi, L., Eldawy, A., Yang, J., Yun, W., Li, L., Ye, S., & Zhu, D. (2017). Spatial coding-based approach for partitioning big spatial data in Hadoop. Computers & Geosciences, 106, 60–67.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2020 José Luis Capote Fernández, Rafael Cruz Iglesias
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
