• Webinar Procesamientos GIS Distribuidos
  • ES
  • EN
  • Avda. de Grecia 8. 41012 Sevilla, España
  • |
  • www.geographica.gs

Big Data

Estamos produciendo datos constantemente pero ¿a quién pertenecen en realidad?

¿Nos pertenecen los datos?

Escrito el 26/12/2016 por azahara

 

¿Nos pertenecen los datos?

La revolución del Big Data trasciende el plano tecnológico. Estar inmersos en un océano de datos significa también generar información a diario procedente de las más distintas fuentes y actividades.

Un entorno en el que la privacidad gana importancia por las constantes vulneraciones o usos que, aun siendo legales, no siempre se consideran éticos. A la par que se plantean cada vez mayores desafíos en protección de datos. [Read more…]

Big DataIoT
Escrito el 26/12/2016 por
 azahara
COMPARTIR
Fecha: Big Data, IoT | Tagged: Big Data, Data, datos, IoT, privacidad

enfoque y aplicaciones claves que aporta el machine learning frente a la inteligencia artificial

¿Cuáles son las principales diferencias entre Inteligencia Artificial y Machine Learning?

Escrito el 15/12/2016 por azahara

machine learning

En este post veremos el enfoque y aplicaciones claves que aporta el machine learning como elemento distintivo, frente a un contexto general de inteligencia artificial que engloba ésta y otras áreas. [Read more…]

Big DataDatascience
Escrito el 15/12/2016 por
 azahara
COMPARTIR
Fecha: Big Data, Datascience | Tagged: deep learning, inteligencia artificial, Machine Learning

Cómo llevar a término una visión de Smart Cities indefectiblemente se acaba apoyando en los grandes volúmenes de datos.

Cómo el Big Data puede ayudar a construir las Smart Cities

Escrito el 14/12/2016 por azahara

Smart Cities

En el contexto de las smart cities, el universo de Big Data, IoT, M2M y otras tecnologías afines son un gran aliado para que aquellas se concreten en una realidad tangible. Es más, el concepto de ciudad inteligente no se concibe al margen de ellas, pues por diferentes que sean sus desarrollos, de un modo u otro será deudora de las mismas.

[Read more…]

Big DataSmart Cities
Escrito el 14/12/2016 por
 azahara
COMPARTIR
Fecha: Big Data, Smart Cities | Tagged: Big Data, Big Data y Smart Cities, Smart Cities

Big Data e IoT, como los grandes aliados.

Cómo llevar las aplicaciones de geolocalización al siguiente nivel gracias al Big Data

Escrito el 29/11/2016 por azahara

Nos pertenecen los datos

Las aplicaciones de geolocalización y aquellas otras que, sin ser específicas, incluyen la dimensión espacial, son cada vez más numerosas. No en vano, aún siendo heterogéneos, muchos de los datos generados el Big Data y el Internet de las Cosas –IoT– se caracterizan por su componente geográfico. En este artículo te contamos cómo llevar las aplicaciones de geolocalización al siguiente nivel. 

[Read more…]

Big DataGISIoT
Escrito el 29/11/2016 por
 azahara
COMPARTIR
Fecha: Big Data, GIS, IoT | Tagged: Big Data, geolocalización, IoT, Smart City

La extracción, selección y análisis de los datos aportan ventajas competitivas a las empresas

Cómo utilizar la minería de datos para generar Inteligencia Empresarial

Escrito el 15/11/2016 por azahara

La minería de datos mejora la inteligencia empresarial

Desde que surgieron las primeras formas de escritura hasta la actualidad, el ser humano ha tenido la necesidad de almacenar información, de manera que esta se ha ido volviendo cada vez más abundante y copiosa con el paso del tiempo.

[Read more…]

Big Data
Escrito el 15/11/2016 por
 azahara
COMPARTIR
Fecha: Big Data | Tagged: Big Data, Business Intelligence, Inteligencia empresarial, M2M, Minería de datos, Smart Cities

Las empresas aumentan su eficacia con el uso de Data Visualization

9 + 1 ejemplos de Dataviz para ayudar a las empresas a ser más eficientes

Escrito el 02/11/2016 por azahara

Dataviz para ayudar a las empresas

La visualización es una de las formas más primitivas de comunicación conocidos por el hombre. Es por ello que la visión es la única facultad que una persona utiliza para comunicarse y compartir información. Hoy vamos a analizar diferentes usos de Dataviz para ayudar a las empresas a ser más eficientes.

[Read more…]

Big DataMapaSpatial intelligence
Escrito el 02/11/2016 por
 azahara
COMPARTIR
Fecha: Big Data, Mapa, Spatial intelligence | Tagged: DataViz, datos, empresas, toma de decisiones, Visualización de datos

IoT y M2M, dos conceptos parecidos pero diferentes, para mejorar empresas y smart cities

Diferencias entre IoT y M2M

Escrito el 25/10/2016 por azahara

IoT y M2M

El gran desafío que supone la revolución de Big Data plantea numerosos retos que resultan más fáciles de abordar gracias al desarrollo de las industrias vinculadas a las tecnologías de la información y las comunicaciones. Hoy queremos analizar la diferencia entre IoT y M2M.

[Read more…]

Big DataDatascience
Escrito el 25/10/2016 por
 azahara
COMPARTIR
Fecha: Big Data, Datascience | Tagged: Big Data, IoT, M2M, Smart Cities, Smart City

Grandes volúmenes de datos para ayudar a la toma de decisiones

Diferencias entre Data Science y Big Data

Escrito el 11/10/2016 por azahara

Big Data y Data Science

Los términos Big Data y Data Science se asocian con los grandes volúmenes de datos que caracterizan la nueva era tecnológica. En particular, con la recogida, análisis y, como objetivo último, extracción de valor de esos datos para ayudar en la toma de decisiones.

[Read more…]

Big DataDatascienceOpen source
Escrito el 11/10/2016 por
 azahara
COMPARTIR
Fecha: Big Data, Datascience, Open source | Tagged: Big Data, Data, Data Science, IoT, Smart Cities, Smart City, Tecnologías

Datos para predecir el futuro

Haz que los datos cuenten, predice el futuro con el Machine Learning

Escrito el 27/09/2016 por azahara

Make data count

Los nuevos tiempos están marcados por el signo de la era digital, la globalización y la ingente cantidad de datos generados a diario, el Big Data que viene aparejado a grandes desafíos y no menores oportunidades. [Read more…]

Big DataIndicadores
Escrito el 27/09/2016 por
 azahara
COMPARTIR
Fecha: Big Data, Indicadores | Tagged: Big Data, Datos para el aprendizaje, Machine Learning, Make data count, Predicción del futuro

Generando tiles con Mapnik

Hacia un motor de tiles basado en Spark

Escrito el 10/05/2015 por Alberto Asuero

¿Por qué hacer tiles? Por una cuestión de eficiencia y rapidez. Crear tiles consiste en hacer una pirámide del mundo y renderizar las imágenes previamente. De esta forma nuestros mapas son más rápidos porque solo descargan imágenes que ya han sido renderizadas.

Los servicios WMS estaban bien hace años pero hoy en día las necesidades son diferentes, y hay soluciones mucho mejores para aplicaciones con gran cantidad de usuarios. Tienen su uso justificado, pero no es una solución para aplicaciones escalables.

Os cuento un poco nuestra experiencia:

Tileamos la ortofoto de Andalucía a un nivel de detalle considerable (Nivel 18). Para esto usamos gdal2tiles.py. El primer problema fueron los formatos de las ortofotos, para el año 1956 era un MrSID y tuvimos que luchar un poco con GDAL. El segundo problema, y mucho más difícil, fue crear el mosaico.

Tiles: El rompido, 1956 vs 1979
El Rompido, año 1956 a la izquierda y año 1979 a la derecha

Esta disponible en Carto. Sevilla año 1956 – Sevilla año 1979

Lo conseguimos, quedo muy bien pero tardaba demasiado, concretamente 50 días. Era inaceptable por lo que nos pusimos manos a la obra para mejorar los tiempos y de paso tener algo que nos permitiera coger datos desde las fuentes de datos más comunes.

El objetivo era tilear los mapas de todas nuestras aplicaciones sin importar el formato en el que estuvieran los datos. Creamos Equidna – 100% OpenSource -, y con ella hemos generado cientos de mapas para diferentes clientes y hemos reducido bastante los tiempos debido a que usamos todos los procesadores de la máquina. La mejora fue sustancial, con gdal2tiles tardábamos 50 días con Equidna llegamos a 30.

Equidna está basado en Mapnik y permite hacer tiles con casi cualquier fuente de datos: PostGIS, Shapefiles, GeoJSONs, GDAL, raster, etc…

Ahora trabajamos en una mejora basada en BigData con un algoritmo de Map/Reduce (aunque no me guste utilizar el término “BigData” creo que se entiende mejor). Con este nuevo enfoque asignamos a cada máquina una región del mundo y los resultados los escribimos en un sistema de ficheros distribuido.

De esta forma, en una plataforma elástica cómo Amazon EC2 podemos lanzar N máquinas, de forma que si un proceso tarda 50 días, si lanzamos 50 máquinas tardará 1 día (aprox.) y nos costará lo mismo. El sistema base sobre el que estamos desarrollando esta plataforma es Spark.

En unos meses publicaremos los resultados, y por supuesto, será OpenSource.

¡Hasta pronto!

Big DataGISOpen source
GEO_blog_alberto
Escrito el 10/05/2015 por
 Alberto Asuero
Chief Technology Officer
COMPARTIR
Fecha: Big Data, GIS, Open source | Tagged: Equidna, geographica, Mapnik, Spark, Tiles

© 2023 Geographica. Todos los derechos reservados.

  • English
  • Español