Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Día 01
Visión general de la Inteligencia Empresarial de Big Data para el Análisis de Inteligencia Criminal
- Estudios de Caso en Aplicación de la Ley - Policía Predictiva
- Tasa de adopción de Big Data en agencias de aplicación de la ley y cómo están alineando sus operaciones futuras en torno al Análisis Predictivo de Big Data
- Soluciones tecnológicas emergentes, como sensores de disparos, videos de vigilancia y redes sociales
- Uso de la tecnología Big Data para mitigar la sobrecarga de información
- Integración de Big Data con sistemas heredados (Legacy)
- Comprensión básica de las tecnologías habilitadoras en el análisis predictivo
- Integración de datos y visualización en tableros de control
- Gestión del fraude
- Reglas empresariales y detección de fraude
- Detección de amenazas y perfilamiento
- Análisis de costo-beneficio para la implementación de Big Data
Introducción a Big Data
- Características principales de Big Data: Volumen, Variedad, Velocidad y Veracidad.
- Arquitectura MPP (Procesamiento Masivamente Paralelo)
- Bodegas de datos (Data Warehouses) – esquema estático, conjunto de datos que evoluciona lentamente
- Bases de datos MPP: Greenplum, Exadata, Teradata, Netezza, Vertica, entre otras
- Soluciones basadas en Hadoop – sin restricciones sobre la estructura del conjunto de datos.
- Patrón típico: HDFS, MapReduce (procesamiento), recuperación desde HDFS
- Apache Spark para procesamiento en tiempo real
- Lote: adecuado para análisis no interactivo
- Volumen: flujo de datos CEP
- Opciones típicas – productos CEP (por ejemplo, Infostreams, Apama, MarkLogic, etc.)
- Menos listos para producción – Storm/S4
- Bases de datos NoSQL – (columnares y clave-valor): las más adecuadas como complemento analítico a la bodega de datos / base de datos
Soluciones NoSQL
- Almacén de Clave-Valor (KV Store) - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- Almacén de Clave-Valor - Dynamo, Voldemort, Dynomite, SubRecord, MongoDB, DovetailDB
- Almacén de Clave-Valor (Jerárquico) - GT.m, Cache
- Almacén de Clave-Valor (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- Caché de Clave-Valor - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracotta
- Almacén de Tuplas - Gigaspaces, Coord, Apache River
- Base de datos de Objetos - ZopeDB, DB40, Shoal
- Almacén de Documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, Bases de Datos XML, ThruDB, CloudKit, Preserve, Riak-Basho, Scalaris
- Almacén Columnar Ancho - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Variedades de Datos: Introducción a los problemas de limpieza de datos en Big Data
- RDBMS – estructura/esquema estático, no promueve un entorno ágil y exploratorio.
- NoSQL – semiestructurado, con suficiente estructura para almacenar datos sin un esquema exacto previo al almacenamiento
- Problemas de limpieza de datos
Hadoop
- ¿Cuándo seleccionar Hadoop?
- DATOS ESTRUCTURADOS - Las bodegas de datos / bases de datos empresariales pueden almacenar grandes cantidades de datos (a un costo), pero imponen una estructura (no ideal para la exploración activa)
- Datos SEMIESTRUCTURADOS – difíciles de procesar con soluciones tradicionales (DW/DB)
- La creación de bodegas de datos requiere UN GRAN ESFUERZO y es estática incluso después de la implementación
- Para variedad y volumen de datos, procesados en hardware genérico – HADOOP
- Se necesita hardware genérico para crear un clúster Hadoop
Introducción a MapReduce / HDFS
- MapReduce – distribuye el cálculo entre varios servidores
- HDFS – hace que los datos estén disponibles localmente para el proceso de cómputo (con redundancia)
- Datos – pueden ser no estructurados o sin esquema (a diferencia de RDBMS)
- Responsabilidad del desarrollador para dar sentido a los datos
- Programar MapReduce implica trabajar con Java (pros y contras) y cargar manualmente los datos en HDFS
Día 02
Ecosistema de Big Data – Construcción de ETL (Extraer, Transformar, Cargar) de Big Data: ¿Qué herramientas de Big Data usar y cuándo?
- Hadoop frente a otras soluciones NoSQL
- Para acceso interactivo y aleatorio a los datos
- Hbase (base de datos orientada a columnas) sobre Hadoop
- Acceso aleatorio a los datos, pero con restricciones impuestas (máx. 1 PB)
- No es adecuado para análisis ad-hoc, pero sí para registros (logging), conteo y series temporales
- Sqoop: Importación desde bases de datos a Hive o HDFS (acceso JDBC/ODBC)
- Flume – Envío de datos en flujo (por ejemplo, datos de registro) a HDFS
Sistema de Gestión de Big Data
- Componentes móviles, nodos de cómputo que inician o fallan: ZooKeeper – Para servicios de configuración, coordinación y nombres
- Pipeline o flujo de trabajo complejo: Oozie – Gestionar el flujo de trabajo, dependencias y encadenamiento (daisy chain)
- Implementación, configuración, gestión de clústeres, actualizaciones, etc. (administración del sistema): Ambari
- En la Nube: Whirr
Análisis Predictivo – Técnicas Fundamentales e Inteligencia Empresarial basada en Aprendizaje Automático
- Introducción al Aprendizaje Automático
- Aprendizaje de técnicas de clasificación
- Predicción Bayesiana – preparación de un archivo de entrenamiento
- Máquina de Soporte Vectorial (SVM)
- Álgebra p-Tree de KNN y minería vertical
- Redes Neuronales
- Problema de grandes variables en Big Data – Bosque Aleatorio (RF)
- Problema de automatización en Big Data – Bosque Aleatorio de conjunto multi-modelo
- Automatización a través de Soft10-M
- Herramienta de análisis de texto - Treeminer
- Aprendizaje ágil
- Aprendizaje basado en agentes
- Aprendizaje distribuido
- Introducción a herramientas de código abierto para análisis predictivo: R, Python, Rapidminer, Mahout
Ecosistema del Análisis Predictivo y su aplicación en el Análisis de Inteligencia Criminal
- Tecnología y proceso investigativo
- Análisis de información (Insight analytic)
- Análisis visualización
- Análisis predictivo estructurado
- Análisis predictivo no estructurado
- Perfilamiento de amenazas/fraudstar/proveedores
- Motor de recomendación
- Detección de patrones
- Descubrimiento de reglas/escenarios – fallo, fraude, optimización
- Descubrimiento de la causa raíz
- Análisis de sentimiento
- Análisis CRM
- Análisis de redes
- Análisis de texto para obtener información a partir de transcripciones, declaraciones de testigos, comentarios en internet, etc.
- Revisión asistida por tecnología
- Análisis del fraude
- Análisis en tiempo real
Día 03
Análisis en Tiempo Real y Escalable sobre Hadoop
- Por qué fallan los algoritmos de análisis comunes en Hadoop/HDFS
- Apache Hama: para cálculo distribuido sincrónico masivo (Bulk Synchronous)
- Apache SPARK: para cómputo en clústeres y análisis en tiempo real
- CMU Graphics Lab2 - Enfoque asíncrono basado en grafos para el cómputo distribuido
- KNN p – Enfoque algebraico de Treeminer para reducir el costo operativo del hardware
Herramientas para eDiscovery y Forense
- eDiscovery en Big Data frente a datos heredados – una comparación de costos y rendimiento
- Codificación predictiva y Revisión Asistida por Tecnología (TAR)
- Demostración en vivo de vMiner para comprender cómo TAR permite un descubrimiento más rápido
- Indexación más rápida a través de HDFS – Velocidad de los datos
- PAL (Procesamiento del Lenguaje Natural) – productos y técnicas de código abierto
- eDiscovery en idiomas extranjeros – tecnología para el procesamiento de idiomas extranjeros
BI de Big Data para Ciberseguridad – Obtención de una visión de 360 grados, recopilación rápida de datos e identificación de amenazas
- Comprensión de los fundamentos del análisis de seguridad: superficie de ataque, configuración incorrecta de seguridad, defensas del host
- Infraestructura de red / gran tubería de datos / ETL de respuesta para análisis en tiempo real
- Predictivo vs Prescriptivo – Basado en reglas fijas frente al descubrimiento automático de reglas de amenaza a partir de metadatos
Recopilación de datos dispares para el Análisis de Inteligencia Criminal
- Uso del IoT (Internet de las Cosas) como sensores para capturar datos
- Uso de imágenes satelitales para la vigilancia nacional
- Uso de datos de vigilancia e imágenes para la identificación criminal
- Otras tecnologías de recopilación de datos – drones, cámaras corporales, sistemas de etiquetado GPS y tecnología de imagen térmica
- Combinar la recuperación automática de datos con la obtenida de informantes, interrogatorios e investigaciones
- Pronosticar la actividad criminal
Día 04
BI para la prevención del fraude a partir de Big Data en el Análisis de Fraude
- Clasificación básica del Análisis de Fraude – basado en reglas frente al análisis predictivo
- Aprendizaje supervisado frente al no supervisado para la detección de patrones de fraude
- Fraude entre empresas, fraude en reclamaciones médicas, fraude de seguros, evasión fiscal y lavado de dinero
Análisis de Redes Sociales – Recopilación y análisis de inteligencia
- Cómo los criminales utilizan las redes sociales para organizar, reclutar y planificar
- API ETL de Big Data para extraer datos de redes sociales
- Texto, imágenes, metadatos y video
- Análisis de sentimiento a partir del feed de redes sociales
- Filtrado contextual y no contextual del feed de redes sociales
- Tablero de control de Redes Sociales para integrar diversas plataformas
- Perfilamiento automatizado de perfiles de redes sociales
- Se realizará una demo en vivo de cada análisis a través de la Herramienta Treeminer
Análisis de Big Data en el procesamiento de imágenes y flujos de video
- Técnicas de almacenamiento de imágenes en Big Data – Solución de almacenamiento para datos que exceden los petabytes
- LTFS (Sistema de Archivos de Cinta Lineal) y LTO (Cinta Abierta Lineal)
- GPFS-LTFS (Sistema de Archivos Paralelos General - Sistema de Archivos de Cinta Lineal) – Solución de almacenamiento en capas para datos de imagen grandes
- Fundamentos del análisis de imágenes
- Reconocimiento de objetos
- Segmentación de imágenes
- Rastreo de movimiento
- Reconstrucción de imágenes 3D
Biométrica, ADN y Programas de Identificación de Nueva Generación
- Más allá de la huella dactilar y el reconocimiento facial
- Reconocimiento de voz, análisis de patrones de tecleo (keystroke) y CODIS (Sistema Combinado de Índices de ADN)
- Más allá de la coincidencia de ADN: uso del fenotipado forense de ADN para construir un rostro a partir de muestras de ADN
Tablero de control de Big Data para el acceso rápido y la visualización de diversos datos:
- Integración de la plataforma de aplicaciones existente con el Tablero de Control de Big Data
- Gestión de Big Data
- Caso de Estudio del Tablero de Control de Big Data: Tableau y Pentaho
- Uso de aplicaciones de Big Data para impulsar servicios basados en la ubicación en el gobierno
- Sistema y gestión de seguimiento
Día 05
Cómo justificar la implementación de BI de Big Data dentro de una organización:
- Definición del ROI (Retorno de la Inversión) para la implementación de Big Data
- Estudios de caso sobre el ahorro de tiempo de los analistas en la recopilación y preparación de datos – aumento de la productividad
- Ganancia de ingresos por menores costos de licencias de bases de datos
- Ganancia de ingresos a partir de servicios basados en la ubicación
- Ahorro de costos por prevención de fraude
- Un enfoque integrado basado en hojas de cálculo para calcular los gastos aproximados frente a la ganancia/ahorro de ingresos de la implementación de Big Data.
Procedimiento paso a paso para reemplazar un sistema de datos heredado con un Sistema de Big Data
- Hoja de ruta de migración de Big Data
- ¿Qué información crítica se necesita antes de arquitecturar un sistema de Big Data?
- ¿Cuáles son las diferentes formas de calcular el Volumen, Velocidad, Variedad y Veracidad de los datos?
- Cómo estimar el crecimiento de los datos
- Estudios de caso
Revisión de proveedores de Big Data y sus productos.
- Accenture
- APTEAN (anteriormente CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (anteriormente 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (parte de EMC)
Sesión de preguntas y respuestas
Requerimientos
- Conocimiento de los procesos de aplicación de la ley y los sistemas de datos
- Comprensión básica de SQL/Oracle o bases de datos relacionales
- Comprensión básica de estadísticas (nivel de hojas de cálculo)
Público Objetivo
- Especialistas en aplicación de la ley con formación técnica
35 Horas
Testimonios (3)
fundamentos y amó los documentos y ejercicios preparados
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Curso - Introduction to Predictive AI
Traducción Automática
Que fue muy priactico.
Alfonso Ramos - Banco de Mexico
Curso - Fundamentos de Integración de Datos Pentaho
Deepthi estaba muy atenta a mis necesidades, podía percibir cuándo añadir capas de complejidad y cuándo mantenerse atrás y adoptar un enfoque más estructurado. Deepthi realmente trabajó a mi ritmo y aseguró que pudiera utilizar las nuevas funciones/herramientas por mí mismo, primero mostrándome y luego dejándome recrear los elementos por mí mismo, lo cual ayudó mucho a consolidar la formación. ¡No podría estar más satisfecho con los resultados de esta capacitación y con el nivel de experiencia de Deepthi!
Deepthi - Invest Northern Ireland
Curso - IBM Cognos Analytics
Traducción Automática
