No todo necesita tiempo real: cuándo sí (y cuándo no) invertir en Big Data
'Necesitamos Big Data' es una de las frases que más escuchamos y menos se entiende hasta que preguntamos qué significa en ese negocio específico. A veces sí significa exactamente eso: millones de eventos por segundo que necesitan procesarse en el instante en que ocurren. Y a veces significa 'tenemos muchos datos en Excel' — que es un problema real, pero no es un problema de Big Data.
La pregunta que de verdad importa no es cuántos datos tienes, es qué tan rápido necesitas actuar sobre ellos. Detectar un fraude mientras la transacción está ocurriendo necesita streaming en tiempo real (Kafka, Spark Streaming). Generar el reporte de ventas del mes pasado no lo necesita, aunque involucre millones de filas — un proceso batch nocturno bien diseñado lo resuelve más barato y con menos partes que se puedan romper.
El error más caro que vemos es construir la arquitectura de streaming en tiempo real para un caso de uso que en realidad solo necesitaba un batch diario, porque 'tiempo real' suena más impresionante en una junta directiva. Esa decisión no solo cuesta más en infraestructura — cuesta más en gente, porque un pipeline en tiempo real que falla a las 3am necesita a alguien despierto para arreglarlo, mientras que un proceso batch que falla se puede reintentar en la madrugada sin que nadie se entere.
Por eso siempre empezamos por dimensionar el volumen y la velocidad real del negocio antes de tocar Hadoop, Spark o cualquier Data Lake: cuánta información se genera, qué tan seguido cambia, y qué decisión de negocio depende de verla en el instante versus verla mañana. Solo cuando la respuesta de verdad exige tiempo real diseñamos para eso — con zonas de datos crudos, procesados y curados claramente separadas, para que un error en el pipeline no contamine el dato que ya está usando el negocio.
La disciplina más subestimada en un proyecto de Big Data no es la ingeniería — es la honestidad para decirle a un cliente 'esto no necesita lo que estás pidiendo', incluso cuando lo que están pidiendo es más caro y, por lo tanto, más rentable para nosotros venderlo.