Backend, Data Engineering e IA con foco en datos confiables

Resumen profesional

Diseño sistemas donde los datos son confiables, trazables y recuperables. Parto de la información —qué existe, cómo crece, dónde debe almacenarse y cómo se comprueba— y construyo alrededor de ella el backend y la operación que la sostienen, no al revés.

Mi experiencia cubre procesamiento de datos en Python, bases de datos relacionales, almacenamiento de objetos, APIs y servicios, y administración de entornos Linux y cloud. Mantengo separadas las capacidades demostradas, la experiencia complementaria y las áreas que todavía estoy profundizando.

Capacidades por nivel de evidencia

Los casos relacionados documentan una selección de decisiones y resultados; no funcionan como un inventario exhaustivo de tecnologías.

Procesamiento y transformación

El procesamiento de datos es el núcleo de mi trabajo actual, principalmente en Python. La parte aplicada y verificada usa Polars y DuckDB, incluida una demostración columnar —escritura, consulta y relectura— respaldada por pruebas, con formatos columnares como Parquet y PyArrow. Pandas y NumPy forman parte de mi experiencia previa con datos.

La orquestación de pipelines es un trabajo en curso dentro del Personal Data Lake. El catálogo PostgreSQL ya está implementado y verificado; los conectores, la ingesta automatizada, la reconciliación, la retención y la ejecución programada se mantienen como capacidades futuras.

Almacenamiento y modelado

Modelo el almacenamiento según el dato y sus garantías. PostgreSQL es mi base relacional aplicada: el catálogo registra ubicaciones verificadas, deduplica por SHA-256 y conserva auditoría de cada intento. MySQL y Oracle pertenecen a la experiencia previa.

El criterio que aplico es decidir qué almacenar en cada sistema: datos transaccionales en una base relacional, conjuntos analíticos en formatos columnares y originales en almacenamiento de objetos con integridad verificada, cada uno con sus condiciones de acceso y recuperación.

Integridad, trazabilidad y calidad

La confianza en los datos se demuestra con verificación, no con suposiciones. Uso hashes SHA-256 en manifiestos por conjunto, comprobaciones que descargan y comparan el contenido real, réplicas en tres ubicaciones independientes y una operación de solo adición que conserva el historial.

El catálogo rechaza inconsistencias de tamaño o pertenencia, revierte la escritura conflictiva y conserva una auditoría separada del rechazo. Esta capacidad está verificada contra PostgreSQL real, pero no se presenta como alta disponibilidad, pipeline automatizado ni despliegue de producción.

Automatización de datos

Automatizo flujos de datos con rclone y systemd: copia, validación y controles de salud que dejan evidencia operativa y una ruta de recuperación. Estas automatizaciones sostienen la réplica y la verificación periódica de los conjuntos de datos.

Como experiencia complementaria, he desarrollado soluciones con Google Apps Script para procesos sobre herramientas de Google Workspace, además del consumo de APIs REST con OAuth en integraciones externas.

Backend aplicado a datos

El backend que construyo existe para servir a los datos: servicios en Python con FastAPI, endpoints de salud, procesamiento de información e integración con bases de datos, caché mediante Redis y almacenamiento de objetos.

Priorizo contratos claros, módulos con responsabilidades delimitadas y documentación honesta sobre lo que cada señal de salud realmente verifica. Django, Flask y Celery, además de NestJS y TypeORM en el ecosistema TypeScript, forman parte de mi experiencia complementaria.

Operación de plataformas de datos

La operación es el soporte de la plataforma de datos: entornos Linux, contenedores con Docker, servicios con systemd y redes privadas que conectan cómputo, réplica y almacenamiento con privilegios limitados y exposición mínima.

En la estación de desarrollo, Nix y Home Manager aportan reproducibilidad sin reemplazar los mecanismos nativos de recuperación. Esta experiencia demuestra operación y diseño de límites; no atribuye despliegues de producción de terceros ni alta disponibilidad.

IA y Machine Learning

Integro OpenCode y Engram en un flujo de ingeniería donde los agentes reciben contexto, ejecutan tareas acotadas, verifican resultados y conservan decisiones útiles entre sesiones. La autoridad sobre alcance y decisiones permanece en la persona, y el repositorio conserva el papel de fuente de verdad.

Actualmente profundizo en Ingeniería de IA y ML Engineering, incluyendo MLX, TensorFlow, Keras, PyTorch y sistemas multiagente. Estas herramientas representan aprendizaje y experimentación en curso, no modelos desplegados ni dominio experto demostrado por este portafolio.

Enfoque para resolver problemas

Empiezo por comprender el sistema antes de elegir herramientas: origen y crecimiento de la información, necesidades de acceso, almacenamiento adecuado, recuperación, costo operativo y oportunidades de automatización. Después avanzo por cortes pequeños que terminan con una comprobación observable.

• Datos primero. El almacenamiento y el procesamiento se eligen según el dato y sus garantías, no a partir de una herramienta universal.
• Evidencia antes que estado. Una respuesta exitosa solo demuestra aquello que la prueba comprueba de forma explícita.
• Límites antes que acumulación. Software, datos e infraestructura se conectan mediante responsabilidades claras, no mediante una tecnología universal.
• Recuperación como parte del diseño. Copias, mecanismos alternativos y documentación operativa se consideran desde el inicio.

Dirección profesional

Mi dirección profesional apunta primero a roles de Data Engineer y Data Platform Engineer, con ML Engineer o AI Engineer como continuación natural. Me interesan especialmente los problemas donde es necesario construir la plataforma que vuelve los datos confiables, accesibles y útiles para personas, automatizaciones y sistemas de IA.

Casos relacionados