Cuando lanzamos DataLab por primera vez, trabajamos a fondo para que ofreciera la mejor experiencia posible a la hora de hacer ciencia de datos y analítica. Eso implicó crear un editor rápido y ligero, habilitar la colaboración en tiempo real y generar informes profesionales de solo lectura.
Al mismo tiempo, dependíamos de herramientas de terceros para nuestras analíticas internas. Métricas de producto como el número de usuarios que usaban DataLab y el tiempo en la plataforma se seguían con otras soluciones. Nos dimos cuenta de que, si queríamos tomarnos en serio DataLab como herramienta profesional, teníamos que usarla nosotros mismos.
En este artículo te contamos cómo hacíamos la analítica interna antes y cómo hicimos la transición a DataLab. También repasamos las ventajas y los aprendizajes que nos dejó el cambio.
Nuestra analítica antes de DataLab
Antes de DataLab, nuestra herramienta principal para la analítica interna del producto era Metabase. Metabase es una herramienta de business intelligence conectada a un data lake con información sobre el contenido y la actividad de DataLab. Con Metabase podíamos ejecutar consultas SQL rápidamente, generar informes e incluso crear paneles dinámicos.
Metabase se usaba de forma generalizada en el equipo. Lo utilizábamos para monitorizar el grado de interacción con distintos tipos de contenido, cuánto tiempo pasaban nuestros usuarios en Workspace y cuántos usuarios interactuaban con DataLab a diario, semanalmente y mensualmente.
En ese momento, usar DataLab para nuestra analítica no era lo habitual. Solo recurríamos a él cuando nos topábamos con los límites de SQL o de las visualizaciones sin código de Metabase. En esos casos, exportábamos los datos en bruto, los añadíamos manualmente a un nuevo cuaderno y seguíamos el análisis en Python. Sin embargo, era un proceso engorroso y actualizar los datos resultaba un dolor.
Por qué hicimos la transición a DataLab
A medida que DataLab ha crecido, las preguntas que queremos responder sobre nuestros usuarios y su actividad en DataLab se han vuelto cada vez más complejas. Por muy práctico que sea Metabase, muchas de nuestras preguntas requerían las herramientas adicionales que aportan Python y R.
También sabíamos que, si queríamos ofrecer la mejor experiencia posible, teníamos que usar nuestro propio producto, una práctica conocida como "dogfooding". ¿Qué mejor manera de entender las limitaciones y frustraciones de DataLab que utilizándolo en el día a día?
Por estos dos motivos, nos marcamos el objetivo de trasladar la mayor parte de nuestra analítica de Metabase a DataLab a partir del verano de 2022.
La transición
La transición empezó cuando lanzamos las celdas SQL dentro de DataLab. Desde entonces hemos podido consultar los mismos datos a los que accedíamos en Metabase, pero con los resultados convertidos al instante en un DataFrame de Python o R (según la herramienta que estemos usando). Podemos alternar fácilmente entre consultar la base de datos y analizar los resultados con las herramientas que prefiramos. En pocas semanas migramos la mayoría de nuestras consultas de Metabase a DataLab.
En el momento de escribir estas líneas, 141 usuarios de DataCamp han pasado 30 minutos o más dentro de DataLab. Como muestra el gráfico, ¡el progreso ha sido constante!
¡Seguimos sumando DataCampers a DataLab!
Ventajas de pasarnos a DataLab
Desde que nos cambiamos a DataLab, hemos descubierto varias ventajas clave en el trabajo del día a día:
- Visualizaciones totalmente personalizables: Aunque Metabase ofrece muchas visualizaciones y atributos personalizables, las posibilidades no son infinitas. Con DataLab, los resultados de nuestras consultas SQL se devuelven como DataFrames. Esto nos permite usar librerías de Python como Plotly para crear gráficos con anotaciones, temas personalizados y tipos de visualización poco comunes.
Un ejemplo de las visualizaciones que hemos creado en DataLab accediendo a nuestros datos internos.
- Analítica avanzada: Al combinar SQL con Python o R, podemos analizar nuestros datos al instante con técnicas que no son posibles solo con SQL. Esto nos ha permitido, por ejemplo, segmentar usuarios y entrenar modelos de clasificación para predecir cómo trabajan dentro de DataLab.
- Informes descriptivos: Un panel es fantástico para quien ya conoce el producto. Pero para alguien nuevo o ajeno al equipo puede resultar difícil de interpretar. Con DataLab, podemos incrustar resúmenes escritos a lo largo de los informes para que los lean después las personas interesadas.
- Publicaciones compartibles y sociales: Poder compartir un enlace a un cuaderno publicado ha sido tremendamente valioso. Algunos análisis publicados han llegado a nuestro CEO y a otros directivos, que luego aportan feedback en forma de comentarios y preguntas. Junto con la naturaleza descriptiva de los cuadernos publicados, la dirección puede leer el trabajo analítico cuando le convenga, sin necesidad de una reunión presencial.
- Gráficos sin código: La mayoría de los DataCampers saben SQL, pero no todo el mundo se siente igual de cómodo en Python o R. Las celdas de gráficos permiten que perfiles menos técnicos comuniquen sus conclusiones con visualizaciones de alta calidad sin escribir ni una línea de código.
¡Así funcionan nuestras celdas de gráficos sin código!
Lo que hemos aprendido hasta ahora
Hasta mediados de octubre, ¡los DataCampers han acumulado 4132 horas dentro de DataLab! Ya hemos migrado a DataLab todos los informes centrales relacionados con los objetivos trimestrales y el uso del producto. Estos son los aprendizajes clave y cómo han impactado en DataLab como producto:
- La velocidad es clave: Es frustrante esperar más de la cuenta a que cargue un cuaderno, se ejecute el código o una consulta devuelva resultados. La experiencia debería ser, como mínimo, tan rápida como trabajar en un Jupyter Notebook local, y a ser posible más. Nuestro equipo ha avanzado mucho reduciendo los tiempos de carga de cuadernos y publicaciones. También ha trabajado para que la ejecución del código sea comparable a la de un cuaderno local.
- No todo el mundo quiere ver el código: Antes, nuestras publicaciones incluían celdas enormes llenas de consultas SQL complejas y código Python denso. Aunque esto ayudaba a revisar los aspectos técnicos, a menudo ocultaba los verdaderos hallazgos del informe. Podías ocultar celdas y publicaciones cambiando al editor JupyterLab en DataLab, pero eso no se reflejaba en el editor de DataCamp Notebook. Sabiendo esto, hemos lanzado una forma de ocultar con total facilidad las celdas de código y SQL en tus cuadernos. Así puedes garantizar un informe de solo lectura impecable para compartir con cualquier stakeholder. A nuestros usuarios les encanta.
- Reejecutar cuadernos puede ser un fastidio: Para gran parte del seguimiento dependemos de actualizaciones diarias del número de usuarios, niveles de actividad y adopción de funcionalidades. A diferencia de un panel dinámico que se actualiza cuando hay datos nuevos, los cuadernos deben reejecutarse cada vez. A partir de nuestra propia experiencia, planeamos incorporar la programación de ejecuciones de cuadernos para que los informes siempre contengan los últimos insights.
Estos aprendizajes se suman a muchos retoques menores que hemos hecho en el editor desde que nos pasamos a DataLab. La interfaz, el panel y funciones como las celdas de gráficos mejoran de forma continua gracias al feedback de usuarios, tanto internos como externos.
Mirando al futuro
Aunque el hecho de usar nuestro propio producto nos ha revelado muchas áreas de mejora, sabemos que eso es solo la mitad de la historia. Además del feedback interno, nuestro equipo ha estado entrevistando a usuarios de DataLab. Estas entrevistas complementan nuestros hallazgos y nos ayudan a detectar lo que podríamos pasar por alto con pruebas internas.
También lanzamos una encuesta de usuarios a finales de septiembre como parte de nuestra newsletter quincenal. Esta encuesta nos permitió recopilar información cuantitativa de nuestros usuarios. Los resultados nos están ayudando a identificar iniciativas prioritarias para DataLab y a entender cómo se usa nuestro producto. Y, por supuesto, ¡los datos de la encuesta se analizaron y visualizaron con DataLab!
El principal motivo que nos contaron para usar DataLab fue probar ejemplos de código rápidamente. ¿Cómo usas tú DataLab?
En los próximos meses, planeamos avanzar aún más hacia un entorno de analítica exclusivo en DataLab. Cada nueva funcionalidad y mejora que el equipo de ingeniería incorpora al producto hace que esta transición sea más sencilla.
Si te interesa usar DataLab para tus propias necesidades de analítica de datos y ciencia de datos internas, puedes leer más aquí. O mejor aún, abre un cuaderno vacío de Python o R y ponte a programar ahora mismo.
