Curso
Comprender la ciencia de datos
2 h
872.7K
Los notebooks llevan siendo habituales en ciencia de datos la mayor parte de los últimos 10 años y todo data scientist ha trabajado con alguno. Permiten experimentar rápidamente y compartir ideas gracias a la creación ágil de entornos, salidas interactivas y fragmentos de código que pueden ejecutarse en cualquier orden.
Las organizaciones han invertido mucho en ciencia de datos y analítica, y una de las áreas clave han sido las herramientas que permiten trabajar con eficiencia y experimentar con rapidez. Los notebooks están en el centro de todo esto y forman parte de muchas de las innovaciones de herramientas que vemos hoy en el stack de datos moderno. Aún más importante: también están empoderando a los citizen data scientists para democratizar los insights.
Este artículo analiza el pasado, el presente y el futuro del notebook, y cómo están derribando silos en el trabajo con datos y la colaboración.
Historia del cuaderno de ciencia de datos
Prácticamente cualquier data scientist hoy ha usado un notebook, siendo los más populares los Jupyter Notebooks. Sin embargo, los notebooks tienen una historia rica que precede a la ciencia de datos y se remonta a principios de los años 80.
El auge de la programación literaria
Introducida en 1984 por Donald Knuth, la programación literaria se concibió como una metodología para crear programas legibles por personas. La idea era escribir la lógica del programa en lenguaje natural con fragmentos de código y macros como comentarios por separado, conocido como “WEB”. Las macros son similares al pseudocódigo usado para enseñar informática.
Un preprocesador analiza después el WEB para crear el código fuente (“tangle”) y la documentación (“weave”). La programación literaria se sigue usando hoy en día, por ejemplo en Axiom, pero las ideas clave de esta metodología impulsaron el desarrollo de notebooks muy parecidos a los que vemos hoy.
Los primeros notebooks
Los notebooks pioneros fueron Wolfram Mathematica y Maple, lanzados a finales de los 80. Funcionaban con una interfaz en el front-end y un kernel en el back-end. La imagen siguiente muestra una gráfica 3D generada con Mathematica con la conocida notación In[ ] y Out[ ] que seguimos viendo en los notebooks actuales.
El primer notebook de Wolfram Mathematica
Estas herramientas tenían diferencias sutiles, como usar Enter en lugar de Shift + Enter para ejecutar código y variaciones en cómo se mostraban las operaciones matemáticas. No obstante, ambas incorporaban ideas que influyeron en el diseño de los notebooks modernos.
Una barrera clave para su adopción generalizada era el coste, ya que eran herramientas caras y requerían licencia. Este problema era común en toda la industria y llevó a la creación en 1998 de la Open Source Initiative, que ha dado lugar a muchas de las potentes herramientas gratuitas que usamos hoy (¡como Jupyter Notebooks!).
Primeras bases de los notebooks modernos de ciencia de datos
En 2001 se lanzaron IPython y SciPy, y en 2003 llegó Matplotlib. SciPy permitió realizar todo tipo de cálculos científicos en Python, mientras que IPython mejoró la experiencia en terminal y añadió soporte para computación distribuida. Como hoy, Matplotlib facilitó la creación de visualizaciones en Python.
No fue hasta 2005 cuando estas y otras herramientas de código abierto se integraron en una sola, conocida como SageMath. El objetivo era ofrecer una alternativa open source a Mathematica y Maple, combinando y construyendo sobre otras herramientas científicas abiertas, y aportando funciones web que hoy son un básico en los notebooks modernos.
En 2011, IPython lanzó su notebook con una clara distinción entre la aplicación web del front-end y el documento de notebook subyacente.
El IPython Notebook
El nacimiento de Jupyter Notebooks
Jupyter se escindió de IPython en 2014, introduciendo la interfaz de notebook y tomando otras partes independientes del lenguaje de IPython. Su nombre viene de los lenguajes originales que soportaba: Julia, Python y R. Hoy, los Jupyter notebooks son la opción de referencia para data scientists y, sin duda, la interfaz de notebook más utilizada.
Un área clave de desarrollo en los últimos años han sido las apps que separan el front-end del kernel, de modo que el front-end se accede desde el navegador y el kernel se ejecuta en centros de datos en la nube. Un gran ejemplo es DataCamp Workspace, donde puedes empezar a trabajar con una instancia de Jupyter Notebook directamente en el navegador.
JupyterLab en DataCamp Workspace
A medida que crecía la adopción y popularidad de los notebooks, en los últimos años ha llegado una nueva ola de interfaces modernas que permiten a cualquiera trabajar con datos con facilidad. En la siguiente sección veremos cómo los notebooks modernos están derribando barreras para trabajar con datos.
Cómo los notebooks modernos de ciencia de datos empoderan a los citizen data scientists
La idea de los Citizen Data Scientists fue acuñada por Gartner en 2016. Los Citizen Data Scientists tienen habilidades técnicas, pero puede que no provengan de formaciones tradicionales en ciencia de datos, estadística o informática.
A medida que la ciencia de datos se extiende de ser un campo a convertirse en una metodología para resolver problemas de negocio, los Citizen Data Scientists son la cara visible de la organización moderna basada en datos. Los notebooks son una herramienta excelente para ellos porque permiten experimentar rápido y compartir insights con pocas o ninguna barrera de entrada.
Aunque los notebooks siempre han sido estupendos para explorar y analizar un conjunto de datos con rapidez, históricamente flojeaban en áreas como la colaboración y la difusión de insights. En 2022, esto ha cambiado: los notebooks modernos y su ecosistema cubren muchos de esos puntos ciegos. Estas son algunas formas en que están impulsando la productividad, la eficiencia y la colaboración.
Los notebooks modernos son colaborativos
Un ejemplo claro de herramienta colaborativa moderna es Google Docs. Muchos usuarios pueden usar y editar documentos, y además se puede controlar quién edita y quién solo sugiere comentarios. Los cambios se guardan de forma periódica para evitar desastres.
Tecnología similar ya está disponible para notebooks con herramientas como Deepnote y Datacamp Workspace. Varias personas pueden editar y ejecutar notebooks y dejar comentarios. Toda esta colaboración sucede en tiempo real, haciendo el proceso mucho más eficiente.
Colaboración en DataCamp Workspace
La colaboración es esencial para cualquiera que trabaje con datos. Reducir barreras para colaborar también reduce los silos de datos al compartir conocimiento y experiencia. Aunque tradicionalmente colaborar con notebooks podía ser lento, el stack de datos moderno es ágil y eficiente. Muchas herramientas se integran sin fricciones con el stack tecnológico existente, de modo que las personas pueden seguir usando sus herramientas habituales y, aun así, colaborar con sus compañeros.
Ayudan a democratizar los insights
Compartir análisis con otros usuarios puede ser complicado, ya sean perfiles de negocio o perfiles más técnicos. Históricamente, se compartían informes de notebooks e insights por email, Slack, presentaciones o aplicaciones web a medida.
Sin embargo, los notebooks modernos democratizan los insights al permitir compartir notebooks sin fricciones. Por ejemplo, IPyWidgets permite añadir widgets interactivos a los notebooks, de modo que se pueden mover deslizadores para cambiar gráficos e interactuar más con los resultados. Binder convierte un repositorio en notebooks interactivos alojados, lo que significa que cualquiera puede ejecutarlos. Voila transforma un notebook en una app web alojada, de nuevo permitiendo la interacción sin ni siquiera ver todo el código. Datacamp Workspace permite compartir notebooks y ofrece plantillas para dar narrativa a los datos.
Publicación de informes en DataCamp Workspace
Pueden acortar la brecha de talento
La ciencia de datos es amplia y profunda: hay muchísimo que aprender en áreas muy distintas. Ser experto en PLN no te convierte en un gran ingeniero de datos ni en alguien que domine la visión por computador.
Un nexo clave entre las distintas subáreas es el dato y la infraestructura. Sin buenos datos, los modelos no rinden. Del mismo modo, sin la infraestructura que soporte el desarrollo de modelos y la limpieza de datos, es muy difícil empezar.
Para los Citizen Data Scientists no se requieren habilidades de ingeniería. Los notebooks modernos permiten ponerse en marcha rápidamente aprovechando la infraestructura en la nube. Los entornos y paquetes están bien gestionados y la mayoría de usuarios puede actualizarlos y modificarlos con facilidad. Así, no hace falta cubrir carencias de ingeniería y se puede dedicar el tiempo a entregar insights.
Además, la mayoría de técnicas de ciencia de datos son totalmente compatibles con los notebooks: se pueden entrenar modelos, trazar gráficos 3D y construir canalizaciones de datos. Esto garantiza que los Citizen Data Scientists puedan experimentar con todo el abanico de técnicas y comunicar los resultados a los stakeholders o compartir el código con otros perfiles técnicos.
Los notebooks modernos se integran con otras herramientas
Ya hemos visto cómo los notebooks modernos rompen los silos de datos entre equipos y bajan la barrera de entrada para trabajar con datos. Otro punto de dolor histórico ha sido la falta de integración con otras herramientas del flujo de trabajo en ciencia de datos. Un ejemplo clave es SQL.
Históricamente, se configuraban conexiones a bases de datos con paquetes como `mysql.connector` en Python o `DBI` en R. Estos paquetes exigían configurar manualmente las conexiones e introducir a mano las credenciales para acceder a los datos.
Los notebooks modernos, en cambio, ofrecen soporte nativo para SQL. Por ejemplo, con DataCamp Workspace, puedes establecer una conexión segura directamente desde el editor de DataCamp Notebook a bases de datos como PostgreSQL, MySQL y Amazon Redshift. Los datos extraídos de estas bases integradas pueden analizarse después con R o Python.
Celdas SQL en DataCamp Workspace
El futuro del cuaderno de ciencia de datos
El notebook moderno está en el corazón de la revolución de los datos. Permite a profesionales con distintos niveles de habilidad experimentar con datos con facilidad, compartir insights y tender puentes entre el negocio y el equipo de datos. Además, está empoderando a los citizen data scientists y promoviendo una nueva ola de cultura de datos en las organizaciones.
Organizaciones data-first como Netflix son conocidas por su innovación con notebooks, ya que son su herramienta más popular para trabajar con datos entre distintos perfiles y equipos. El futuro de los notebooks vendrá marcado por una mayor agilidad, mejor integración con el resto del stack de datos y una colaboración y compartición sólidas para democratizar los insights. Para saber más sobre notebooks, echa un vistazo a estos recursos:
