programa
Fundamentos de Hugging Face
12 h
En el ámbito del procesamiento del lenguaje natural (NLP) y el machine learning, la tokenización se refiere al proceso de convertir una secuencia de texto en partes más pequeñas, conocidas como tokens. Estos tokens pueden ser tan pequeños como caracteres o tan largos como palabras. La razón principal por la que este proceso es importante es que ayuda a las máquinas a comprender el lenguaje humano al dividirlo en fragmentos más pequeños, que son más fáciles de analizar.
Perfeccionamiento en IA para principiantes
Aprende los fundamentos de la IA y ChatGPT desde cero.
¿Qué es la tokenización?
Imagina que estás intentando enseñar a leer a un niño. En lugar de lanzarte directamente a párrafos complejos, empezarías por presentarles las letras individuales, luego las sílabas y, por último, las palabras completas. En la misma línea, la tokenización divide grandes extensiones de texto en unidades más digeribles y comprensibles para las máquinas.
El objetivo principal de la tokenización es representar el texto de una manera que sea significativa para las máquinas sin perder su contexto. Al convertir el texto en tokens, los algoritmos pueden identificar patrones más fácilmente. Este reconocimiento de patrones es crucial porque permite a las máquinas comprender y responder a las entradas humanas. Por ejemplo, cuando una máquina encuentra la palabra «correr», no la ve como una entidad singular, sino como una combinación de tokens que puede analizar y de los que puede derivar significado.
Para profundizar en la mecánica, consideremos la frase «Los chatbots son útiles». Cuando tokenizamos esta frase por palabras, se transforma en un arreglo de palabras individuales:
["Chatbots", "are", "helpful"].
Se trata de un enfoque sencillo en el que los espacios suelen dictar los límites de los tokens. Sin embargo, si lo tokenizáramos por caracteres, la frase se fragmentaría en:
["C", "h", "a", "t", "b", "o", "t", "s", " ", "a", "r", "e", " ", "h", "e", "l", "p", "f", "u", "l"].
Este desglose a nivel de caracteres es más detallado y puede resultar especialmente útil para determinados idiomas o tareas específicas de PLN.
En esencia, la tokenización es similar a analizar una oración para comprender su anatomía. Al igual que los médicos estudian las células individuales para comprender un órgano, los profesionales de la PNL utilizan la tokenización para analizar y comprender la estructura y el significado del texto.
Cabe señalar que, aunque nuestro análisis se centra en la tokenización en el contexto del procesamiento del lenguaje, el término «tokenización» también se utiliza en los ámbitos de la seguridad y la privacidad, especialmente en prácticas de protección de datos como la tokenización de tarjetas de crédito. En tales situaciones, los datos confidenciales se sustituyen por equivalentes no confidenciales, denominados tokens. Esta distinción es fundamental para evitar cualquier confusión entre los dos contextos.
Tipos de tokenización
Los métodos de tokenización varían en función de la granularidad del desglose del texto y de los requisitos específicos de la tarea en cuestión. Estos métodos pueden ir desde diseccionar el texto en palabras individuales hasta descomponerlas en caracteres o unidades aún más pequeñas. A continuación, te mostramos los diferentes tipos con más detalle:
- Tokenización de palabras. Este método divide el texto en palabras individuales. Es el enfoque más habitual y resulta especialmente eficaz para idiomas con límites claros entre las palabras, como el inglés.
- Tokenización de caracteres. Aquí, el texto está segmentado en caracteres individuales. Este método resulta beneficioso para idiomas que carecen de límites claros entre las palabras o para tareas que requieren un análisis granular, como la corrección ortográfica.
- Tokenización de subpalabras. Al lograr un equilibrio entre la tokenización de palabras y caracteres, este método divide el texto en unidades que pueden ser más grandes que un solo carácter, pero más pequeñas que una palabra completa. Por ejemplo, «Chatbots» podría tokenizarse en «Chat» y «bots». Este enfoque resulta especialmente útil para idiomas que forman significado combinando unidades más pequeñas o cuando se trata de palabras que no forman parte del vocabulario en tareas de PLN.
Aquí tienes una tabla que explica las diferencias:
| Tipo | Descripción | Casos de uso |
|---|---|---|
| Tokenización de palabras | Divide el texto en palabras individuales. | Eficaz para idiomas con límites claros entre las palabras, como el inglés. |
| Tokenización de caracteres | Segmenta el texto en caracteres individuales. | Útil para idiomas sin límites claros entre palabras o tareas que requieren un análisis detallado. |
| Tokenización de subpalabras | Divide el texto en unidades más grandes que los caracteres pero más pequeñas que las palabras. | Beneficioso para idiomas con morfología compleja o que manejan palabras fuera del vocabulario. |
Casos de uso de la tokenización
La tokenización es la columna vertebral de innumerables aplicaciones en el ámbito digital, ya que permite a las máquinas procesar y comprender grandes cantidades de datos de texto. Al dividir el texto en fragmentos manejables, la tokenización facilita un análisis de datos más eficiente y preciso. A continuación, se muestran algunos casos de uso destacados, junto con aplicaciones del mundo real:
Motores de búsqueda
Cuando escribes una consulta en un motor de búsqueda como Google, este emplea la tokenización para analizar tu entrada. Este desglose ayuda al motor a examinar miles de millones de documentos para ofrecerte los resultados más relevantes.
Traducción automática
Herramientas como Google Translate utilizan la tokenización para segmentar las oraciones en el idioma de origen. Una vez tokenizados, estos segmentos pueden traducirse y reconstruirse en el idioma de destino, lo que garantiza que la traducción conserve el contexto original.
Reconocimiento de voz
Los asistentes activados por voz, como Siri o Alexa, dependen en gran medida de la tokenización. Cuando formulas una pregunta o das una orden, tus palabras se convierten primero en texto. A continuación, este texto se tokeniza, lo que permite al sistema procesar y actuar según tu solicitud.
Análisis del sentimiento en las reseñas
La tokenización desempeña un papel crucial en la extracción de información útil del contenido generado por los usuarios, como reseñas de productos o publicaciones en redes sociales. Por ejemplo, un sistema de análisis de opiniones para plataformas de comercio electrónico podría tokenizar las reseñas de los usuarios para determinar si expresan opiniones positivas, neutras o negativas. Por ejemplo:
- La reseña:
"This product is amazing, but the delivery was late." - Después de la tokenización:
["This", "product", "is", "amazing", ",", "but", "the", "delivery", "was", "late", "."]
Los tokens «amazing» y «late» pueden ser procesados por el modelo de sentimiento para asignar etiquetas de sentimiento mixtas, lo que proporciona información útil para las empresas.
Chatbots y asistentes virtuales
La tokenización permite a los chatbots comprender y responder eficazmente a las entradas de los usuarios. Por ejemplo, un chatbot de atención al cliente podría tokenizar la consulta:
"I need to reset my password but can't find the link."
Lo cual se tokeniza como: ["I", "need", "to", "reset", "my", "password", "but", "can't", "find", "the", "link"].
Este desglose ayuda al chatbot a identificar la intención del usuario («restablecer contraseña») y responder de forma adecuada, por ejemplo, proporcionando un enlace o instrucciones.
Retos de la tokenización
Navegar por las complejidades del lenguaje humano, con sus matices y ambigüedades, presenta una serie de retos únicos para la tokenización. A continuación, se analizan más detenidamente algunos de estos obstáculos, junto con los avances recientes que los abordan:
Ambigüedad
El lenguaje es intrínsecamente ambiguo. Considera la frase «Volar en avión puede ser peligroso». Dependiendo de cómo se interprete, podría significar que pilotar aviones es arriesgado o que los aviones en vuelo suponen un peligro. Tales ambigüedades pueden dar lugar a interpretaciones muy diferentes.
Idiomas sin límites claros
Algunos idiomas, como el chino, el japonés o el tailandés, carecen de espacios claros entre las palabras, lo que complica la tokenización. Determinar dónde termina una palabra y dónde comienza otra es un reto importante en estos idiomas.
Para abordar este problema, los avances en los modelos de tokenización multilingüe han logrado avances significativos. Por ejemplo:
- XLM-R (Cross-lingual Language Model - RoBERTa) utiliza la tokenización de subpalabras y el preentrenamiento a gran escala para manejar eficazmente más de 100 idiomas, incluidos aquellos sin límites claros entre palabras.
- mBERT (Multilingual BERT) emplea la tokenización WordPiece y ha demostrado un gran rendimiento en una gran variedad de idiomas, destacando en la comprensión de estructuras sintácticas y semánticas incluso en idiomas con pocos recursos.
Estos modelos no solo tokenizan el texto de manera eficaz, sino que también aprovechan los vocabularios de subpalabras compartidos entre idiomas, lo que mejora la tokenización de los scripts que suelen ser más difíciles de procesar.
Manejo de caracteres especiales
Los textos a menudo contienen más que solo palabras. Las direcciones de correo electrónico, las URL o los símbolos especiales pueden ser difíciles de tokenizar. Por ejemplo, ¿debería tratarse«john.doe@email.com» como un único token o dividirse en el punto o en el símbolo «@»? Los modelos avanzados de tokenización ahora incorporan reglas y patrones aprendidos para garantizar un manejo coherente de estos casos.
Implementación de la tokenización
El panorama del procesamiento del lenguaje natural ofrece numerosas herramientas, cada una de ellas adaptada a necesidades y complejidades específicas. A continuación, te ofrecemos una guía con algunas de las herramientas y metodologías más destacadas disponibles para la tokenización.
Transformadores Hugging Face
La biblioteca Hugging Face Transformers es el estándar del sector para las aplicaciones modernas de PLN. Proporciona una integración perfecta con PyTorch y modelos transformadores de última generación, y gestiona la tokenización automáticamente a través de la API AutoTokenizer. Las características principales incluyen:
AutoTokenizer: Carga automáticamente el tokenizador preentrenado correcto para cualquier modelo.- Tokenizadores rápidos: Creados con Rust, estos tokenizadores ofrecen mejoras significativas en cuanto a velocidad, lo que permite un preprocesamiento más rápido de grandes conjuntos de datos.
- Compatibilidad preentrenada: Los tokenizadores se adaptaban perfectamente a modelos específicos (BERT, GPT-2, Llama, Mistral, etc.).
- Compatibilidad con la tokenización de subpalabras: La biblioteca es compatible con la codificación por pares de bytes (BPE), WordPiece y la tokenización Unigram, lo que garantiza un manejo eficiente de las palabras fuera del vocabulario y los idiomas complejos.
spaCy
spaCy es una biblioteca Python NLP moderna y eficiente que destaca en sistemas de producción que requieren velocidad e interpretabilidad. A diferencia de Hugging Face, utiliza una tokenización basada en reglas optimizada para la precisión lingüística.
Cuándo utilizar spaCy:
- Creación de procesos tradicionales de PLN (reconocimiento de entidades nombradas, análisis sintáctico dependiente)
- Proyectos que no utilizan modelos de transformador
- Sistemas críticos para el rendimiento que requieren una tokenización rápida
NLTK (solo para uso educativo)
NLTK (Natural Language Toolkit) es una biblioteca fundamental de Python que se utiliza principalmente para el aprendizaje y la investigación. Aunque sigue siendo funcional, es significativamente más lento que las alternativas modernas y no se recomienda para sistemas de producción.
Utiliza NLTK solo para:
- Aprendizaje de conceptos de PNL
- Proyectos educativos
- Investigación lingüística
Para todas las aplicaciones de producción, es preferible utilizar spaCy o Hugging Face Transformers.
Nota sobre el legado: Keras Tokenizer
keras.preprocessing.text.Tokenizer está obsoleto a partir de Keras 3.0 y no debe utilizarse en proyectos nuevos. Los proyectos modernos de Keras deberían utilizar keras.layers.TextVectorization en su lugar. Para tareas de PLN, se recomienda utilizar Hugging Face Transformers.
Técnicas avanzadas de tokenización
Para casos de uso especializados o cuando se crean modelos personalizados, estos métodos proporcionan un control preciso:
- Codificación por pares de bytes (BPE): Método de tokenización adaptativo que fusiona iterativamente los pares de bytes más frecuentes en el texto. Esta es la tokenización predeterminada para GPT-2, GPT-3 y la mayoría de los modelos de lenguaje grandes modernos. BPE es especialmente eficaz para manejar palabras desconocidas y escrituras diversas sin necesidad de un preprocesamiento específico para cada idioma.
- SentencePiece: Un tokenizador de texto sin supervisión diseñado para tareas de generación de texto basadas en redes neuronales. A diferencia de BPE, puede tratar los espacios como tokens y manejar varios idiomas con un único modelo, lo que lo hace ideal para proyectos multilingües y tokenización independiente del idioma.
Ambos métodos están disponibles a través de Hugging Face Transformers o como bibliotecas independientes.
Modelado sin tokenización
Aunque actualmente la tokenización es esencial para un procesamiento del lenguaje natural (NLP) eficiente, las investigaciones más recientes están explorando modelos que operan directamente sobre bytes o caracteres sin esquemas de tokenización fijos.
Últimas novedades:
- ByT5: Un modelo preentrenado que opera con bytes UTF-8 en lugar de tokens de subpalabras, manteniendo un rendimiento comparable al de los enfoques tokenizados tradicionales con una mayor robustez frente a las variaciones a nivel de caracteres.
- CharacterBERT: Aprende representaciones a nivel de caracteres y construye dinámicamente incrustaciones de palabras a partir de secuencias de caracteres, eliminando la necesidad de un vocabulario fijo.
- Transformadores jerárquicos: Innovaciones arquitectónicas que aceptan bytes sin procesar con una pérdida mínima de eficiencia mediante el uso de estrategias de codificación jerárquica.
Estos enfoques aún no están listos para su producción a gran escala y siguen siendo principalmente líneas de investigación. Sin embargo, ofrecen ventajas prometedoras en cuanto a solidez en diversos idiomas y escrituras.
Por qué es importante: Los modelos sin tokenización podrían reducir con el tiempo la dependencia del preprocesamiento específico del idioma y la gestión del vocabulario, lo que haría que los sistemas de PLN fueran más universalmente aplicables. Sin embargo, para las aplicaciones actuales, la tokenización tradicional sigue siendo el estándar en cuanto a eficiencia y practicidad.
Reflexiones finales
La tokenización es fundamental para todas las aplicaciones modernas de PLN, desde los motores de búsqueda hasta los grandes modelos lingüísticos.
La elección del método y la herramienta de tokenización influye directamente en la precisión del modelo, la velocidad de inferencia y los costes de la API, por lo que es fundamental comprender las ventajas e inconvenientes de cada enfoque. Al seleccionar la estrategia de tokenización adecuada para tu caso de uso específico, puedes mejorar significativamente tanto el rendimiento como la eficiencia en los sistemas de producción.
Recomiendo realizar el curso Introducción al procesamiento del lenguaje natural en Python para aprender más sobre las técnicas de preprocesamiento y profundizar en el mundo de los tokenizadores.
¿Quieres saber más sobre la IA y el machine learning? Echa un vistazo a estos recursos:
Obtén una certificación superior en IA
Demuestra que puedes utilizar la IA de forma eficaz y responsable.
Preguntas frecuentes
¿Cuál es la diferencia entre la tokenización por palabras y la tokenización por caracteres?
La tokenización por palabras divide el texto en palabras, mientras que la tokenización por caracteres lo divide en caracteres.
¿Por qué es importante la tokenización en el PLN?
Ayuda a las máquinas a comprender y procesar el lenguaje humano dividiéndolo en partes manejables.
¿Puedes utilizar varios métodos de tokenización en el mismo texto?
Sí, dependiendo de la tarea que se vaya a realizar, combinar métodos puede dar mejores resultados.
¿Cuáles son las herramientas de tokenización más utilizadas en el PLN?
Las herramientas de tokenización más populares utilizadas en el PLN son Hugging Face Transformers, spaCy, NLTK, SentencePiece y Byte-Pair Encoding, cada una con puntos fuertes distintos que se adaptan a diferentes tareas, desde modelos de transformadores de producción hasta aplicaciones de investigación especializadas.
¿Cómo funciona la tokenización en idiomas como el chino o el japonés, que no tienen espacios?
La tokenización utiliza técnicas como la segmentación a nivel de caracteres o la búsqueda de los límites de palabras más probables basándose en modelos estadísticos para idiomas sin separadores de palabras explícitos.
¿Cómo ayuda la tokenización a los motores de búsqueda a devolver resultados relevantes?
Descompone las consultas y los documentos en unidades indexables, lo que permite realizar búsquedas y comparaciones eficientes. Esto potencia la velocidad y la precisión.
Author
Soy un científico de datos certificado que disfruta creando aplicaciones de aprendizaje automático y escribiendo blogs sobre ciencia de datos. Actualmente me centro en la creación de contenidos, la edición y el trabajo con grandes modelos lingüísticos.
