Promover una IA responsable: moderación de contenido en ChatGPT

El primer uso documentado del término inteligencia artificial fue en una conferencia académica en 1956, en una ponencia de John McCarthy, en referencia a la simulación de la inteligencia humana por parte de máquinas. Por ello, a menudo se le considera uno de los padres fundadores de la IA.

Pero el camino para entender si las máquinas pueden pensar empezó mucho antes. De hecho, en 1950, el matemático inglés Alan Turing publicó un artículo titulado Computing Machinery and Intelligence en el que proponía una prueba para determinar si un ordenador puede pensar.

Hoy las preguntas en torno a la inteligencia artificial (IA) son diferentes. La tecnología se ha popularizado gracias al enorme volumen de datos que generamos, al avance de los algoritmos y a las mejoras en la potencia de cómputo. Ahora estamos en un punto en el que tiene sentido plantearse las implicaciones éticas y sociales del uso de estas herramientas.

Aunque la IA puede mejorar la eficiencia y la productividad, también puede generar contenido dañino, reflejar sesgos y vulnerar la privacidad de los datos. Esto ha dado pie a conversaciones muy interesantes sobre la práctica de desarrollar IA de forma responsable, de modo que empodere a las personas, tenga un impacto positivo en los clientes y permita a las empresas escalar la IA con ética.

La evolución de ChatGPT y la moderación de contenido

Uno de los avances en IA más comentados en la cultura popular es ChatGPT. ChatGPT es un chatbot de IA desarrollado por OpenAI que emula interacciones con los usuarios de forma similar a la humana.

ChatGPT, que ostentó durante unos meses el récord del servicio online adoptado más rápido tras alcanzar un millón de usuarios en cinco días, ha pasado por varias iteraciones desde su debut inicial en junio de 2018.

En aquel momento, el modelo se llamaba Generative Pre-trained Transformer 1 (GPT-1). Fue el primer modelo de lenguaje grande (LLM) desarrollado por OpenAI, como respuesta a la invención por parte de Google de la arquitectura transformer en 2017. Este modelo sentó las bases de lo que hoy conocemos como ChatGPT, aunque hubo más iteraciones hasta llegar ahí.

Por ejemplo, en 2019, OpenAI lanzó el más potente GPT-2. Las actualizaciones se centraron en mejorar la comprensión del lenguaje del modelo, lo que implicó entrenarlo con un conjunto de datos mucho mayor y ajustar los accesos para permitir a los usuarios personalizar el modelo para su caso de uso específico. Poco después, en 2020, llegó GPT-3.

Hoy, ChatGPT se considera uno de los modelos de lenguaje más potentes disponibles en el momento de escribir estas líneas. Es capaz de realizar tareas de procesamiento del lenguaje natural como traducción, autocompletado de texto, respuesta a preguntas y generación de texto.

Eso no significa que no tenga problemas.

El poder y las limitaciones de ChatGPT

El ChatGPT que conocemos hoy se basa en la arquitectura GPT-3.5, con acceso a GPT-4 para suscriptores de pago. La diferencia principal está en el conjunto de datos usado y en que se optimizó para casos de uso conversacionales, ofreciendo a los usuarios una experiencia más personalizada al interactuar con el modelo a través de una interfaz de chat.

Estos cambios han mejorado la eficiencia de la comunicación entre personas y programas informáticos. También han transformado cómo se procesa y consume la información y la experiencia de cliente.

Pero no está exento de fallos. En los últimos tiempos, varios debates han puesto de relieve la capacidad de ChatGPT para generar respuestas inapropiadas o sesgadas. Nuestra guía sobre la ética de la IA generativa profundiza en estos aspectos.

El problema tiene su origen en cómo se construyó ChatGPT: el LLM se entrenó con escritos de personas de orígenes muy diversos. Aunque esa diversidad ayuda al modelo a comprender mejor, también puede introducir sesgos y prejuicios en lo que genera.

La necesidad de una moderación activa

La moderación activa de contenido describe el proceso de revisar y supervisar el contenido generado por usuarios. Su objetivo es garantizar que dicho contenido cumpla ciertos estándares y directrices, protegiendo así tu marca de asociaciones negativas y a los usuarios de contenido potencialmente ofensivo.

Por ejemplo, un aspecto de la moderación activa es eliminar contenido inapropiado de las plataformas, mientras que otro consiste en hacer cumplir las normas de la comunidad para prevenir, entre otras cosas, el acoso.

Mecanismos de moderación de contenido en ChatGPT

OpenAI reconoció la amenaza que supone el contenido generado por usuarios (por ejemplo, dañar la reputación de la aplicación, causar perjuicios a los usuarios, etc.) y reaccionó rápidamente con una herramienta para evitar contenido inapropiado, ya provenga del modelo de lenguaje o del propio usuario.

Esta herramienta se presenta en la Moderation API, que permite a los desarrolladores contrastar su contenido con las políticas de uso de OpenAI. Estas políticas buscan erradicar lenguaje inapropiado, como:

• Discurso de odio
• Lenguaje amenazante
• Acoso
• Autolesiones (intención o instrucciones)
• Contenido gráfico (incluida pornografía y violencia)

Sin embargo, también es posible que modelos como ChatGPT emitan resultados sesgados o inexactos cuando se ven influidos por entradas de usuario sin filtrar. Por ello, se aplican medidas de control para evitar que el modelo difunda accidentalmente información falsa.

Así, el contenido se controla en dos frentes:

Control de la entrada del usuario

Técnicas para supervisar, filtrar y gestionar el contenido generado por usuarios; el objetivo es ayudar a las empresas a mantener la integridad, la seguridad y los estándares éticos al crear aplicaciones con LLM.

Control de la salida del modelo

Estas políticas y procedimientos permiten hacer seguimiento y filtrar las respuestas que el modelo genera al interactuar con los usuarios; posibilitan que los desarrolladores aborden posibles problemas en la salida del modelo, como el sesgo.

Implementar controles de entrada y salida traslada a la empresa la responsabilidad ética de los LLM: corresponde a la empresa garantizar que los usuarios tengan una experiencia positiva con sus productos y servicios, y que la IA se use de forma responsable.

Métodos de moderación de contenido

Hay seis tipos de moderación habituales:

Premoderación

Antes de que el contenido sea visible para el mundo, debe revisarse. A esto se le llama premoderación. Su ventaja es que el contenido considerado inadecuado o no deseado para una plataforma online puede prohibirse antes de que cause daño.

Es una opción muy popular en comunidades online dirigidas a audiencias jóvenes. Sin embargo, muchos piensan que mata la gratificación instantánea de estas comunidades, ya que el contenido debe aprobarse antes de compartirse.

Postmoderación

La contrapartida de la premoderación es la postmoderación. Desde la perspectiva de la experiencia de usuario, suele preferirse porque permite publicar el contenido inmediatamente tras su envío, antes de entrar en la cola de moderación.

La gran ventaja de este enfoque es que los usuarios pueden comunicarse en tiempo real, pero el coste puede volverse prohibitivo, ya que los operadores del sitio web, que son los editores legales del contenido, asumen la responsabilidad de lo que se muestra en su plataforma: cuanto más público vea contenido dañino, mayores podrían ser los perjuicios si el caso llega a los tribunales.

Moderación reactiva

Otra opción es poner el poder en manos de la comunidad. Esto significa que los usuarios pueden marcar contenido que incumpla las normas o a miembros que se comporten de forma inapropiada.

Es habitual combinar la moderación reactiva con la pre o la postmoderación como red de seguridad adicional para el contenido que se escapa a los moderadores. Su gran ventaja es que puede escalar a medida que crece la comunidad sin sobrecargar tus recursos.

Moderación distribuida

La moderación distribuida es una forma poco común de filtrado de contenido. Depende de un sistema de valoración que los miembros de la comunidad usan para votar si una aportación se ajusta o no a las directrices de la comunidad.

Las empresas suelen evitar delegar en la comunidad la autorregulación, ya que implica riesgos legales y de marca.

Moderación automatizada

A medida que crece el contenido generado por usuarios, también lo hace la complejidad para que moderadores humanos gestionen la carga. No solo es difícil revisar manualmente grandes volúmenes de contenido, también es desmoralizador; nadie va al trabajo con ganas de cribar material perturbador.

Incorporar moderación automatizada a la moderación humana es una solución muy valiosa. Consiste en distintas herramientas técnicas, como filtros de palabras, para rechazar y aprobar envíos.

Sin moderación

Quienes se dedican a la moderación desaconsejarían probablemente la ausencia total de moderación. No obstante, también entienden que puede haber motivos para no moderar el contenido de una comunidad.

Por ejemplo, quizá no haya recursos suficientes para hacerlo, o tu comunidad pretenda abrazar la noción de "libertad de expresión". En esencia, renunciar a la moderación es ceder el control, dejando las plataformas expuestas, lo que suele espantar a los nuevos usuarios.

Moderación de contenido en el mundo real

La mayoría de plataformas actuales, como Facebook y YouTube, emplean moderación automatizada para bloquear ciertos tipos de contenido. Normalmente implica el uso de IA con el objetivo de mejorar los esfuerzos de moderación y la experiencia de usuario en sus plataformas.

Sin embargo, aunque la IA puede detectar contenido inapropiado y asumir gran parte del trabajo tedioso que antes recaía en humanos, tiene limitaciones. Las máquinas pasan por alto con frecuencia matices importantes como la desinformación, los sesgos y los discursos de odio, por lo que eliminar por completo a los moderadores humanos no es lo ideal.

En otras palabras, la moderación automatizada con IA suele combinarse con la moderación humana para garantizar que las plataformas sean seguras para los usuarios y la marca no se vea comprometida. Aquí van algunos ejemplos reales:

Contenido abusivo

Twitter (ahora X) recibió duras críticas por no responder con eficacia al acoso online. No obstante, desde la adquisición por parte de Elon Musk, la empresa se ha apoyado fuertemente en la automatización para moderar contenido. El resultado son herramientas como Quality filter, que usa técnicas como el procesamiento del lenguaje natural para limitar la visibilidad de contenido de baja calidad.

Contenido para adultos

YouTube tiene una política estricta contra la desnudez y el contenido sexual; quienes la incumplen se arriesgan a que su canal sea cancelado. Para detectar este contenido aplican un enfoque doble: moderación automatizada y reactiva.

En el enfoque automatizado, Google despliega algoritmos que utilizan técnicas como la visión por computador para detectar desnudez. Si el contenido esquiva los algoritmos, YouTube confía en que los espectadores lo señalen como inapropiado para que se revise.

Contenido falso y engañoso

Instagram recurre a la IA y a moderadores humanos para localizar, revisar y actuar sobre el contenido que difunde información engañosa, algo especialmente evidente durante el brote de la Covid.

Según el Centro de ayuda de Instagram, "[La] IA de Instagram puede detectar y eliminar contenido que infrinja nuestras Normas comunitarias antes de que alguien lo denuncie. En otros casos, nuestra tecnología envía el contenido a equipos humanos de revisión para que lo estudien más a fondo y tomen una decisión".

Conclusión

Desde las teorías fundacionales de Turing y McCarthy hasta las aplicaciones prácticas de ChatGPT, el panorama ético de la IA se ha vuelto cada vez más complejo. Aunque tecnologías como ChatGPT tienen un potencial transformador, también plantean desafíos éticos, como la moderación de contenido y los sesgos.

La Moderation API de OpenAI es un avance importante hacia una IA responsable, pero no es una solución única para todos los casos. Empresas y desarrolladores comparten la responsabilidad ética de implantar un enfoque multifacético de moderación, combinando sistemas automatizados con supervisión humana. Los ejemplos reales de plataformas como Twitter y YouTube muestran la eficacia de este modelo híbrido.

Si te interesa profundizar en la IA responsable, contamos con varios recursos útiles, como un podcast sobre el futuro de la IA responsable, un webinar sobre la evaluación de modelos de machine learning en Python y un curso sobre ética de la IA.

La gestión ética de la IA es un esfuerzo colectivo que exige una vigilancia constante por parte de todos los actores. A medida que ampliamos los límites de la IA, impulsemos también la integridad ética para que la tecnología sea una fuerza para el bien.