Programas para detectar IAs, ¿Cuál es su efectividad?

93

La IA generativa se ha revelado en los últimos meses como una poderosa herramienta cuyas creaciones se parecen cada vez más a las que puede hacer cualquier ser humano. Como respuesta, ha surgido una creciente preocupación por distinguir las producciones de los robots.

Esto ha hecho saltar las alarmas, por ejemplo, en el mundo educativo, que ya se ha lanzado a debatir qué hacer con estas herramientas: ¿incorporarlas de manera natural como parte del mundo en el que van a vivir los alumnos o prohibirlas por considerarlas atajos que impiden que aprendan a expresarse por sí mismos?

Mientras se disipan algunas de estas dudas, los programadores se han puesto también manos a la obra para tratar de dilatar lo más posible el momento en el que, ante un texto, el dilema de si ha sido creado por un humano o por una máquina no tenga respuesta.

GPTZero

Dados a analizar los primeros 6 párrafos de este texto, estos han alcanzado una puntuación de 231 en “perplejidad“, una cualidad mediante la cual los humanos, a veces sin darnos cuenta, somos capaces generar la atención sobre lo que escribimos a través de cómo lo escribimos.

A más perplejidad, más humanidad, y viceversa.

Un texto generado en inglés sobre el origen del universo por shortly.ai, en cambio, apenas ha cosechado 17 puntos de perplejidad, lo que revela que la simpleza de sus estructuras dan una pista de que se trata de un escrito de una inteligencia artificial.

Writer

Se han analizado 3 textos en castellano generados en escribelo.ai, una herramienta de generación de textos por IA, y uno generado en inglés por shortly.ai.

El resultado es que los 3 textos en castellano han sido identificados también como escritos al 100% por un ser humano, mientras que el texto inglés ha cosechado un 97% de humanidad. En este caso, Writer falla a la hora de identificar texto humano.

Hugging Face

Este ha identificado que el mismo texto sobre el origen del universo redactado por shortly.ai (el mismo al que Writer daba un 97% de humanidad) tiene un 91% de posibilidades de ser falso, es decir, de no haber sido escrito por un ser humano.

Crossplag

Este también ha demostrado buen olfato con el inglés Crossplag, una cuarta herramienta de detección de textos escritos por IA que ha dado un 99% de posibilidades de haber sido escrito por un robot al texto redactado en inglés por shortly.ai.

BUSINESS INSIDER (13/01/2023)

Más información aquí

Si te resultó útil...Share on Facebook
Facebook
Tweet about this on Twitter
Twitter
Share on LinkedIn
Linkedin
Email this to someone
email