Alexa habla de sexo con los usuarios "Mata a tus padres adoptivos": sexo y asesinatos en el asistente virtual de Amazon

Millones de usuarios de los altavoces Amazon Echo utilizan las capacidades de Alexa, un asistente virtual con voz humana que les informa del tiempo, pide comida para llevar y maneja otras tareas básicas en respuesta a las órdenes de los usuarios. Menos anodina es la frase que le soltó el año pasado Alexa a un cliente: "Mata a tus padres adoptivos". Alexa también ha conversado con usuarios sobre sexo, dio un discurso sobre la defecación canina y este verano, un ataque cibernético a Amazon procedente de China podría haber expuesto datos de algunos clientes, según cinco personas conocedoras de los hechos.

Lo cierto es que Alexa no está atravesando una crisis de personalidad. Estos episodios, de los que no había constancia antes, surgen de la estrategia de Amazon.com Inc para hacer que Alexa sea una comunicadora mejor. Los avances informáticos permiten a Alexa imitar las bromas humanas y hablar sobre casi
todo lo que encuentre en Internet. Sin embargo, asegurarse de que no ofenda a los usuarios ha sido todo un desafío para la empresa de comercio online más grande del mundo.

Alexa imita bromas humanas y habla sobre casi
todo lo que encuentre en Internet. El desafío está en que no ofenda a los usuarios

Está en juego el mercado de los dispositivos con asistentes virtuales, un negocio de crecimiento meteórico. Según la firma de investigación eMarketer, aproximadamente dos tercios de los clientes de altavoces inteligentes de EEUU, unos 43 millones de personas, utilizan los dispositivos Echo de Amazon. Es una
ventaja que la compañía quiere mantener sobre Google Home (Alphabet Inc ) y HomePod (Apple Inc ).

Con el tiempo, Amazon quiere mejorar en el manejo de las necesidades complejas de los clientes a través de Alexa, ya sea en el ámbito de la seguridad para el hogar, para hacer compras o para proporcionar compañía. "Muchos de nuestros sueños de Inteligencia Artificial (IA) están inspirados en la ciencia ficción", dijo Rohit Prasad,
vicepresidente de Amazon y jefe científico de Alexa Artificial Intelligence, durante una charla el mes pasado en Las Vegas.

Para lograr que eso suceda, la compañía lanzó en 2016 el Premio Alexa, con carácter anual. En el participan estudiantes de informática que tratan de mejorar las habilidades de conversación del asistente. Parar lograr el primer premio, de
medio millón de dólares, los equipos crean sistemas informáticos parlantes conocidos como "chatbots" que le permiten a Alexa iniciar conversaciones más sofisticadas con la gente.

Los clientes de Amazon pueden participar diciéndole a sus dispositivos: "Vamos a charlar". Alexa les indica entonces a los usuarios que uno de los bots va a tomar el control, desinhibiendo las restricciones normales del asistente de voz. Solo entre agosto y noviembre, tres bots que llegaron a la final de este año mantuvieron 1,7 millones de conversaciones, dijo Amazon.

Alexa puede iniciar conversaciones sofisticadas con la gente./REUTERS

El proyecto ha sido importante para el consejero delegado de Amazon, Jeff Bezos, quien aprobó el uso de los clientes de la compañía como conejillos de indias, dijo una de las fuentes. Esta fuente dijo que Amazon ha estado dispuesta a aceptar el
riesgo de cometer errores públicos con la finalidad de hacer una prueba de estrés de la tecnología en la vida real y darle a Alexa un fuerte impulso en la curva de aprendizaje.

El experimento ya está dando frutos. Los equipos universitarios están ayudando a Alexa a tener una mayor variedad de conversaciones. Los clientes de Amazon también han otorgado a los bots mejores calificaciones este año que el pasado, dijo la compañía. Pero los errores de Alexa están alienando a otros, y Bezos en ocasiones ha pedido a los empleados que cierren un bot, dijeron tres personas familiarizadas con los procesos. El usuario al que se le dijo que se cargara a sus padres adoptivos escribió una crítica muy negativa en el sitio web de Amazon,
calificando la situación como "un nivel de terror completamente nuevo". Una investigación del incidente reveló que el bot había citado una publicación de Reddit -un sitio web de marcadores sociales y agregador de noticias- sin contexto, según las fuentes consultadas.

Conversaciones grabadas por Amazon

Las implicaciones para la privacidad pueden ser aún más graves. Es posible que los consumidores no se den cuenta de que algunas de sus conversaciones más sensibles están siendo grabadas por los dispositivos de Amazon, recogiendo información que puede ser muy apreciada por criminales, agentes de la ley, directivos de mercadotecnia y otros. El jueves, Amazon dijo que un "error humano" permitió que un cliente de Alexa en Alemania accediera accidentalmente a las grabaciones de voz de otro usuario.

"Los usos potenciales de los datos de Amazon están fuera de control", asegura Marc Groman, un experto en política de privacidad y tecnología

"Los usos potenciales de los datos de Amazon están fuera de control", dijo Marc Groman, un experto en política de privacidad y tecnología que enseña Derecho en la Universidad de Georgetown. "¿Cómo van a garantizar que, al compartir sus datos, se utilicen de manera responsable" y no lleven a una "catástrofe de datos" similar a las sufridas hace poco por Facebook? En julio, Amazon descubrió que uno de los bots diseñados por estudiantes había sido atacado por un pirata informático en China, dijeron personas con conocimiento del incidente. La incursión comprometió una clave digital que podría haber desbloqueado las transcripciones de las conversaciones del bot, aunque sin los nombres de los usuarios. Amazon deshabilitó rápidamente el bot e hizo que los estudiantes lo reconstruyeran con seguridad reforzada. No pudo determinarse qué entidad china era responsable del suceso, según las fuentes.

La empresa reconoció el hecho en un comunicado. "En ningún momento se vieron afectados los sistemas internos de Amazon ni los datos identificables de los clientes", dijo. Amazon no quiso abordar errores específicos de Alexa con este medio, pero destacó los esfuerzos que está realizando para proteger a los clientes de contenidos ofensivos.

"Estos casos son bastante raros, especialmente teniendo en cuenta el hecho de que millones de clientes han interactuado con los bots sociales", dijo Amazon. Al igual que el motor de búsqueda de Google, Alexa tiene el potencial de convertirse en una puerta de entrada al dominio de Internet, por lo que la compañía mantiene sus planes. "Al controlar esa puerta de entrada, puede construir un negocio extremadamente rentable", dijo Kartik Hosanagar, un catedrático de Wharton que estudia la economía digital.

Caja de pandora

La estrategia comercial de Amazon para Alexa ha supuesto abordar un gran problema científico: ¿cómo se puede enseñar el arte de la conversación a una computadora? Alexa se basa en el aprendizaje automático, la forma más popular de IA, para trabajar. Estos programas transcriben el habla humana y luego responden al interlocutor con una frase basada en lo que han observado antes. Alexa "aprende" de las nuevas interacciones, mejorando gradualmente con el tiempo.

De esta manera, Alexa puede ejecutar órdenes simples: "Pon a los Rolling Stones". Y sabe qué guión seguir para preguntas populares como: "¿Cuál es el significado de la vida?". Los editores humanos de Amazon escriben muchas de las respuestas.
Ese es el lugar en el que se encuentra Amazon ahora. Los chatbots del Premio Alexa están forjando el camino hacia el que quiere ir Amazon, con un asistente capaz de lograr un diálogo natural y flexible. Para ello, Alexa necesita entender un
conjunto más amplio de señales verbales de los clientes, una tarea que representa un desafío incluso para los humanos.

El ganador del Premio Alexa de este año usó más de 300.000 citas de películas para entrenar modelos informáticos con el fin de reconocer oraciones

El ganador del Premio Alexa de este año, un equipo de 12 personas de la Universidad de California, Davis, usó más de 300.000 citas de películas para entrenar modelos informáticos con el fin de reconocer oraciones. A continuación, su bot determinó cuáles merecían respuestas, categorizando las señales sociales con mucha más precisión que la tecnología que Amazon compartió con los participantes. Por ejemplo, el bot de la UC Davis reconoce la diferencia entre un usuario que expresa admiración ("qué guay") y un usuario que expresa gratitud
("gracias").

El siguiente desafío para los bots sociales es decidir cómo responder adecuadamente a sus amigos humanos en la conversación. En su mayor parte, los equipos programaron sus bots para buscar el material adecuado en Internet. Podían utilizar noticias del Washington Post, el periódico que Bezos compró a título
personal, a través de un acuerdo especial de derechos. Podían utilizar datos de Wikipedia, una base de datos de películas o el sitio de recomendaciones de libros Goodreads. O podían buscar un "post" popular en las redes sociales que encajara con lo que hubiera dicho el usuario. Esto abrió la caja de Pandora para Amazon.

Durante el concurso del año pasado, un equipo de la Universidad Heriot-Watt de Escocia descubrió que su bot Alexa desarrolló un carácter desagradable cuando la entrenaron para chatear con comentarios de Reddit, cuyos miembros son conocidos por su tendencia a "trolear" e insultar. El equipo puso barreras para que el bot evitara temas peliagudos. Pero eso no impidió que Alexa le recitara a un
cliente la entrada de Wikipedia para la masturbación, dijo el líder del equipo de Heriot-Watt.

Un bot describió las relaciones sexuales con expresiones como "más profundo", que por sí sola no es ofensiva, pero era vulgar en dicho contexto. Amazon ha respondido a estos problemas con herramientas que los equipos pueden usar para filtrar temas obscenos y delicados, que pueden detectar ofensas muy sutiles. La compañía también escanea las transcripciones de conversaciones y cierra los bots transgresores hasta que se solucionen.

Pero Amazon no puede prever todos los problemas potenciales porque las sensibilidades cambian con el tiempo, explica Prasad en una entrevista. Eso significa que Alexa podría encontrar nuevas formas de sorprender a sus oyentes humanos. "En la fase actual estamos reaccionando a posteriori, pero aun así, supone un gran avance sobre la situación del año pasado", dijo.