Hoy, Google está emitiendo nuevas directrices para los desarrolladores que crean aplicaciones de IA distribuidas a través de Google Play, con la esperanza de reducir el contenido inapropiado y de otro modo prohibido. La compañía dice que las aplicaciones que ofrecen funciones de IA deberán prevenir la generación de contenido restringido, que incluye contenido sexual, violencia, y más, y deberán ofrecer una forma para que los usuarios informen sobre contenido ofensivo que encuentren. Además, Google dice que los desarrolladores deben "probar rigurosamente" sus herramientas y modelos de IA, para garantizar que respeten la seguridad y privacidad del usuario.
También está tomando medidas enérgicas contra las aplicaciones cuyos materiales de marketing promocionan casos de uso inapropiados, como las aplicaciones que desvisten a las personas o crean imágenes de desnudos no consensuadas. Si la copia publicitaria dice que la aplicación es capaz de hacer este tipo de cosas, puede ser prohibida en Google Play, independientemente de si la aplicación realmente es capaz de hacerlo.
Las directrices siguen a una creciente proliferación de aplicaciones de desnudamiento de IA que se han estado promocionando en redes sociales en los últimos meses. Por ejemplo, un informe de abril de 404 Media encontró que Instagram estaba mostrando anuncios de aplicaciones que afirmaban usar IA para generar desnudos falsos. Una aplicación se promocionó utilizando una imagen de Kim Kardashian y el lema "desnuda a cualquier chica gratis". Apple y Google retiraron las aplicaciones de sus respectivas tiendas de aplicaciones, pero el problema sigue siendo generalizado.
Las escuelas de todo Estados Unidos informan problemas con los estudiantes que pasan desnudos falsos de IA de otros estudiantes (y a veces maestros) para intimidación y acoso, junto con otros tipos de contenido inapropiado de IA. El mes pasado, un desnudo falso racista de un director escolar llevó a un arresto en Baltimore. Peor aún, el problema también está afectando a estudiantes de escuelas intermedias, en algunos casos.
Google dice que sus políticas ayudarán a evitar que las aplicaciones de Google Play que presenten contenido generado por IA que pueda ser inapropiado o dañino para los usuarios. Señala a su Política de Contenido Generado por IA existente como un lugar para revisar sus requisitos para la aprobación de aplicaciones en Google Play. La compañía dice que las aplicaciones de IA no pueden permitir la generación de ningún contenido restringido y también deben dar a los usuarios una forma de informar sobre contenido ofensivo e inapropiado, así como monitorear y priorizar esos comentarios. Esto último es particularmente importante en aplicaciones donde las interacciones de los usuarios "moldean el contenido y la experiencia", dice Google, como aplicaciones donde los modelos populares se clasifican más alto o más prominentemente, quizás.
Los desarrolladores tampoco pueden hacer publicidad de que su aplicación infringe alguna de las reglas de Google Play, según los requisitos de Promoción de Aplicaciones de Google. Si publicita un caso de uso inapropiado, la aplicación podría ser expulsada de la tienda de aplicaciones.
Además, los desarrolladores también son responsables de proteger sus aplicaciones contra acciones que podrían manipular sus características de IA para crear contenido dañino y ofensivo. Google dice que los desarrolladores pueden utilizar su función de pruebas cerradas para compartir versiones preliminares de sus aplicaciones con los usuarios para obtener retroalimentación. La compañía sugiere enérgicamente que los desarrolladores no solo prueben antes de lanzar, sino que también documenten esas pruebas, ya que Google podría solicitar revisarlas en el futuro.
La compañía también está publicando otros recursos y mejores prácticas, como su Guía de Personas + IA, que tiene como objetivo apoyar a los desarrolladores que crean aplicaciones de IA.
