Con el auge de la IA generativa se hace necesario no solo entender cómo los usuarios y usuarias hemos cambiado nuestros hábitos de búsqueda, sino cómo estas herramientas responden a nuestras consultas. En este sentido, Rand Fishkin, cofundador y CEO de SparkToro, se ha juntado con Patrick O’Donnell, cofundador y CTO de Gumshoe.ai., para analizar la forma en que ChatGPT, Claude y las AI Overviews (o, cuando estas no se generaban, el AI Mode) recomiendan productos o marcas.
Para lograrlo, el estudio contó con 600 voluntarios de EE.UU. que introdujeron 12 consultas diferentes en cada una de estas IAs un total de 2.961 veces. ¡Descubramos qué averiguaron!
Pongámonos en contexto
Como gran revelación, Fishkin y O’Donnell han constatado que las recomendaciones de las IAs presentan una gran inconsistencia, incluso cuando los voluntarios utilizaban las mismas pregunta para realizar las consultas. En la siguiente gráfica podemos apreciar la gran variedad de combinaciones de listas de marcas y productos únicos que ofrecieron las diferentes IAs para las 12 consultas con las que se ha trabajado (las cuales se ejecutaron entre 60 y 100 veces cada una).
La gran diferencia entre el número de marcas únicas mencionadas en búsquedas como la de “novelas de ciencia ficción” y otras consultas como la de “LA Volvos” (Concesionarios Volvo en Los Ángeles) se debe a que mientras que existe una gran cantidad de libros de ciencia ficción, el número de concesionarios de Volvo en Los Ángeles es mucho más reducido, por lo que la IA ofrecerá listados menos variados para esta segunda consulta.
En lo que respecta a los puntitos rosas que ves en la gráfica, estos representan el número promedio de recomendaciones que la IA da en cada respuesta individual. Por ejemplo, en la categoría “novelas de ciencia ficción”, el punto rosa está muy alto (cerca del 11). Esto significa que para esta consulta, la IA tiende a darte una lista muy larga de libros.
Entender esto nos ayuda a darnos cuenta de que el comportamiento de recomendación de la IA depende de cuánta información tiene sobre ese tema. Cuantas más marcas únicas conoce la IA sobre tu sector (barras altas), más se diluye tu probabilidad de aparecer siempre; y cuanto más cortas son sus listas (puntos rosas bajos), más difícil es ser uno de los elegidos.
Las listas de recomendaciones de la IA casi nunca se repiten
Las respuestas de la IA no se comportan como el ranking de búsqueda de Google, no cuentan con un listado predefinido de enlaces que presentar al usuario o usuaria, sino que cada vez que genera una respuesta, el “camino” que sigue el algoritmo puede variar ligeramente, lo que altera por completo el resultado final.
Según el estudio, «si le pides recomendaciones de marca o producto a una herramienta de IA cien veces, casi todas las respuestas serán únicas de tres maneras». Estas variaciones se encuentran en: el listado de marcas o productos, el orden de estas marcas o productos en la lista y la cantidad de elementos que componen la lista.
De hecho, como puedes observar en la siguiente gráfica, la probabilidad de que ChatGPT o la IA de Google (AI Overviews o AI Mode) ofrezcan el mismo listado en dos respuestas es de menos del 1% (un 0,74% en ChatGPT y un 0,81% en Google). En el caso de Claude el porcentaje aumenta ligeramente hasta un 1,65%.
En cuanto a la probabilidad de que entreguen la misma lista en el mismo orden en dos respuestas es todavía más baja en todos los modelos (0,07% en Claude, 0,1% en ChatGPT y 0,28% en la IA de Google).
La visibilidad de marca sigue existiendo en este aparente caos
Estos datos refuerzan la creencia de que no puedes confiar en “ser siempre el primero” en una lista de IA, porque ese orden cambia constantemente. Sin embargo, esto no significa que debas dejar de confiar en tus posibilidades de posicionarte en ChatGPT, Claude o la IA de Google, pues si bien las clasificaciones en sus listados pueden ser más o menos caóticas, el estudio ha identificado que hay una serie de marcas para cada una de las 12 consultas analizadas que las IAs, con mayor o menor frecuencia, ofrecieron como respuesta.
Por ejemplo, el análisis indica que, cuando se le preguntó a la IA de Google que recomendase “consultores eCommerce”, la agencia Smartsites apareció en 85 de las 95 respuestas. Por tanto, el éxito en la era de la IA no se mide tanto por la posición, sino por la frecuencia de aparición dentro de ese grupo de elegidos.
- Podría interesarte: El tráfico orgánico de Google a las webs solo ha disminuido un -2,5% en un año
La IA entiende la intención de búsqueda aunque cada persona la expresa de forma diferente
Por otra parte, el estudio reveló que los usuarios somos “un desastre” al redactar consultas, pues se les pidió a los voluntarios que propusiesen sus propios prompts y casi ningún mensaje se parecía a otro y la similitud semántica entre ellos era bastante baja. No obstante, aquí ocurre la magia tecnológica, ya que las herramientas de IA lograban descifrar la intención subyacente, devolviendo conjuntos de marcas similares.
Entonces… ¿es útil rastrear la posición en las respuestas de IA?
El estudio ha concluido que las probabilidades de que la IA de como respuesta la misma lista de marcas o recomendaciones dos veces es muy escasa (siéndolo todavía más que además lo haga incluyendo las marcas o productos en el mismo orden), por lo que tratar de rastrear tu posición en sus listados no será una buena inversión de tus recursos.
No obstante, sí que se ha probado que la IA es capaz de identificar líderes en cada categoría o sector, por lo que tu foco deberá trasladarse a cuan visible eres entre sus respuestas. Así mismo, permíteme recordarte que ChatGPT, Claude y la IA de Google se esfuerzan por ofrecer información personalizada al usuario o usuaria, adaptándose a su comportamiento y preferencias; por lo que este factor también influye en que sus respuestas incluyan cambios más o menos significativos dependiendo de la persona a la que se las den.
La conclusión final de Fishkin es la siguiente: «Medir con precisión la presencia de tu marca en las respuestas de IA es una tarea imposible. Con suficientes indicaciones ejecutadas varias veces, puedes obtener una respuesta similar a un tablero de dardos que te compare con otros. He cambiado de opinión y ahora creo que el porcentaje de visibilidad en decenas o cientos de indicaciones ejecutadas varias veces es una métrica razonable».
Foto: generada con Nano Banana (Gemini)
[…]
La entrada Cómo son los listados de recomendaciones creados por las IAs (spoiler: la presencia importa más que la posición) se publicó primero en Marketing4eCommerce.
