Las trampas y las realidades prácticas del uso de IA generativa en su flujo de trabajo de análisis

Hemos escuchado mucho en los últimos meses sobre cómo la IA generativa transformará el marketing digital. Como consultores, trabajamos con marcas para utilizar la tecnología para un marketing innovador. Rápidamente analizamos el potencial de ChatGPT, el chatbot basado en modelos de lenguaje grande más novedoso del mercado. Ahora vemos cómo la IA generativa puede actuar como asistente, generando primeros borradores de código y visualizaciones que nuestros expertos refinan en materiales utilizables.

Desde nuestro punto de vista, la clave para un proyecto de IA generativa exitoso es que el usuario final tenga una expectativa clara para el resultado final, de modo que todos los materiales generados por IA puedan ser manipulados y esculpidos. El primer principio al usar la IA generativa es que no debe confiar en ella para dar respuestas completamente correctas a sus preguntas.

ChatGPT solo obtuvo 12 respuestas correctas de 42 preguntas GA4

Decidimos poner a prueba ChatGPT con una de las tareas regulares de nuestros consultores: responder preguntas comunes de los clientes sobre GA4. Los resultados no fueron particularmente impresionantes: de las 42 preguntas que hicimos, ChatGPT solo proporcionó 12 respuestas, que encontramos aceptables y reenviamos a nuestros clientes una tasa de éxito de solo el 29%.

Otras ocho respuestas (19%) fueron "media correcta". Estos malinterpretaron la pregunta y dieron una respuesta diferente a la pregunta formulada (aunque en realidad era correcta), o incluyeron información errónea en una respuesta correcta.

Por ejemplo, ChatGPT nos ha dicho que la fila "Otro" que encuentra en algunos informes de GA4 es una agrupación de muchas filas de datos de bajo volumen (verdadero), pero que las instancias en las que esto ocurre son causadas por los "algoritmos de Google para el aprendizaje automático". . Esto está mal. Hay reglas predeterminadas presentes para definir esto.

Sumérgete más profundo: inteligencia artificial: una guía para principiantes

Límites de conocimiento de ChatGPT - y su exceso de confianza

El 52% restante de las respuestas en realidad eran incorrectas y, en algunos casos, incluso engañosas. La razón más común es que ChatGPT no usa datos de entrenamiento más allá de 2021, por lo que muchas actualizaciones recientes no se reflejan en sus respuestas.

Por ejemplo, Google no anunció oficialmente la desaprobación de Universal Analytics hasta 2022, por lo que ChatGPT no pudo decir cuándo sucederá. En este caso, al menos en ese contexto, el bot retuvo su respuesta, comenzando con "... según mi leal saber y entender, el límite es en 2021..."

Sin embargo, algunas preguntas restantes se respondieron incorrectamente con una confianza preocupante, como que el bot nos dijera que "GA4 utiliza un enfoque de seguimiento de eventos basado en el aprendizaje automático y puede identificar automáticamente los eventos de compra en función de los datos que recopila".

Si bien GA4 ha rastreado automáticamente los eventos de "medición avanzada", estos generalmente se definen al escuchar un código simple en los metadatos de una página web, y no mediante el aprendizaje automático o los modelos estadísticos. Además, los eventos de compra ciertamente no caen dentro del ámbito de la medición extendida.

Como se muestra en nuestra revisión de GA4, el "conocimiento" limitado en ChatGPT lo convierte en una fuente de información poco confiable. Sin embargo, sigue siendo un asistente muy eficiente, que proporciona a un experto un primer borrador de análisis y código para acelerar el tiempo dedicado a las tareas.

No puede reemplazar el papel de un analista experto que conoce el tipo de problema que se va a emitir. Se puede ahorrar tiempo utilizando InstRull o creando análisis a partir de datos de ejemplo sin una programación extensa. En base a esto, puede obtener una aproximación precisa en segundos y dirigir a ChatGPT para que modifique su salida o la manipule usted mismo.

Por ejemplo, recientemente usamos ChatGPT para analizar y optimizar los carritos de compras de un minorista. Queríamos analizar los tamaños promedio de las cestas y comprender el tamaño óptimo para ofrecer a los clientes el envío gratuito. Esto requería un análisis de rutina de la distribución de ingresos y márgenes y una comprensión de la variabilidad a lo largo del tiempo.

Encargamos a ChatGPT que use un conjunto de datos GA4 para verificar cómo han cambiado los tamaños de las cestas durante un período de 14 meses. Luego sugerimos algunas consultas SQL iniciales para un análisis más detallado en BigQuery y algunas opciones de visualización de datos para la información obtenida.

Si bien las opciones estaban incompletas, ofrecían áreas útiles para una mayor investigación. Nuestro analista ajustó las consultas de ChatGPT para finalizar el resultado. Esto redujo el tiempo que le tomó a un analista líder trabajar con soporte junior para crear el problema de aproximadamente tres días a un día.

Profundice: 3 pasos para que la IA trabaje para usted

Automatice las tareas manuales y ahorre tiempo

Otro ejemplo es la automatización de otras tareas manuales dentro de un proceso dado, como controles de calidad en una tabla de datos o código generado. Este es un aspecto clave de cualquier proyecto y, a menudo, encontrar discrepancias o anomalías puede ser tedioso.

Sin embargo, usar ChatGPT para validar más de 500 líneas de código para combinar y procesar múltiples registros, para garantizar que no tengan errores, puede ahorrar mucho tiempo. En este escenario, la revisión manual normalmente habría tomado dos horas, pero ahora podría realizarse en 30 minutos.

Las verificaciones finales de control de calidad aún deben ser realizadas por un experto, y la calidad de la salida de ChatGPT depende en gran medida de los parámetros específicos que establezca en sus instrucciones. Sin embargo, es una tarea que tiene parámetros muy claros y sin ambigüedades en la salida (los números coinciden o no) es ideal para que la IA generativa maneje la mayor parte del trabajo pesado.

Trate a la IA generativa como un asistente, no como un experto

El progreso que ChatGPT ha logrado en los últimos meses es notable. En pocas palabras, ahora podemos usar el inglés conversacional para solicitar materiales altamente técnicos que se pueden usar para una amplia variedad de tareas de programación, comunicación y visualización.

Como mostramos anteriormente, los resultados de las herramientas deben tratarse con cuidado y juicio experto para que sean valiosos. CIENCIAS para crear análisis en nuestro trabajo diario o agilizar tareas tediosas y complejas que normalmente se harían manualmente. Tratamos Somos escépticos sobre los resultados y usamos nuestro conocimiento técnico para desarrollar materiales de valor agregado para nuestros clientes.

Si bien la IA generativa, ejemplificada por ChatGPT, ha mostrado un tremendo potencial para revolucionar varios aspectos de nuestros flujos de trabajo digitales, es fundamental abordar sus aplicaciones con una perspectiva equilibrada. Existen limitaciones en la precisión, especialmente con actualizaciones recientes y detalles matizados.

Sin embargo, a medida que la tecnología madura, crece el potencial para usar la IA como una herramienta para expandir nuestras capacidades y aumentar la eficiencia en nuestro trabajo diario. Creo que deberíamos centrarnos menos en que la IA generativa reemplace al experto y más en cómo puede mejorar nuestra productividad.

¡Consigue Aprendermarketing! A diario. Gratis. En tu bandeja de entrada.

Las opiniones expresadas en este artículo son las del autor invitado y no necesariamente las de Aprendermarketing. Los autores del personal se enumeran aquí.