Sesión para analizar y reflexionar sobre la evaluación de los sistemas de Inteligencia Artificial. Como podemos por ejemplo usar una Inteligencia Artificial como evaluador (LLM as a Jugde) a través del diseño e implementación de un flujo en el que se evalúan respuestas generadas por otro sistema de inteligencia artificial.

A partir de conjuntos de preguntas sintéticas con distintos enfoques temáticos, exploraremos cómo estas respuestas son puntuadas según métricas específicas y cómo se combinan para calcular una métrica objetiva sobre la fiabilidad de los jueces evaluadores.

Las puntuaciones de fiabilidad obtenidas a lo largo del proceso serán la base para determinar hasta qué punto estos sistemas IAG pueden considerarse buenos jueces y en qué situaciones resultan más adecuados o presentan limitaciones.  

El ponente será Daniel Muñoz Pardo, Solution Architech del equipo de AI&Data de Deloitte, con más de 10 años de experiencia en consultoría tecnológica, certificado en Databricks y Cloudera en sistemas de Big Data, lider del área técnica de AI&Data y profesor de la Universidad de Loyola en el grado de Data and Analytics.

Esperamos contar con tu participación para compartir ideas, plantear preguntas y enriquecer el debate sobre los retos y oportunidades que plantean estos sistemas en el ámbito de la evaluación automatizada.