Sesión para analizar e reflexionar sobre a avaliación dos sistemas de Intelixencia Artificial. Como podemos, por exemplo, usar unha Intelixencia Artificial como avaliador (LLM as a Jugde) a través do deseño e implementación dun fluxo no que se avalían respostas xeradas por outro sistema de intelixencia artificial. 

A partir de conxuntos de preguntas sintéticas con distintos enfoques temáticos, exploraremos como estas respostas son puntuadas segundo métricas específicas e como se combinan para calcular unha métrica obxectiva sobre a fiabilidade dos xuíces avaliadores. 

As puntuacións de fiabilidade obtidas ao longo do proceso serán a base para determinar ata que punto estes sistemas IAX poden considerarse bos xuíces e en que situacións resultan máis adecuados ou presentan limitacións.   

O relator será Daniel Muñoz Pardo, Solution Architech do equipo de AI&Data de Deloitte, con máis de 10 anos de experiencia en consultaría tecnolóxica, certificado en Databricks e Cloudera en sistemas de Big Data, lider da área técnica de AI&Data e profesor da Universidade de Loyola no grado de Data and Analytics.

Esperamos contar coa túa participación para compartir ideas, expor preguntas e enriquecer o debate sobre os retos e oportunidades que expoñen estes sistemas no ámbito da avaliación automatizada.