Etiqueta: GPT-4

Un elemento en particular durante las vacaciones nos llamó la atención. La investigación de Patronus AI destacó los aparentes desafíos que enfrentan los grandes modelos de lenguaje (LLM), como el GPT-4 de OpenAI, al analizar los datos financieros contenidos en las presentaciones de la Comisión de Bolsa y Valores de EE. UU. (SEC).
El estudio, centrado en consultas financieras, encontró que incluso con acceso a archivos extensos, el modelo de mejor rendimiento, GPT-4-Turbo, logró solo una tasa de precisión del 79%. Pero espera… ¡esta es una de las informaciones mejor estructuradas del planeta! ¡Todo ha sido etiquetado con Inline XBRL! ¿Qué salió mal en su investigación? Oh. Lo adivinaste. Los investigadores pasaron por alto la información estructurada y utilizaron {Ed: ¡Whimpers!} versiones en PDF de estos archivos de estados financieros contenidos en sitios web corporativos.
Así que ayer hicimos nuestro pequeño experimento para comprender si el rendimiento de la IA mejoraría cuando se alimentaran con datos estructurados en Inline XBRL mantenidos en la SEC en lugar de archivos PDF. Cuando el equipo de XII profundizó en los datos, descubrimos que los sistemas de inteligencia artificial como el GPT-4 de OpenAI demuestran un rendimiento enormemente mejorado al responder consultas financieras cuando se alimentan con xBRL-JSON convertido a partir de los informes 10K Inline XBRL de la SEC. Aprovechar el análisis de datos estructurados con IA ofreció resultados de consultas en lenguaje natural mucho más precisos en todas las áreas que analizamos, incluidas:
• Estimación del porcentaje del costo de bienes vendidos (COGS)
• Determinación de los dividendos pagados a los accionistas comunes.
• Analizando la concentración de clientes
• Evaluación del crecimiento de las ganancias
• Evaluación de gastos de capital
Los investigadores sugieren (como era de esperar) que los modelos de lenguaje grandes puedan tener problemas con datos no estructurados, a menudo proporcionando respuestas incorrectas o incluso negándose a responder. Aprovechar los datos estructurados existentes, como en el caso de las presentaciones ante la SEC, es clave para un análisis más confiable mediante modelos de IA.
Las presentaciones presentadas a la SEC ya están meticulosamente estructuradas por empresas, con datos XBRL incorporados obligatoriamente por la dirección corporativa en sus divulgaciones. Como extraer información financiera relevante con IA es más eficaz cuando esa información está estructurada, sería prudente utilizar estos datos pre-estructurados.
{Ed: Respetuosamente, comenzar el análisis con versiones PDF de archivos de 10K es ridículo. Es como imprimir fotografías digitales de algunos fuegos artificiales y luego recortar letras individuales con unas tijeras sin punta y pegarlas en la página para deletrear las palabras «Feliz Año Nuevo» en el papel. ¡Es 2024! ¡Despierta y huele los datos estructurados!}
A pesar de las limitaciones actuales, los investigadores creen en el potencial a largo plazo de modelos de lenguaje como Chat-GPT para ayudar a los profesionales de la industria financiera. Sin embargo, subrayan la necesidad de una mejora continua en los modelos de IA.
Desde nuestra perspectiva, agregaríamos algo extremadamente obvio: las mejoras se acelerarán significativamente al aprovechar XBRL para mejorar la precisión y confiabilidad en el análisis financiero basado en IA. Apenas arañamos la superficie, más de una hora o dos… y estamos seguros de que nuestros lectores podrían hacerlo mejor. Comience por convertir Inline XBRL en xBRL-JSON (la mayoría de los procesadores XBRL ahora le permiten hacer esto extremadamente rápido), brinde a la IA algunas sugerencias sobre la estructura y continúe desde allí. Si tenemos tiempo, profundizaremos un poco más e informaremos la próxima semana.