Etiqueta: LLM – Modelos de Lenguaje grande

Los datos estructurados podrían desbloquear el potencial de la IA en las finanzas

Un elemento en particular durante las vacaciones nos llamó la atención. La investigación de Patronus AI destacó los aparentes desafíos que enfrentan los grandes modelos de lenguaje (LLM), como el GPT-4 de OpenAI, al analizar los datos financieros contenidos en las presentaciones de la Comisión de Bolsa y Valores de EE. UU. (SEC).
El estudio, centrado en consultas financieras, encontró que incluso con acceso a archivos extensos, el modelo de mejor rendimiento, GPT-4-Turbo, logró solo una tasa de precisión del 79%. Pero espera… ¡esta es una de las informaciones mejor estructuradas del planeta! ¡Todo ha sido etiquetado con Inline XBRL! ¿Qué salió mal en su investigación? Oh. Lo adivinaste. Los investigadores pasaron por alto la información estructurada y utilizaron {Ed: ¡Whimpers!} versiones en PDF de estos archivos de estados financieros contenidos en sitios web corporativos.
Así que ayer hicimos nuestro pequeño experimento para comprender si el rendimiento de la IA mejoraría cuando se alimentaran con datos estructurados en Inline XBRL mantenidos en la SEC en lugar de archivos PDF. Cuando el equipo de XII profundizó en los datos, descubrimos que los sistemas de inteligencia artificial como el GPT-4 de OpenAI demuestran un rendimiento enormemente mejorado al responder consultas financieras cuando se alimentan con xBRL-JSON convertido a partir de los informes 10K Inline XBRL de la SEC. Aprovechar el análisis de datos estructurados con IA ofreció resultados de consultas en lenguaje natural mucho más precisos en todas las áreas que analizamos, incluidas:
• Estimación del porcentaje del costo de bienes vendidos (COGS)
• Determinación de los dividendos pagados a los accionistas comunes.
• Analizando la concentración de clientes
• Evaluación del crecimiento de las ganancias
• Evaluación de gastos de capital
Los investigadores sugieren (como era de esperar) que los modelos de lenguaje grandes puedan tener problemas con datos no estructurados, a menudo proporcionando respuestas incorrectas o incluso negándose a responder. Aprovechar los datos estructurados existentes, como en el caso de las presentaciones ante la SEC, es clave para un análisis más confiable mediante modelos de IA.
Las presentaciones presentadas a la SEC ya están meticulosamente estructuradas por empresas, con datos XBRL incorporados obligatoriamente por la dirección corporativa en sus divulgaciones. Como extraer información financiera relevante con IA es más eficaz cuando esa información está estructurada, sería prudente utilizar estos datos pre-estructurados.
{Ed: Respetuosamente, comenzar el análisis con versiones PDF de archivos de 10K es ridículo. Es como imprimir fotografías digitales de algunos fuegos artificiales y luego recortar letras individuales con unas tijeras sin punta y pegarlas en la página para deletrear las palabras «Feliz Año Nuevo» en el papel. ¡Es 2024! ¡Despierta y huele los datos estructurados!}
A pesar de las limitaciones actuales, los investigadores creen en el potencial a largo plazo de modelos de lenguaje como Chat-GPT para ayudar a los profesionales de la industria financiera. Sin embargo, subrayan la necesidad de una mejora continua en los modelos de IA.
Desde nuestra perspectiva, agregaríamos algo extremadamente obvio: las mejoras se acelerarán significativamente al aprovechar XBRL para mejorar la precisión y confiabilidad en el análisis financiero basado en IA. Apenas arañamos la superficie, más de una hora o dos… y estamos seguros de que nuestros lectores podrían hacerlo mejor. Comience por convertir Inline XBRL en xBRL-JSON (la mayoría de los procesadores XBRL ahora le permiten hacer esto extremadamente rápido), brinde a la IA algunas sugerencias sobre la estructura y continúe desde allí. Si tenemos tiempo, profundizaremos un poco más e informaremos la próxima semana.

Probando los límites cognitivos de grandes modelos lingüísticos

Las actividades de los bancos centrales son adecuadas para la aplicación del aprendizaje automático y la inteligencia artificial (IA), lo que refleja la amplia disponibilidad de datos estructurados y no estructurados, junto con la necesidad de análisis sofisticados para respaldar las políticas. Incluso antes de que la IA se convirtiera en el centro de atención de los comentarios populares y de la fascinación generalizada, los bancos centrales habían sido los primeros en adoptar métodos de aprendizaje automático en estadística, análisis macroeconómico y regulación/supervisión (véase Araujo et al (2022, 2023)). Los hallazgos de este boletín no restan valor a los avances tangibles y rápidos que se están logrando en estas áreas, así como en las aplicaciones científicas de la IA que han experimentado un rápido progreso.
Sin embargo, nuestros hallazgos sugieren que se debe tener precaución al implementar grandes modelos de lenguaje en contextos que requieren un razonamiento económico cuidadoso y riguroso. La evidencia hasta ahora es que la generación actual de LLM no alcanza el rigor y la claridad en el razonamiento requeridos para los análisis de alto riesgo necesarios para las aplicaciones de banca central. Como se explica en el anexo, la ingeniería rápida y otros métodos para persuadir al LLM para que dé la respuesta correcta no vienen al caso en nuestro experimento.
En términos más generales, nuestros hallazgos se suman al debate sobre si las limitaciones de la generación actual de grandes modelos lingüísticos simplemente reflejan los límites contingentes planteados por el tamaño del texto de entrenamiento y el número de parámetros del modelo, o si los límites reflejan límites más fundamentales del conocimiento adquirido solo a través del lenguaje. Por un lado, Wei et al (2022) muestran que los LLM muestran «capacidades emergentes» (nuevas capacidades que no están presentes en modelos más pequeños) a medida que el tamaño de la red neuronal se eleva por encima de un umbral crítico. Los LLM suficientemente grandes son capaces de realizar tareas como la suma de tres dígitos, responder a preguntas intrincadas y exhibir capacidades generalizadas de lenguaje natural, una hazaña inalcanzable por modelos más pequeños con datos limitados. Del mismo modo, en su trabajo seminal, Bubeck et al (2023) exploran las competencias multifacéticas de los LLM. Si bien reconocen las limitaciones, los autores siguen siendo optimistas sobre el potencial del modelo para superar el rendimiento humano en ciertos dominios y argumentan que términos como «razón», «conocimiento», «habilidades», «planificación» y «aprendizaje» se aplican correctamente a dichos modelos.

¿Qué tan bien entienden los modelos de IA como GPT-4 los datos XBRL?

Hace un par de semanas comentamos desfavorablemente sobre el uso de versiones PDF de presentaciones de la SEC como entradas para modelos de lenguaje grande (LLM). Estamos mucho más interesados en cómo se pueden aprovechar estas herramientas para examinar datos estructurados.
Los ejemplos incluyen las presentaciones estructuradas con formato Inline XBRL proporcionadas a la SEC por todas las empresas que cotizan en bolsa en los Estados Unidos.
Así que pensamos que deberíamos hacer algunos experimentos por nuestra cuenta. En un nuevo blog, nuestro director de orientación, Revathy Ramanan, profundiza en lo que es posible con algunos enfoques muy simples para el análisis basado en LLM que se basa en estados financieros XBRL estructurados en lugar de archivos PDF no estructurados.
Este blog explica nuestro proceso y establece algunos hallazgos iniciales tentativos. Usamos Chat GPT 4 para este trabajo (incluso XBRL International puede permitírselo). Para ser honesto, estamos mucho más interesados en lo que se puede hacer con estas herramientas. Parece que se está abriendo un capítulo completamente nuevo, pero será necesaria una amplia gama de experimentación, utilizando LLM personalizados.
En pocas palabras, cuanto más hacemos en este espacio, más nos convencemos de que la divulgación de datos estructurados y confiables en XBRL (de los cuales la administración es responsable) produce una única fuente de verdad y una mina de oro analítica para la inteligencia artificial. Los datos están en todas partes. Los datos confiables no tienen precio. Por supuesto, el hecho de que la IA pueda consumirlo fácilmente es muy positivo, pero todavía estamos en el punto más temprano de este viaje.