Publicado el 19 de enero de 2024 por Editor
Hace un par de semanas comentamos desfavorablemente sobre el uso de versiones PDF de presentaciones de la SEC como entradas para modelos de lenguaje grande (LLM). Estamos mucho más interesados en cómo se pueden aprovechar estas herramientas para examinar datos estructurados.
Los ejemplos incluyen las presentaciones estructuradas con formato Inline XBRL proporcionadas a la SEC por todas las empresas que cotizan en bolsa en los Estados Unidos.
Así que pensamos que deberíamos hacer algunos experimentos por nuestra cuenta. En un nuevo blog, nuestro director de orientación, Revathy Ramanan, profundiza en lo que es posible con algunos enfoques muy simples para el análisis basado en LLM que se basa en estados financieros XBRL estructurados en lugar de archivos PDF no estructurados.
Este blog explica nuestro proceso y establece algunos hallazgos iniciales tentativos. Usamos Chat GPT 4 para este trabajo (incluso XBRL International puede permitírselo). Para ser honesto, estamos mucho más interesados en lo que se puede hacer con estas herramientas. Parece que se está abriendo un capítulo completamente nuevo, pero será necesaria una amplia gama de experimentación, utilizando LLM personalizados.
En pocas palabras, cuanto más hacemos en este espacio, más nos convencemos de que la divulgación de datos estructurados y confiables en XBRL (de los cuales la administración es responsable) produce una única fuente de verdad y una mina de oro analítica para la inteligencia artificial. Los datos están en todas partes. Los datos confiables no tienen precio. Por supuesto, el hecho de que la IA pueda consumirlo fácilmente es muy positivo, pero todavía estamos en el punto más temprano de este viaje. ¿Darás el siguiente paso?
¡Comida para el pensamiento! Puede leer los resultados completos y seguir el experimento (y tal vez inspirarse para explorar el uso de LLM en datos XBRL) en nuestro blog.
¿Qué tan bien entienden los modelos de IA como GPT-4 los datos XBRL?
Publicado el 18 de enero de 2024 por Revathy Ramanan
Hace un par de semanas, en el boletín de XBRL International, comentamos desfavorablemente el uso de versiones PDF de presentaciones ante la SEC como entradas para modelos de lenguaje grande (LLM). Estamos mucho más interesados en cómo se pueden aprovechar estas herramientas para examinar datos estructurados, como las presentaciones estructuradas con formato Inline XBRL proporcionadas a la SEC por todas las empresas que cotizan en bolsa en los Estados Unidos. Este blog proporciona los detalles de nuestros hallazgos iniciales, impulsados por una interesante investigación original de Patronus AI y, en resumen, ¡es prometedor!
Afortunadamente, los autores de la investigación de Patronus AI proporcionaron un conjunto de ejemplos de consultas en lenguaje natural, así como sus hallazgos, que mostraron (como era de esperar) una precisión deficiente de una variedad de LLM que fueron alimentados con una dieta de PDF simples no estructurados. informes. Por su naturaleza, los estados financieros (incluso en el mundo relativamente restringido “basado en reglas” de los PCGA de EE.UU.) son extremadamente variables y muy, muy complejos. Nos parece que esperar que surja un análisis de grado inversor a partir de este tipo de información no estructurada es demasiado optimista.
Por otro lado, ¿qué puede lograr un LLM cuando se alimenta con una dieta más saludable, de datos estructurados que han sido preparados por la gerencia, proporcionando una fuente única de verdad digital que todos los usuarios pueden consumir?
Se están desarrollando cada vez más modelos de lenguaje grande (LLM) de inteligencia artificial (IA) para comprender e interpretar consultas realizadas en lenguaje natural e interactuar con los conjuntos de datos subyacentes. Un ejemplo de consulta de este tipo podría ser: «Muéstreme la relación deuda-capital promedio de la industria farmacéutica en 2023».
Los datos XBRL están bien estructurados y diseñados para que los consuman las máquinas. La siguiente pregunta lógica es si los modelos de IA entienden los datos XBRL y pueden responder consultas formuladas en lenguaje natural.
Las últimas semanas he estado experimentando en esta área, ¡y el resultado es que Chat GPT funcionó bastante bien! El LLM fue bastante bueno en la comprensión de un informe xBRL-JSON y en responder las consultas en lenguaje natural. El experimento tampoco proporcionó al LLM la taxonomía, que podría ser una forma sencilla de entrenar una IA para comprender mejor los datos XBRL y proporcionar respuestas más precisas en el futuro. Si bien no es perfecto, es un comienzo prometedor.
Este blog explica mi proceso y establece los hallazgos iniciales y tentativos. He utilizado Chat GPT 4 para este trabajo (incluso XBRL International puede permitírselo).
Es importante destacar que he utilizado informes con formato xBRL-JSON. Este es uno de nuestros formatos más nuevos y se ajusta al modelo de información abierta de XBRL International. Está diseñado para análisis y se puede consumir directamente en una variedad de herramientas analíticas disponibles en el mercado, incluida la inteligencia empresarial de Microsoft Office 365 y Tableau. El formato xBRL-JSON es casi siempre el lugar donde los usuarios deben comenzar cuando buscan analizar datos XBRL. Una variedad de herramientas le permite transformar otros formatos XBRL, como Inline XBRL, a xBRL-JSON.
Para explorar esto, comenzamos suministrando a GPT-4 10 informes XBRL de estados financieros disponibles públicamente (estos están disponibles directamente en el portal EDGAR de la SEC de EE. UU.) y realizando consultas como:
- ¿Cuál fue la tasa de crecimiento de las ganancias?
- ¿La empresa pagó dividendos?
- ¿Cuáles fueron las adquisiciones importantes?
El primer paso fue convertir los informes XBRL a los que se accede desde EDGAR al formato xBRL-JSON. Para este estudio se utilizó el procesador XBRL de código abierto Arelle. Aquí está la documentación para el uso de la línea de comandos para la conversión de informes xBRL-JSON en Arelle.
Luego cargué los archivos xBRL-JSON resultantes en una sesión de Chat GPT-4, utilizando la función de carga proporcionada por el LLM. Primero, quería evaluar si el analista de datos GPT-4 comprende la estructura de datos xBRL-JSON. A continuación, se muestra el fragmento de la conversación de GPT-4, comenzando con mi mensaje y la respuesta del analista de datos de GPT-4.
Analiza esta estructura XBRL-JSON
El archivo XBRL-JSON comienza con una sección «documentInfo», que incluye información sobre el tipo de documento (identificado como «https://xbrl.org/2021/xbrl-json») y varias características y espacios de nombres utilizados en el documento. Los espacios de nombres incluyen URL para diferentes estándares e identificadores como “amzn” (Amazon), “cik” (clave de índice central de la SEC), “país”, “dei” (identificadores de elementos de datos), “iso4217” (códigos de moneda), “srt” (Taxonomía de informes de la SEC), “us-gaap” (Principios de contabilidad generalmente aceptados de EE. UU.) y “xbrl” (Lenguaje extensible de informes comerciales). Para proporcionar un análisis exhaustivo, tendré que examinar más a fondo el contenido del archivo, centrándome en secciones clave como datos financieros, información de la empresa y cualquier otro detalle relevante. Procedamos con un examen más detallado.
El archivo XBRL-JSON contiene dos claves de nivel superior: ‘documentInfo’ y ‘facts’.
1. documentInfo: Ya hemos visto que esta sección incluye metadatos sobre el documento, como el tipo de documento, las características y varios espacios de nombres.
2. hechos: esta sección probablemente contenga los datos reales informados en el documento XBRL, como estados financieros, notas y otra información comercial relevante.
Para proporcionar un análisis detallado, profundizaré en la sección de ‘hechos’ para examinar los tipos de datos que contiene y su estructura. Exploremos esta sección a continuación.
La sección «hechos» del archivo XBRL-JSON contiene entradas de datos detalladas, cada una identificada por una clave única. Estas entradas están estructuradas con los siguientes atributos.
1. Valor: el valor real informado.
2. Dimensiones: Esto incluye varios sub atributos:
Concepto: Se refiere al concepto contable específico que se informa (por ejemplo, ‘dei:AmendmentFlag’, ‘dei:DocumentFiscalYearFocus’).
Entidad: la entidad a la que pertenecen los datos, a menudo representada por un número CIK (clave de índice central).
Período: El período de tiempo para el cual los datos son relevantes.
Las dimensiones adicionales pueden incluir idioma (para campos de texto) y otros identificadores específicos según el concepto.
Desde la vista previa, podemos ver entradas relacionadas con información básica del documento, como si el documento es una enmienda (‘dei:AmendmentFlag’), el foco del año fiscal (‘dei:DocumentFiscalYearFocus’), el foco del período fiscal (‘dei:DocumentFiscalPeriodFocus’ ) y la clave de índice central de la entidad (‘dei:EntityCentralIndexKey’). También hay una entrada para un concepto contable específico (‘us-gaap:OtherAssetsNoncurrent’).
Para proporcionar un análisis más completo, podemos explorar tipos específicos de datos dentro de esta sección, como estado de resultados, partidas del balance o notas específicas, según lo que se requiera. Déjeme saber qué aspectos específicos o tipos de datos le gustaría analizar más a fondo.
Aquí, GPT-4 hace un buen trabajo al comprender la estructura xBRL-JSON sin necesidad de proporcionar instrucciones adicionales.
Comencé haciendo una pregunta simple: «¿Cuál es la ganancia reportada?» para diversas empresas. Aquí hay un fragmento de la pregunta sobre ganancias de ‘Alphabet Inc’ 2022 10K.
¿Cuál es la ganancia reportada?
El ingreso neto (beneficio) informado para cada período disponible en los datos XBRL-JSON es el siguiente:
1. Período: 1 de enero de 2020 al 1 de enero de 2021
Ingreso Neto: $40,269,000,000
2. Período: 1 de enero de 2021 al 1 de enero de 2022
Ingreso Neto: $76,033,000,000
3. Período: 1 de enero de 2022 al 1 de enero de 2023
Ingreso Neto: $59,972,000,000
Estos valores representan los ingresos netos de la empresa para los respectivos períodos, considerando solo las entradas con las dimensiones básicas, que generalmente incluyen los detalles fundamentales de los datos financieros.
GPT-4 pudo responder esta pregunta correctamente y los resultados coincidieron con los valores informados en el informe 10K.
El siguiente paso fue hacer una pregunta que implicaba cálculos: «¿Cuál fue el porcentaje de crecimiento de las ganancias del año pasado»? A continuación, se muestra el fragmento de esta pregunta para ‘Alphabet Inc’ 2022 10K:
¿Cuál fue el porcentaje de crecimiento de las ganancias del año pasado?
El porcentaje de crecimiento de las ganancias para el último año (de 2021 a 2022) fue de aproximadamente -21,12%. Esto indica una disminución en las ganancias en comparación con el año anterior.
¡GPT-4 lo hizo bien!
En ocasiones, es posible que GPT-4 no pueda proporcionar una respuesta si no puede adivinar el concepto correcto para la pregunta formulada. En tales situaciones, es posible que sea necesario guiarlo hacia el uso de los conceptos deseados. Por ejemplo, en el siguiente ejemplo, GPT-4 no pudo identificar conceptos de flujo de efectivo de ‘COCA-COLA CONSOLIDated, INC.’ 2022 10K. Sin embargo, con la ayuda de un mensaje adicional, pudo proporcionar la información:
¿Cuáles fueron los flujos de efectivo de las actividades de inversión y financiación?
No hay valores registrados en el archivo JSON para flujos de efectivo de operaciones, inversiones y actividades financieras bajo los conceptos
us-gaap:CashProvidedByUsedInOperatingActivities,
us-gaap:CashProvidedByUsedInInvestingActivities y
us-gaap:CashProvidedByUsedInFinancingActivities.
Esto indica que los datos de estas actividades de flujo de efectivo específicas no están incluidos en el archivo o están categorizados bajo diferentes nombres de conceptos. Si hay otros aspectos o términos específicos que le gustaría que buscara, hágamelo saber.
Busque conceptos como NetCashProvidedByUsed… para la consulta anterior
Para el año 2022, los valores de los flujos de efectivo por operaciones, actividades de inversión y financiamiento son los siguientes:
1. Operaciones: $554,506,000 (efectivo neto proporcionado)
2. Inversiones: -$324,985,000 (efectivo neto usado)
3. Financiamiento: -$174,187,000 (efectivo neto usado)
Entre estas actividades, la actividad de **Operaciones** generó la mayor cantidad de flujo de efectivo en 2022. Tuvo un flujo de efectivo positivo, lo que indica que generó efectivo, mientras que las actividades de Inversión y Financiamiento tuvieron flujos de efectivo negativos, lo que indica el uso de efectivo.
En el primer intento, GPT-4 intenta adivinar los nombres de los conceptos basándose en los patrones que ha identificado en el informe, lo que no funciona para esta consulta. Cuando uno da una pista sutil, como un patrón de nombre de concepto, es capaz de hacer el trabajo.
La siguiente pregunta fue pedirle que determinara si podía calcular algunos ratios financieros. Aquí le pedí que calculara la relación deuda-capital para 2022. Veamos cómo fue la conversación sobre el informe 10K de 2022 de ‘Alphabet Inc’.
¿Cuál es la ratio Deuda-Capital en 2022?
La relación deuda-capital para el año 2022 es de aproximadamente 0,43. Esta ratio se calcula dividiendo el pasivo total (deuda) de la empresa por su patrimonio total.
¿Cuáles fueron los hechos utilizados en el cálculo?
Los hechos utilizados para calcular la relación deuda-capital para el año 2022 son los siguientes:
1. Pasivo Total (Deuda) para 2022:
– Valor: $107,633,000,000
– Concepto: Este valor fue identificado bajo un concepto que probablemente represente el pasivo o deuda total en el informe financiero.
2. Patrimonio Total para 2022:
– Valor: $251,635,000,000
– Concepto: Este valor fue identificado bajo un concepto que probablemente represente el patrimonio total en el informe financiero.
Estos valores se extrajeron del archivo JSON basándose en los conceptos típicamente utilizados en los informes financieros para representar el pasivo total (como indicador de deuda) y el patrimonio total. Luego se calculó la relación deuda-capital utilizando estos valores.
GPT-4 identificó correctamente los conceptos y utilizó la fórmula correcta, pero malinterpretó los puntos. Los valores que enumeró para 2022 en realidad pertenecen a 2021. En xBRL-JSON, los períodos se representan con componentes de tiempo para garantizar una representación coherente y evitar diferentes interpretaciones de la misma fecha. El período instantáneo 2022-12-31 se representa como 2023-01-01T00:00:00, que equivale a las 24:00:00 del día anterior. Supongo que GPT-4 interpretó “2022-01-01T00:00:00” como 2022.
Aclaré las interpretaciones de la época. Aquí está el extracto de la conversación después del mensaje adicional.
2023-01-01T00:00:00 equivale a las 24:00:00 de ese día anterior.
Tiene razón al señalar que “2023-01-01T00:00:00” equivale al comienzo del 1 de enero de 2023, que en realidad es lo mismo que el final del 31 de diciembre de 2022. En los informes financieros, dichas marcas de tiempo se utilizan a menudo para indicar el punto de corte exacto para el período del informe.
Ahora calcule el índice de endeudamiento y capital para 2022.
La relación deuda-capital para el año que finaliza el 31 de diciembre de 2022 es de aproximadamente 0,426. Esta ratio se calcula dividiendo el pasivo total (deuda) de la empresa por su patrimonio total.
Enumere los hechos utilizados
Los hechos utilizados para calcular la relación Deuda-Patrimonio para el año que finaliza el 31 de diciembre de 2022 son los siguientes:
1. Pasivo Total (Deuda) para 2022:
– Valor: $109.120.000.000
– Concepto: El valor fue identificado bajo un concepto que representa el pasivo total en el informe financiero del período que finaliza el 2023-01-01T00:00:00, el cual corresponde al finales del año fiscal 2022.
2. Patrimonio Total para 2022:
– Valor: $256.144.000.000
– Concepto: El valor se identificó bajo un concepto que representa el patrimonio total en el informe financiero del mismo período.
Estos valores, extraídos del archivo JSON, se utilizaron para calcular la relación deuda-capital para el año que finalizó el 31 de diciembre de 2022.
Corrigió su interpretación del período y volvió a calcular la relación deuda-capital basándose en los valores correctos para 2022 con el mensaje adicional.
Con base en este aprendizaje aplicó correctamente la interpretación de período para las consultas posteriores en esa sesión.
Subamos de nivel. Fui a hacer preguntas de las notas detalladas etiquetadas como «¿Qué era la concentración de clientes?», «¿Cuáles son los segmentos comerciales?» o “¿Cuáles fueron las principales adquisiciones?”. Veamos una de esas preguntas de ‘Amazon.com, Inc’ 2022 10K.
¿Cuáles son los ingresos del segmento reportados?
Los ingresos reportados para cada segmento de negocio en 2022 son los siguientes:
1. Segmento de América del Norte (amzn:NorthAmericaSegmentMember): los ingresos reportados para este segmento son \$315,880,000,000.
2. Segmento internacional (amzn:InternationalSegmentMember): los ingresos reportados para este segmento son \$118,007,000,000.
3. Segmento de servicios web de Amazon (amzn:AmazonWebServicesSegmentMember): los ingresos reportados para este segmento son \$80,096,000,000.
Estas cifras brindan una visión integral de la distribución de ingresos en los principales segmentos comerciales de la compañía, destacando dónde genera la empresa la mayor parte de sus ingresos. El segmento de América del Norte muestra los mayores ingresos, seguido por el segmento internacional y luego el segmento de servicios web de Amazon.
Aquí GPT-4 obtiene la información correcta. Un matiz a tener en cuenta es que GPT-4 intenta hacer que el nombre del segmento sea legible por humanos a partir del nombre del miembro técnico presente en el informe.
Veamos un ejemplo más del mismo informe que consulta las notas etiquetadas detalladas.
¿Cuáles fueron las principales adquisiciones?
Una de las principales adquisiciones de 2022 fue la compra de MGM Holdings Inc. por parte de Amazon. La adquisición se completó por una contraprestación en efectivo de aproximadamente $6.1 mil millones de dólares, neto del efectivo adquirido. Además, Amazon asumió una deuda de 2.500 millones de dólares, que fue reembolsada inmediatamente después del cierre del acuerdo. Los activos adquiridos incluyeron principalmente 3.400 millones de dólares en contenido de vídeo y 4.900 millones de dólares de fondo de comercio. Ese mismo año, Amazon también adquirió otras empresas por un precio de compra total de 141 millones de dólares, neto del efectivo adquirido.
Aquí, GPT-4 intentó resumir la información narrativa etiquetada como bloque de texto para ‘Divulgación de combinación de negocios; De nuevo fue impresionante.
Aquí se presenta una consulta sobre concentración de clientes de ‘COCA-COLA CONSOLIDADA, INC.’ 2022 10K.
¿Cuál fue la concentración de clientes reportada?
El documento informa que la empresa enfrenta riesgos de concentración relacionados con unos pocos clientes, que representan una gran parte del volumen de ventas anual y de las ventas netas de la empresa. El informe incluye una tabla que resume el porcentaje del volumen total de ventas de botellas/latas de la empresa a sus clientes más importantes, así como el porcentaje de las ventas netas totales de la empresa, que se incluyen en el segmento de Bebidas no alcohólicas, que representa este volumen. Cabe señalar que ningún otro cliente representó más del 10% de las ventas netas totales de la empresa durante los años presentados.
Busque información detallada sobre la concentración de clientes
La información detallada sobre concentración de clientes de Coca-Cola Consolidated, Inc. es la siguiente:
1. Para el período comprendido entre el 1 de enero de 2021 y el 1 de enero de 2022, Walmart Stores Inc. representó el 20% del porcentaje de riesgo de concentración.
2. Para el período comprendido entre el 30 de diciembre de 2019 y el 1 de enero de 2021, Walmart Stores Inc. también figura en los detalles de concentración de clientes.
3. Durante el mismo período, tanto Walmart Stores Inc. como The Kroger Company fueron considerados por riesgo de concentración de clientes, lo que indica un volumen de ventas significativo o ventas netas atribuidas a estos clientes.
4. Para el período comprendido entre el 1 de enero de 2021 y el 1 de enero de 2022, Walmart Stores Inc. y The Kroger Company en conjunto representaron un porcentaje de riesgo de concentración del 33%.
5. Específicamente para The Kroger Company, durante este período, el porcentaje de riesgo de concentración fue del 9%.
6. Desde el 1 de enero de 2022 hasta el 1 de enero de 2023, The Kroger Company por sí sola representó un porcentaje de riesgo de concentración del 10%.
7. Para el mismo período, el porcentaje de riesgo de concentración combinado para Walmart Stores Inc. y The Kroger Company fue del 32%, medido contra el volumen de ventas de botellas/latas de Coca-Cola del miembro del producto.
Estas cifras indican la dependencia significativa de Coca-Cola Consolidated, Inc. de clientes importantes como Walmart Stores Inc. y The Kroger Company, destacando los riesgos potenciales asociados con la concentración de clientes.
Este es un resumen bastante bueno de las notas detalladas etiquetadas usando dimensiones XBRL.
GPT-4 parece ser bueno para comprender el informe xBRL-JSON y responder consultas en lenguaje natural. Dicho esto, hay algunos puntos generales que deben leerse en contexto:
- El experimento se basó exclusivamente en el informe XBRL y no hizo referencia a la taxonomía. Esto significa que no tuvo acceso a la rica documentación sobre cada concepto y sus interrelaciones. Convertir una taxonomía en un “conjunto triple” es un ejercicio muy sencillo y capacitar a un LLM personalizado con esta información, incluidas las taxonomías de extensión corporativa y los datos subyacentes, sería un área prometedora para la experimentación.
- Los nombres de los elementos en el informe de muestra se parecían al significado semántico, lo que ayudó en este análisis. Los informes XBRL que tienen nombres de elementos como códigos alfanuméricos no se pueden analizar de la manera explicada en este blog. Nuevamente, enseñar al modelo sobre la taxonomía superaría cualquier limitación en este campo, ya que comprendería las etiquetas en uso.
- En algunos casos, GPT-4 no pudo cargar informes XBRL-JSON, alegando que tenía muchos datos de texto. Esta podría ser la restricción de escala actual para los usuarios de GPT-4. Hay un límite a lo que se puede hacer con un entorno abierto de este tipo.
- En ocasiones requiere ser dirigido al concepto o dimensiones correctas. Recuerde, esto es «sin entrenamiento», por lo que los resultados siguen siendo impresionantes.
- Si los datos requeridos son una combinación de hechos dimensionales y no dimensionales, es posible que sea necesario indicarles explícitamente que incluyan solo dimensiones básicas.
- A veces, GPT-4 generaliza los nombres de los conceptos. Por ejemplo, el “fondo de comercio” pagado en la adquisición de una empresa” se denomina “valor de adquisición”.
- La coherencia y la fiabilidad son una preocupación; en algunos casos, GPT-4 no entendía la estructura xBRL-JSON. En otros casos, no pude reproducir la respuesta exacta que obtuve antes, lo que redujo la confiabilidad.
Este fue un experimento interesante para probar si el modelo GPT-4 puede comprender datos XBRL y responder preguntas fundamentales, y parece estar haciéndolo bastante bien. GPT-4 respondió con precisión, ya que los datos XBRL estaban estructurados y eran consistentes en todos los informes. No me considero un experto en escribir mensajes optimizados; Estoy seguro de que muchos otros pueden hacerlo mucho mejor. Este experimento demuestra el potencial. Animo a nuestros lectores a profundizar en este tema; espero que este blog proporcione algo de reflexión. ¡Estamos interesados en conocer tus resultados!
Publicado originalmente: https://www.xbrl.org/news/how-well-do-ai-models-like-gpt-4-understand-xbrl-data/