Energía estructurada – la IA respalda XBRL para datos energéticos 

Tras su reciente experimento con los datos financieros de Johnson & Johnson, XBRL US ha llevado sus pruebas de IA al sector energético, preguntándose si los datos estructurados mejoran la forma en que los grandes modelos de lenguaje manejan los documentos de las empresas de servicios públicos.

Utilizando la herramienta de IA Claude de Anthropic, realizaron una serie de consultas comparando datos XBRL estructurados de los informes de la FERC con fuentes no XBRL para las ventas de electricidad de Puget Sound Energy. Los resultados fueron concluyentes: los datos XBRL no solo eran precisos, sino también más completos, desglosando las cifras por tipo de cliente y trimestre. ¿Y las fuentes no estructuradas? Inconsistentes, a veces erróneas y, con frecuencia, con conjuntos de datos incompletos.

Este experimento refleja lo que vimos con J&J: los datos estructurados permiten que la IA ofrezca claridad y profundidad. Sin ellos, los modelos dependen de una mezcla heterogénea de sitios web de terceros y archivos PDF, lo que produce resultados incompletos o engañosos.

La IA no sustituye a los estándares de datos, sino que prospera gracias a ellos. Y para los reguladores y los participantes del mercado, el mensaje es que los datos estructurados no son opcionales si se desea un análisis automático fiable.

¿Funcionan mejor los datos estructurados de energía con la IA?

Continuando con nuestro trabajo utilizando la versión de escritorio de Claude LLM de Anthropic, decidimos probar su funcionamiento con datos relacionados con la energía que las empresas de servicios públicos reportan a la Comisión Federal Reguladora de Energía (FERC). Desde 2021, las empresas de servicios públicos, incluidas las de electricidad, petróleo, gas natural y otros servicios, están obligadas a presentar datos a través de los formularios electrónicos de la FERC, que incluyen información financiera y datos relacionados con la energía, en un formato estructurado.

Al igual que en pruebas anteriores, le dimos al LLM acceso a la base de datos XBRL de EE. UU., que contiene más de 15 años de datos estructurados y legibles por máquina, a través de un servidor MCP (protocolo de contexto de modelo). La base de datos contiene información procedente de documentos presentados ante la Comisión de Bolsa y Valores (SEC), la Comisión Federal Reguladora de Energía (FERC) y el formato electrónico único europeo (ESEF), por lo que era necesario distinguir entre múltiples fuentes XBRL.

Además de cambiar la fuente de datos estructurados para la consulta, también solicitamos al LLM que comparara los resultados de las fuentes XBRL y no XBRL en una única solicitud consolidada: «Encuentre las ventas trimestrales de megavatios-hora de Puget Sound Energy, Inc. para 2023, 2024 y 2025 utilizando datos XBRL de los formularios FERC 1 y FERC 3Q Electric y datos no XBRL. Cree una tabla que compare los datos de ambas fuentes».

Realizamos la consulta varias veces para observar cómo variaban los resultados. La primera vez que la ejecutamos, Claude generó la tabla de hallazgos clave que se muestra a continuación.

Verificamos la exactitud de los datos reportados comparándolos con los documentos presentados ante la FERC por Puget Sound Energy y constatamos que los datos provenientes de fuentes XBRL eran precisos. Los valores reportados de fuentes que no utilizaban XBRL eran incorrectos para 2023; las estimaciones proporcionadas para algunos períodos se aproximaban a los datos reales.

A continuación, se muestra una sección del Formulario 1 de la empresa. Los dos valores resaltados en rojo corresponden a las cifras anuales de 2023 y 2024, que coinciden con la respuesta de IA que se muestra en la tabla anterior. Para consultar otras cifras trimestrales, utilice el sitio web de FERC eCollections.

Los datos generados a partir de fuentes que no utilizan XBRL proceden de los informes anuales de la Comisión de Servicios Públicos y Transporte de Washington (UTC), bases de datos de terceros del sector energético (FindEnergy.com), comunicados de prensa y documentos regulatorios de las empresas y estadísticas gubernamentales de la EIA (Administración de Información Energética de EE. UU.).

Un intento posterior con la misma solicitud proporcionó datos XBRL mucho más detallados con megavatios-hora vendidos desglosados ​​en residencial, industrial/grande e iluminación pública de calles y carreteras (los datos residenciales se muestran a continuación; otras tablas se pueden encontrar en el informe detallado de LLM). Nuevamente, los datos de origen XBRL reportados coincidieron con los documentos presentados por la empresa ante la FERC. Sin embargo, en esta ocasión, LLM no pudo encontrar ningún dato en fuentes que no fueran XBRL. Las razones citadas por LLM incluyeron el acceso público limitado, las diferencias en el formato de los datos (PDF o papel dificultan la búsqueda sistemática) y la dificultad para acceder a archivos históricos.

Conclusiones

Los resultados obtenidos mediante XBRL fueron más precisos, consistentes, fiables y completos que los datos generados a partir de fuentes no estructuradas.

También nos resultó curioso que el modelo LLM produjera respuestas inconsistentes a lo largo del tiempo. La misma consulta, formulada en diferentes momentos o con una ligera variación en la redacción (por ejemplo, dividirla en dos frases en lugar de una), arrojaba resultados distintos. Esta inconsistencia se debe a la aleatoriedad del proceso de IA, pero es importante tenerla en cuenta al extraer datos financieros para su análisis. En cualquier caso, la IA es una herramienta potente y útil, y tenemos la intención de seguir probando diferentes modelos LLM y realizando pruebas adicionales.



Deja una respuesta