Artículos

Necesitamos más y mejores datos sobre la policía y el sistema de justicia penal

La falta de datos de calidad sobre la actuación policial refleja el mal estado de transparencia en el sistema de justicia penal y está frenando los esfuerzos de reforma policial.

A medida que se discuten ideas en todo el país sobre cómo llevar a cabo una reforma policial significativa, un aspecto que a veces se pasa por alto es la falta de datos de calidad sobre la actuación policial y el sistema de justicia penal en su conjunto.

Los «macrodatos» y la revolución de la inteligencia han estimulado avances para las empresas y los gobiernos, pero estas tendencias en su mayoría han sido ignoradas por los organismos encargados de hacer cumplir la ley. Los departamentos de policía locales y estatales no han cumplido con los estándares actuales de presentación de datos, lo que significa que la mayoría de los departamentos de policía no pueden producir informes significativos sobre el estado de la aplicación de la ley en sus jurisdicciones. Tomemos como ejemplo la guerra contra las drogas.

Uno puede preguntarse cuántas personas han sido condenadas por delitos graves por cargos de posesión de marihuana. ¿Cuántas personas cometen delitos graves por posesión de drogas? ¿Cuántas personas han sufrido abusos por parte del poder policial mientras se enfrentaban a un arresto relacionado con las drogas?

Las respuestas a esas preguntas se desconocen en gran medida. No existe una base de datos que pueda informar con precisión esos números. Lo mejor que tenemos son estimaciones compiladas de programas piloto y otros esfuerzos académicos y de los medios de comunicación.

¿Cómo puede ser este el estado de los datos de la justicia penal en medio de una revolución de datos tan generalizada en tantas otras áreas de la sociedad?

Una razón principal es que los estados colectivamente no han logrado determinar estándares para la presentación de datos, algo que el sector privado ha desarrollado y adaptado para uso público.

Uno de los mejores ejemplos de innovación de datos en la esfera pública es XBRL US, que es un consorcio de empresas sin fines de lucro que se reúne regularmente y acepta definiciones de datos universales, principalmente relacionadas con informes financieros. Los estándares XBRL garantizan que los datos financieros corporativos se puedan localizar fácilmente y que sean comparables entre instituciones.

Reconociendo los beneficios de la estandarización, incluida la transparencia y la integridad de los datos, la Comisión de Bolsa y Valores de EE. UU. (SEC) comenzó a exigir informes XBRL para las empresas públicas porque era muy fácil definir, recopilar y revisar la información requerida por las regulaciones.

Las instituciones públicas como los departamentos de policía, los distritos judiciales y los sistemas penitenciarios deben desarrollar un organismo de gobierno como XBRL US para establecer definiciones de datos universales. Estos estándares se pueden programar fácilmente en un software de recopilación de datos, que a menudo es de código abierto y es mantenido por organizaciones sin fines de lucro y otros grupos de responsabilidad. Los datos también podrían distribuirse de forma rápida y económica a los departamentos de policía y otras partes del país, ayudándoles a identificar e implementar mejor las mejores prácticas.

La Iniciativa de Datos de la Policía, que dice que ha trabajado con 130 agencias de aplicación de la ley que han publicado más de 200 conjuntos de datos hasta la fecha, y otras similares es un buen comienzo para el movimiento de datos. Pero en su mayor parte, estos grupos solo pueden compilar enlaces que redireccionan a las bases de datos de la policía estatal y local. Sin requisitos de estandarización y presentación de informes, es casi imposible construir una base de datos nacional significativa de información policial y mucho menos determinar retrospectivamente algo como la cantidad de personas condenadas por algo como posesión de drogas.

Los datos son necesarios por una variedad de razones y deben ser registrados y reportados de tal manera que la información sea fácilmente digerible tanto por máquinas como por humanos. Informar los datos en formato pdf, por ejemplo, es una práctica común de los gobiernos, pero esos datos no son legibles por una máquina por un programa como Microsoft Excel.

Además, según los estándares establecidos por el organismo nacional, la policía debe tener dispositivos digitales con formularios preestablecidos que capturen la gran mayoría de las actividades en las que participan. Esos dispositivos deben ingresar a la base de datos central casi en tiempo real, o en al menos actualizarse a diario.

Así como sería ilegal que una empresa pública omita ciertos datos en su informe anual, debería ser ilegal que la policía se involucre en ciertas actividades sin informarlo. La llegada de las cámaras corporales y el almacenamiento de datos barato hace posible revisar videos y ayudar a registrar datos correctamente. La inteligencia artificial también puede ayudar a decodificar videos para registrar las actividades que ocurren en la cinta.

Si los formuladores de políticas y los contribuyentes tuvieran una actualización diaria de los datos policiales que registraran e informaran las acciones y estadísticas de las actividades diarias de los departamentos de políticas, la transparencia aumentaría y el potencial de abuso probablemente se reduciría en gran medida. Luego, podríamos usar los datos para desarrollar métodos más efectivos y científicos para orientar las intervenciones para reducir el comportamiento indeseable.

Si bien la naturaleza del trabajo policial nunca se prestará a la misma estandarización de datos generalizada observada en la industria financiera, por ejemplo, es una inconsistencia inaceptable que los gobiernos puedan categorizar, criminalizar y hacer cumplir las leyes, pero afirman que no tienen las capacidades tecnológicas para registrar e informar esas actividades con fines de transparencia y rendición de cuentas.

La presentación de informes y la estandarización de datos es una reforma de la justicia penal muy necesaria. En el futuro, los departamentos de policía y las instituciones involucradas en el sistema de justicia penal deben priorizar la presentación de datos y la estandarización.

APLICACIÓN DE LA TAXONOMÍA PARA DIVULGACIONES DE ALIVIO Y PANDEMIA DE COVID-19

PROPÓSITO DE ESTA TAXONOMÍA PREGUNTAS Y RESPUESTAS DEL PERSONAL

Como parte de su compromiso continuo con las partes interesadas, el personal de taxonomía de FASB ha creado estas preguntas y respuestas para abordar la aplicación de la taxonomía a las divulgaciones en las siguientes áreas:

  1. Impuestos sobre la renta
  2. Impuestos sobre la nómina
  3. Préstamos
  4. Subsidios
  5. Pensiones
  6. Discusión general sobre la pandemia de COVID-19.

Las respuestas proporcionadas en estas preguntas y respuestas no deben ser análogas a otros hechos y circunstancias que no se hayan discutido específicamente.

El personal de Taxonomía de FASB continuará monitoreando esta situación única y en evolución y comunicará la aplicación adicional de la Taxonomía según corresponda.

PREGUNTAS Y RESPUESTAS


Divulgaciones de COVID-19

Pregunta 1

¿Cómo se debe aplicar la taxonomía a la nota a los estados financieros específicos a la información de COVID-19?

Respuesta

Si los estados financieros incluyen una nota separada sobre COVID-19, el elemento de taxonomía “Elementos inusuales o infrecuentes, o ambos, divulgación [bloque de texto]” está destinado a utilizarse para la nota. Sin embargo, para alertar a los lectores de que la nota se relaciona con COVID-19, el atributo favoriteLabel (la etiqueta preferida) para el elemento debe terminar con «COVID-19». El cumplimiento de esta estructura permitirá a los consumidores buscar texto en un término acordado mientras usan un bloque de texto de taxonomía existente.

Divulgación de la Ley CARES

Impuestos sobre la renta

Pérdidas operativas netas


Pregunta 2

¿Cómo se debe aplicar la Taxonomía a la divulgación del efecto en los estados financieros de la Ley de Ayuda, Alivio y Seguridad Económica por Coronavirus (Ley CARES) relacionada con las modificaciones de las limitaciones sobre la deducibilidad de las pérdidas operativas netas?


Respuesta

Los elementos de extensión están destinados a ser utilizados para divulgaciones de cambios en las leyes tributarias de la Ley CARES relacionados con la modificación de las limitaciones sobre la deducibilidad de las pérdidas operativas netas que sean consistentes con los elementos existentes de la taxonomía (tales como impuestos a la renta por cobrar, gasto por impuesto a la renta (beneficio)). ) y Operaciones Continuadas, Ajuste de Pasivo (Activo) de Impuestos Diferidos) con etiquetas preferidas que terminan con «Ley CARES». Por ejemplo, un elemento de extensión para el impuesto por cobrar para revelar el efecto de una devolución de pérdidas operativas netas tendría la etiqueta preferida «Impuesto sobre la renta por cobrar, Pérdida operativa neta, Ley CARES». El cumplimiento de esta estructura permitirá a los consumidores buscar texto en un término acordado y facilitará la búsqueda.

Créditos fiscales mínimos alternativos


Pregunta 3

¿Cómo se debe aplicar la Taxonomía a la divulgación del efecto en los estados financieros de la Ley CARES relacionado con la aceleración de los créditos del Impuesto Mínimo Alternativo (AMT) bajo la Ley CARES?

Respuesta

Los elementos de extensión están destinados a ser utilizados para divulgaciones de cambios en las leyes tributarias de la Ley CARES relacionados con la aceleración de créditos AMT que son consistentes con los elementos de taxonomía existentes (como los impuestos sobre la renta por cobrar) y que tienen una etiqueta preferida para el elemento de extensión que termina con «CARES Act». Un ejemplo sería «Impuesto sobre la renta por cobrar, Impuesto mínimo alternativo, Ley CARES». El cumplimiento de esta estructura permitirá a los consumidores buscar texto en un término acordado y facilitará la búsqueda.

Depreciación de la propiedad de mejora calificada


Pregunta 4

¿Cómo se debe aplicar la Taxonomía a la divulgación del efecto en los estados financieros de la Ley CARES para enmiendas relacionadas con la depreciación de propiedad de mejora calificada bajo la Ley CARES?

Respuesta

Los elementos de extensión están destinados a ser utilizados para divulgaciones de cambios en las leyes tributarias de la Ley CARES relacionados con el reconocimiento de la depreciación de la propiedad de mejora calificada que son consistentes con los elementos de taxonomía existentes (como los impuestos sobre la renta por cobrar con una etiqueta preferida para el elemento de extensión que termina con “CARES Act”). Un ejemplo sería «Impuestos sobre la renta por cobrar, Propiedad de mejora calificada, Ley CARES». El cumplimiento de esta estructura permitirá a los consumidores buscar texto en un término acordado y facilitará la búsqueda.

Otras divulgaciones de la Ley CARES


Pregunta 5

¿Cómo debería aplicarse la taxonomía a la divulgación de valores umbral relacionados con las disposiciones específicas de los esfuerzos de ayuda de la Ley CARES?

Respuesta

Divulgación de valores de umbral que simplemente reiteran las disposiciones de los programas de ayuda en virtud de la Ley CARES (por ejemplo, el porcentaje del préstamo que se debe utilizar para la nómina para calificar bajo el Programa de Protección de Cheques de Pago [PPP] o el porcentaje de los impuestos sobre la nómina del empleador que debe pagarse antes del 31 de diciembre de 2021) no es necesario etiquetar porque la información es la misma para todos los contribuyentes; no es específico del declarante. La divulgación de esta manera es consistente con la pregunta 146.16 de las Interpretaciones de cumplimiento y divulgación del personal de la SEC: datos interactivos (última actualización: 20 de agosto de 2019) que proporciona ejemplos de los tipos de valores monetarios, porcentajes y números que el personal de la SEC ha acordado son no dentro del propósito de los requisitos de datos interactivos actuales y, como resultado,

Pregunta 6

¿Cómo se debe aplicar la Taxonomía a la divulgación de impuestos sobre la nómina diferidos, créditos de retención de empleados y contribuciones de pensiones diferidas relacionadas con las disposiciones de la Ley CARES?


Respuesta

Los elementos de extensión están destinados a ser utilizados para la divulgación de impuestos sobre la nómina diferidos, créditos de retención de empleados y contribuciones de pensiones diferidas que terminan con la «Ley CARES». El cumplimiento de esta estructura permitirá a los usuarios buscar texto en un término acordado y aumentar la capacidad de búsqueda. Cualquier elemento de extensión debe estar estructurado de manera similar a otros elementos de la “Ley CARES”. Por ejemplo, un elemento de extensión para la participación diferida del empleador en los impuestos sobre la nómina sería «Impuesto del Seguro Social, Empleador, Aplazamiento, Ley CARES», un elemento de extensión para los créditos de retención de empleados sería «Crédito de retención de empleados, Ley CARES» y un elemento de extensión para las contribuciones de pensión diferidas sería «Plan de beneficios definidos, contribuciones futuras esperadas del empleador, año fiscal actual, aplazamiento, ley CARES».

Pregunta 7

¿Cómo se debe aplicar la taxonomía a la divulgación de transacciones de programas de préstamos bajo la Ley CARES?

Respuesta

Los prestatarios deben aplicar la taxonomía a las divulgaciones de préstamos PPP y préstamos con otras facilidades crediticias de la Ley CARES utilizando elementos de la taxonomía cuando corresponda. El monto de la deuda debe divulgarse utilizando elementos de línea que se encuentran actualmente en la taxonomía. Algunos elementos posibles que se pueden usar para las divulgaciones incluyen, entre otros, “Instrumento de deuda, monto nominal”, “Ingresos de líneas de crédito”, “Pagos de deuda a largo plazo” y “Pagos de líneas de crédito. » El elemento del programa a partir del cual se ha financiado el préstamo debe crearse como un miembro de extensión en el «Instrumento de deuda [Eje]» o utilizarse con «Instrumento de deuda, Tipo [Lista extensible]». Los elementos de miembro de extensión deben tener etiquetas preferidas que terminen con “Ley CARES”, como “Programa de protección de cheques de pago, Ley CARES [Miembro]” y “Facilidad de crédito, Ley CARES [Miembro].

Los prestamistas deben aplicar la Taxonomía a las divulgaciones de préstamos PPP y préstamos con otras facilidades crediticias de la Ley CARES utilizando elementos de Taxonomía cuando sea apropiado. Los posibles elementos que se pueden utilizar para la divulgación de préstamos PPP y las facilidades crediticias de la Ley CARES habilitadas por el prestamista incluyen «Financiamiento por cobrar, antes de la asignación para pérdidas crediticias», «Financiamiento por cobrar, después de la asignación para pérdidas crediticias» y «Pagos por (ingresos de) Préstamos y Arrendamientos”. Los posibles elementos de extensión que se pueden utilizar para las divulgaciones que se informan comúnmente incluyen, entre otros, “Financiamiento por cobrar, Número de préstamos autorizados”, “Financiamiento por cobrar, Monto de préstamos autorizados” y “Financiamiento por cobrar, Número de préstamos financiados. » La estructura unidimensional que puede ser apropiada es “Préstamos asegurados o garantizados por las autoridades gubernamentales [Eje].

Pregunta 8

¿Cómo se debe aplicar la taxonomía a la divulgación de subvenciones de los programas de ayuda del gobierno iniciados en respuesta al COVID-19?

Respuesta

La taxonomía actual tiene elementos para las subvenciones por cobrar (por ejemplo, “Subvenciones por cobrar”, “Subvenciones por cobrar, vigentes” y “Subvenciones por cobrar, no corrientes”); sin embargo, es posible que sea necesario crear elementos de línea de extensión adicionales para las divulgaciones informadas comúnmente. Los elementos necesarios pueden incluir, entre otros, «Ingresos de la asistencia del gobierno» para los montos recibidos y «Asistencia del gobierno, Estado de ingresos o ingreso integral [Lista extensible]» y «Asistencia del gobierno, Estado de situación financiera [Lista extensible]» para informar en qué línea de los estados financieros se incluye la subvención. El cumplimiento de esta estructura permitirá a los consumidores buscar texto en un término acordado y facilitará la búsqueda.

Las divulgaciones pueden necesitar una estructura dimensional (todos los elementos de extensión) para múltiples tipos de asistencia gubernamental. Por ejemplo, “Asistencia gubernamental [Eje]”, “Asistencia gubernamental [Dominio]” y “Asistencia gubernamental, [Miembro] de la Ley CARES” pueden ser extensiones apropiadas al aplicar la Taxonomía a las divulgaciones de subvenciones. Si solo se recibe un tipo específico de asistencia gubernamental, la “Asistencia gubernamental, [Lista extensible]” puede ampliarse para indicar el tipo de asistencia. 

Palabras en la reunión del Comité Asesor de Gestión de Activos

Gracias, Ed [Bernard]. Me gustaría dar la bienvenida a todos a la segunda reunión del Comité Asesor de Gestión de Activos de la Comisión. Me complace que el Comité pueda reunirse virtualmente hoy.

Gracias a todos los que participaron, incluidos los comisionados Peirce y Lee; nuestros panelistas; y los miembros del Comité. Me gustaría agradecer particularmente a Ed por su liderazgo en la elaboración de la agenda para la reunión de hoy, ya Dalia y su equipo por sus muchas contribuciones en un período de tiempo reducido. Gracias también al personal de la Comisión en la Oficina de Tecnología de la Información y la Oficina del Secretario, cuyo trabajo nos permitió realizar la reunión de hoy de forma remota. Y, lo que es más importante, gracias a todas las personas interesadas que están escuchando nuestra reunión a través del sitio web de la Comisión.

Espero escuchar los conocimientos del Comité sobre los efectos de la pandemia en la industria de gestión de activos y, en particular, en nuestros inversores de Main Street a largo plazo. Un componente esencial de nuestra respuesta nacional y recuperación de COVID-19 será la operación continua y ordenada de nuestros mercados y los flujos continuos de capital y crédito en toda nuestra economía. La industria de la gestión de activos tiene un papel fundamental que desempeñar tanto en el funcionamiento ordenado del mercado como en la generación y absorción de flujos de capital. Los fondos de inversión y los asesores son un vínculo importante entre estas realidades del mercado y los intereses de nuestros inversores a largo plazo de Main Street. A medida que se desarrollan los efectos de COVID-19 y nuestra respuesta social, es importante que discutamos estos asuntos en tiempo real y con la mente clara.

El enfoque general de la Comisión a los desafíos presentados por COVID-19 se ha basado en la premisa de poner la salud y la seguridad en primer lugar mientras nos esforzamos por cumplir con nuestros mandatos bajo requisitos operativos modificados y condiciones económicas estresadas y, por lo tanto, les damos a los expertos en salud tiempo para desarrollar una mejor comprensión de los enfermedad y cuál es la mejor manera de responder. Como siempre, la protección de los inversores y la integridad del mercado han permanecido en la mente, a medida que avanza este esfuerzo dinámico de toda la sociedad. 

Durante los últimos meses, la Comisión y su personal han estado monitoreando los efectos de COVID-19 y nuestra respuesta social sin precedentes y, en particular, hemos estado ayudando a los participantes del mercado en sus esfuerzos por continuar con sus operaciones. Por ejemplo, el personal de nuestra División de Gestión de Inversiones ha dedicado un tiempo considerable a supervisar y relacionarse con la industria de gestión de activos, en particular los asesores de fondos y inversiones con exposiciones importantes en los mercados y clases de activos que se han visto más afectados por los acontecimientos recientes. El personal ha tratado de abordar las cuestiones planteadas como parte de ese seguimiento y divulgación. En su caso, hemos proporcionado a los participantes de la industria una exención temporal, condicional y selectiva. [4]  Nuestra intención ha sido permitir que los participantes afectados por COVID-19, incluidos fondos y asesores, cumplan con la esencia completa de sus obligaciones regulatorias y las expectativas de sus inversionistas, reconociendo al mismo tiempo que pueden enfrentar interrupciones operativas temporales.

A lo largo de estos tiempos, nuestro personal ha estado trabajando activamente con nuestros colegas reguladores nacionales, particularmente en el Departamento del Tesoro, la Junta de la Reserva Federal (Junta) y el Banco de la Reserva Federal de Nueva York (FRBNY), ya que hemos considerado e implementado respuestas regulatorias. . Estas colaboraciones han acelerado la acción y mejorado la efectividad de varias respuestas gubernamentales a los impactos económicos y de mercado del COVID-19.   

En el futuro, continuaremos monitoreando los efectos de nuestras respuestas al COVID-19 a medida que evolucionen, y consideraremos modificar, complementar y retirar el alivio y la orientación según corresponda. Los debates de hoy proporcionarán información valiosa a la Comisión. 

Aquí, daré un paso atrás y señalaré dos preguntas clave que nos hacemos: Primero, ¿Cómo podemos mejorar? Y, en segundo lugar, ¿Cómo queremos que evolucione la participación y representación en nuestros mercados, en todos los niveles, incluso con respecto a los inversores, las empresas de servicios financieros, los reguladores y otros? En mi opinión, una parte clave de la respuesta a ambas preguntas es: Ampliar el acceso y las oportunidades a nuestros inversionistas de Main Street, sobre una base consistente con las oportunidades disponibles para los inversionistas institucionales, mientras mantenemos nuestro liderazgo en la protección de los inversionistas. 

En cuanto a la cuestión de la mejora, observo que a pesar de este momento difícil, la División de Gestión de Inversiones continúa su trabajo para modernizar el marco regulatorio para los fondos de inversión y los asesores. Su trabajo consiste en ampliar el acceso y la elección entre las oportunidades de inversión y, al mismo tiempo, preservar y mejorar la protección de los inversores. En marzo, la Comisión simplificó y agilizó las divulgaciones de cara a los inversores sobre anualidades variables y productos de seguros de vida variables. Luego, en abril, adoptamos reformas para modernizar los procesos de registro, oferta y comunicación de valores para empresas de desarrollo comercial y fondos cerrados registrados. En los próximos meses, la Comisión espera avanzar en otros puntos de nuestra agenda regulatoria que continuarán con estos esfuerzos de modernización.

A medida que avanzamos, sigue siendo de la incumbencia de la Comisión escuchar a quienes tienen experiencia y conocimientos prácticos fuera de nuestro edificio, hoy nuestro edificio virtual. Sin duda, los comentarios de este Comité nos ayudarán a comprender mejor dónde está funcionando nuestro marco regulatorio y dónde quedan los desafíos. 

Pasando a la discusión de hoy específicamente, espero escuchar de los subcomités recientemente formados del Comité enfocados en inversiones privadas y en temas ambientales, sociales y de gobernanza (o, «ESG»). He hablado extensamente sobre temas en ambas áreas. Creo haber dejado en claro que, si bien creo que en muchos casos uno o más problemas «E», problemas «S» o problemas «G» son importantes para una decisión de inversión, no he visto circunstancias en las que combinar un análisis de E, S y G juntas, en una amplia gama de empresas, por ejemplo con una «calificación» o «puntuación», en particular una única calificación o puntuación, facilitaría un análisis de inversión significativo que no fuera significativamente demasiado inclusivo e impreciso. He solicitado la participación en este tema, en particular de los administradores de cartera activos con antecedentes reales, y agradezco enormemente sus esfuerzos por informar a la Comisión en esta área. 

En cuanto a la segunda pregunta de participación y representación en nuestros mercados, un componente crítico de esta discusión es la diversidad y la inclusión, y me complace que Ed hable de sus esfuerzos con respecto a la diversidad, la inclusión y las oportunidades. Como señalé en mis comentarios en su reunión inaugural, las oportunidades para participar en la industria de la gestión de inversiones se distribuyen mucho más estrechamente de lo que deberían. Espero ver cómo su trabajo informará a la Comisión mientras buscamos ampliar las oportunidades para participar en la industria de la gestión de inversiones. Espero con interés las contribuciones continuas de AMAC a nuestros esfuerzos colectivos.

Discurso: Informes de sostenibilidad y su relevancia para la Fundación IFRS

La fideicomisaria de la Fundación IFRS, Teresa Ko, brindó los siguientes comentarios preparados en la reunión inaugural del Grupo Directivo Interinstitucional de Finanzas Verdes y Sostenibles a principios de mayo. El grupo fue establecido por la Autoridad Monetaria de Hong Kong (HKMA) y la Comisión de Valores y Futuros (SFC) para coordinar la gestión de riesgos climáticos y ambientales para el sector financiero en Hong Kong.

En sus comentarios, describe los posibles roles futuros que la Fundación IFRS podría desempeñar para apoyar el progreso hacia el desarrollo de estándares de alta calidad reconocidos internacionalmente para los informes de sostenibilidad.

Voy a hablar sobre cómo surgió la Fundación IFRS, qué han estado haciendo y por qué creo que hay un caso convincente para que la Fundación IFRS desempeñe un papel en ayudar a desarrollar un conjunto de estándares internacionales comparables a nivel mundial en informes sostenibles. Comenzando quizás con la divulgación de riesgos relacionados con el clima.

Debo agregar para comenzar que estoy hablando hoy como fideicomisario a título personal y no en nombre de la Fundación IFRS. Todos los puntos de vista y opiniones expresados ​​son míos.

Entonces, ¿Cómo surgió la Fundación IFRS? Tengo que retroceder un poco al boom económico mundial y al nacimiento de las corporaciones multinacionales tras la Segunda Guerra Mundial.

En ese momento, aunque hubo un aumento en el flujo de capital transfronterizo, la mayoría de los países mantuvieron sus propios requisitos de información [financiera] nacional, y estos eran de diferente calidad, lo que resultó en un aumento de costos, riesgos y complejidad para los inversores que invierten internacionalmente.

En 1973, los organismos contables de diez países (Australia, Canadá, Francia, Alemania, Japón, México, Países Bajos, Reino Unido / Irlanda y Estados Unidos) se unieron para formar el Comité de Normas Internacionales de Contabilidad (IASC) y acordaron adoptar la Contabilidad Internacional. Estándares (IAS) para listados transfronterizos.

1993 fue el punto de inflexión cuando el presidente del IASC instó a la Organización Internacional de Comisiones de Valores (IOSCO) a aceptar las Normas Internacionales de Contabilidad en las ofertas de valores multinacionales y las cotizaciones extranjeras. Esto finalmente sucedió en 2000, cuando el IASC se reestructuró en un Consejo de Normas Internacionales de Contabilidad (IASB) de tiempo completo supervisado por fideicomisarios independientes y se formó la Fundación IFRS.

Paul Volcker fue el primer presidente de los fideicomisarios y Sir David Tweedie fue presidente del IASB. Veinte años después, la Fundación IFRS ha transformado el panorama global de información financiera.

Sigue siendo una organización sin fines de lucro enfocada en continuar desarrollando un conjunto único de estándares contables de alta calidad, comprensibles, exigibles y aceptados globalmente — Estándares IFRS — y continúa enfocándose en su adopción y aplicación consistente.

Con sede en Canary Wharf, Londres, con una oficina de Asia-Oceanía en Tokio y una plantilla de 150 personas de 39 nacionalidades, creo que para una organización de este tamaño, es lo más internacional posible.

Cualquier contable entre ustedes sabrá que en los últimos 10 años, la Fundación IFRS ha mejorado la calidad de las Normas IFRS al introducir actualizaciones importantes en la contabilidad de instrumentos financieros, reconocimiento de ingresos, arrendamientos y contratos de seguros.

Hasta la fecha, 144 jurisdicciones exigen el uso de las Normas NIIF para todas o la mayoría de las empresas que cotizan en bolsa, mientras que otras 12 jurisdicciones permiten su uso.

Incluso en los EE. UU., Las diferencias entre las NIIF y los PCGA de EE. UU. Se han reducido significativamente. Más de 500 empresas internacionales con doble cotización en los EE. UU. Informan utilizando las Normas NIIF.

Los estándares nacionales de China convergen sustancialmente con los estándares IFRS. Las empresas chinas que representan más del 30 por ciento de la capitalización bursátil total del mercado nacional producen estados financieros que cumplen con las NIIF como resultado de su doble cotización en Hong Kong y otros mercados internacionales.

La Fundación IFRS tiene una estructura de tres niveles con el IASB como el organismo emisor de normas independiente. Los Fideicomisarios de la Fundación son responsables de la dirección estratégica, la gobernanza y la supervisión del IASB y los Fideicomisarios mismos son, a su vez, responsables ante el Consejo de Seguimiento, que comprende representantes de reguladores de valores y autoridades públicas de todo el mundo.

Con esa historia, siento mucho que los informes de sostenibilidad hoy en día se encuentran en una posición similar a la que tenían los informes financieros antes de que se formaran la Fundación IFRS y el IASB.

Digo esto porque, por el lado de la oferta, hemos visto una proliferación de estándares y marcos de informes sostenibles que se encuentran en diversas etapas de desarrollo o madurez.

No voy a entrar en detalles, pero citando al Financial Times, hay al menos 230 iniciativas de estándares corporativos de sostenibilidad en más de 80 sectores. El Financial Times no suele equivocarse, pero hemos escuchado que en realidad hay más de 650 métricas diferentes disponibles para las empresas que buscan realizar informes de sostenibilidad, sin mencionar las iniciativas de varios gobiernos y organizaciones internacionales que promueven informes justos sobre el cambio climático.

Aún no ha surgido ningún estándar global, que es lo que todos necesitamos. Es evidente que la diversidad y la naturaleza voluntaria de estos marcos de divulgación crean desafíos y presentan riesgos y posibilidades de selección y lavado verde.

Por el lado de la demanda, los grupos de inversores, los líderes empresariales, los reguladores, los banqueros centrales y los formuladores de políticas han enfatizado la importancia de un marco de alta calidad y globalmente comparable para los informes de ESG / sostenibilidad, con un consenso creciente para la consolidación en todo el panorama de informes de sostenibilidad.

Los inversores, en particular, quieren información comparable y auditable en lugar de tener que atravesar un mar de datos y análisis subdesarrollados sobre activos invertibles, por lo general sin suficiente experiencia o recursos internos para ayudarlos. Esto puede resultar en el resultado no deseado de desalentar las inversiones en esas áreas.

Aunque las Normas NIIF no contienen requisitos específicos sobre informes de sostenibilidad, las empresas que aplican las Normas NIIF deben considerar si los inversores pueden esperar que los riesgos emergentes, incluidos los relacionados con el clima, afecten los montos y la divulgación informada en los estados financieros. Las implicaciones potenciales que surgen de los riesgos relacionados con el clima y otros riesgos emergentes también pueden incluir el deterioro de los activos, incluida la plusvalía, cambios en la vida útil de los activos y cambios en la valoración razonable de los activos.

Me complace decir que el IASB no se ha detenido ante los rápidos desarrollos en el ámbito de los informes sostenibles. En noviembre de 2017, decidió actualizar su Comentario de la gerencia (Declaración de práctica), que es su guía para las empresas en estas áreas.

Mi opinión sobre este ejercicio es, en parte, para reconocer que debido a que los estados financieros son principalmente retrospectivos, no pueden explicar completamente la estrategia a largo plazo de una empresa, por lo que los comentarios de la gerencia están ahí para llenar el vacío.

La idea es utilizar los comentarios de la gerencia para explicar cómo estos desafíos a largo plazo podrían afectar los flujos de efectivo futuros que (todavía) no están capturados por los estados financieros.

El IASB ha completado una ronda inicial de consultas con sus órganos consultivos y actualmente está discutiendo qué orientación proporcionar en la Declaración de Práctica revisada. Espera publicar un borrador de exposición en la segunda mitad de 2020.

A nivel de Fideicomisarios, algunos de nosotros no creemos que estemos yendo lo suficientemente lejos como para aceptar los cambios que vemos ahora y en el futuro. Alentados por solicitudes informales de instituciones clave y partes interesadas, los mismos Fideicomisarios han estado considerando cómo la Fundación puede desempeñar un papel en este desarrollo urgente. Este momento coincide con la revisión de la estrategia y constitución de la Fundación IFRS, que se lleva a cabo cada cinco años y comenzará este año. También queremos centrarnos primero en el riesgo relacionado con el clima, ya que es el más urgente y también es coherente con nuestros comentarios.

Se ha establecido un pequeño grupo de trabajo de fideicomisarios (del cual soy miembro) para explorar qué papel puede desempeñar la Fundación IFRS.

Los logros hasta la fecha de la Fundación IFRS y las Normas IFRS se han atribuido a muchos aspectos. Estos incluyen la estructura de gobierno de nuestra Fundación, nuestra responsabilidad pública, nuestro enfoque en el interés público, nuestro proceso consultivo justo y completo, la independencia de nuestro organismo normativo, nuestro debido proceso riguroso, transparente y participativo, los estándares de garantía que se aplican a la información publicada. y un proceso sólido para seleccionar temas para el establecimiento de nuevos estándares.

Veinte años de experiencia en el establecimiento de estándares globales bajo el escrutinio de tantas partes interesadas han creado una gran cantidad de experiencia y un recurso invaluable que creo que debería usarse en nuestro esfuerzo colectivo para abordar los desafíos continuos de la presentación de informes sostenibles.

Por lo tanto, creo que se puede presentar un caso convincente para que la Fundación IFRS ayude con la consolidación y el establecimiento de estándares de divulgación auditables, de alta calidad y comparables a nivel mundial en los informes de sostenibilidad, comenzando con los riesgos relacionados con el clima.

La Fundación IFRS también tendrá la ventaja adicional de su conectividad con la información financiera según las Normas NIIF, ya que no sería correcto enfatizar una forma de información a expensas de la otra, por lo que el desarrollo continuo de las Normas NIIF debe continuar siendo respaldado. y el impacto financiero de cualquier estándar global de informes sostenibles, particularmente sobre el riesgo relacionado con el clima al que podamos llegar, también debe ser considerado y (si corresponde) reflejado en los estados financieros.

Por lo que vale, mi propia opinión es que los dos conjuntos de informes no deberían existir cada uno en su propio vacío. Debe alentarse a que ambos conjuntos de informes se desarrollen en paralelo, pero con un alto grado de correlación entre sí, de modo que los inversores y el mundo en general puedan beneficiarse de las cifras, la información y los datos comparables, auditables y útiles para tomar decisiones resultantes.

Plataformas informáticas para análisis de big data e inteligencia artificial

Plataformas informáticas para análisis de macrodatos e inteligencia artificial: experiencia de los bancos centrales

Las autoridades públicas, y los bancos centrales en particular, se están dando cuenta cada vez más del potencial de los grandes conjuntos de datos y análisis, con el desarrollo de técnicas de inteligencia artificial (IA) y aprendizaje automático (ML), para proporcionar información estadística nueva y complementaria (Hammer et al ( 2017)). Sin embargo, la pregunta sigue siendo: ¿cómo deberían organizarse las instituciones para beneficiarse al máximo de estas oportunidades? Dos áreas parecen particularmente importantes para los bancos centrales. El primero es cómo organizar su información estadística en relación con su infraestructura de TI. El segundo es pensar estratégicamente sobre cómo utilizar las técnicas apropiadas para procesar y analizar la nueva información recopilada.

Al igual que muchas oficinas nacionales de estadística (ONE) y organizaciones internacionales, los bancos centrales ya han lanzado numerosas iniciativas para explorar estos temas e intercambiar su experiencia, en particular a través de las actividades de cooperación organizadas por el Comité Irving Fisher de Estadísticas del Banco Central (IFC) de la Banco de Pagos Internacionales (BIS). El propio BIS ha desarrollado su nueva estrategia a mediano plazo, Innovation BIS 2025, que se basa en una importante inversión en tecnología de próxima generación para construir un lugar de trabajo digital resistente y preparado para el futuro para la organización (BIS (2019)).

Una característica clave de estas diversas iniciativas es que muchos bancos centrales están creando, o previendo implementar, plataformas de big data para facilitar el almacenamiento y procesamiento de conjuntos de datos muy grandes. También están desarrollando una infraestructura informática de alto rendimiento (HPC) que permite un procesamiento más rápido, análisis estadístico en profundidad y simulaciones de datos complejas. Sin embargo, estas iniciativas enfrentan importantes desafíos organizacionales, ya que los bancos centrales compensan factores como las tendencias tecnológicas, la complejidad del sistema, el costo, el rendimiento, la confiabilidad, el modelo operativo y la seguridad.

En vista de esta experiencia, es esencial evaluar cuidadosamente las opciones disponibles antes de seleccionar una tecnología y arquitectura para configurar plataformas de big data / HPC. Entre las diversas cuestiones a considerar, la atención debe centrarse principalmente en la selección del hardware, la elección entre tecnología patentada y de código abierto, la decisión de desarrollar la solución internamente o en la nube y el tipo de información que se manejará.

Una vez que se seleccionan las opciones principales, la implementación real de las tecnologías relacionadas suele ser un viaje largo y multiforme. Desde la perspectiva del desarrollo de un proyecto, el éxito dependerá del enfoque para llevar a cabo el proyecto, los tipos de carga de trabajo que se admitirán, la arquitectura de datos prevista y el uso de las mejores prácticas de desarrollo de software. Tener un nivel institucional más amplio.

La perspectiva también es clave, a fin de tener en cuenta adecuadamente la gama completa de requisitos comerciales, así como los recursos y las limitaciones de seguridad. Por lo tanto, se puede recomendar desarrollar una estrategia de información integral para la institución, con una hoja de ruta de alto nivel para la adopción de tecnologías en constante cambio para administrar los datos y responder a las necesidades de los usuarios. Por último, pero no menos importante, el intercambio de conocimientos puede ser fundamental y puede ser facilitado por las actividades de cooperación promovidas por el BPI y la CFI.

Big data y plataformas informáticas de alto rendimiento

Antecedentes

Los casos de uso de big data y ML e IA se están volviendo omnipresentes en los negocios y el mundo académico, así como en las instituciones públicas (IFC (2019a)), y abordarlos de manera efectiva requiere una innovación tecnológica continua (Signorini (2019)). Los esfuerzos se han centrado especialmente en la implementación de las llamadas plataformas de big data y / o computación de alto rendimiento (HPC). Las plataformas de big data permiten el almacenamiento y procesamiento de conjuntos de datos muy grandes, y cada vez se solicitan más para tratar información de naturaleza semiestructurada o no estructurada. Las plataformas HPC permiten un procesamiento rápido de datos y análisis / simulaciones estadísticas complejas, y generalmente son muy adecuadas para tratar con conjuntos de datos estructurados de tamaño mediano. Ciertamente, esta distinción es un poco artificial, y el límite entre las plataformas de big data y HPC se está volviendo borroso con el rápido desarrollo de las tecnologías de TI que pueden satisfacer ambos tipos de necesidades de los usuarios.

En este contexto, el Banco de Italia, con el apoyo del BIS y la CFI, organizó un taller sobre “Plataformas informáticas para big data y aprendizaje automático”. En una reunión en Roma en enero de 2019, los participantes de unas 30 organizaciones, incluidos bancos centrales, OSN y organizaciones internacionales, aprovecharon esta oportunidad para presentar el estado de sus iniciativas actuales de big data e intercambiar experiencias.

Este informe de la CFI se basa en los ejemplos revisados ​​en esa ocasión y presenta las principales tecnologías y plataformas de big data / HPC actualmente consideradas o ya implementadas por autoridades públicas como los bancos centrales. También brinda información sobre cómo abordar los desafíos relacionados y aprovechar al máximo las oportunidades que brindan estas nuevas infraestructuras para respaldar la formulación de políticas.

Mayor interés en la información de macrodatos…

El término big data es relativamente vago y se refiere en general a la enorme proliferación de información que trajo la llamada revolución de los datos y generada por las redes sociales, actividades basadas en la web, sensores de máquinas, operaciones financieras, administrativas o comerciales, etc. La caracterización conocida de este concepto se relaciona con las «V» de los grandes datos, como el volumen (es decir, el número de registros y atributos), la velocidad (velocidad de producción de datos, p. ej., datos de ticks) y la variedad.

Los conjuntos de macrodatos financieros a los que se enfrentan los bancos centrales y las instituciones financieras internacionales más específicamente comprenden normalmente cuatro tipos principales de fuentes: indicadores basados ​​en Internet, registros comerciales, indicadores del mercado financiero y registros administrativos. Su análisis puede brindar muchas oportunidades, tales como: llenar los vacíos de datos existentes; la recopilación de nuevos datos que puedan complementar de manera flexible las estadísticas oficiales basadas en encuestas y censos “tradicionales”; la disponibilidad de datos casi en tiempo real, lo que abre la posibilidad de recibir señales económicas más oportunas y reducir los retrasos en la publicación de estadísticas; y la posibilidad de aplicar nuevas metodologías para extraer conocimiento original (Bholat (2015)). Estas oportunidades pueden facilitar en gran medida la conducción de las políticas del banco central, por ejemplo, mejorando los pronósticos económicos, ayudando a las tareas de micro supervisión, realizando nuevos tipos de evaluaciones de estabilidad financiera y obteniendo una retroalimentación más rápida sobre las decisiones de política (IFC (2017)).

Además de capturar datos transaccionales estructurados que se encuentran en el núcleo del trabajo de los bancos centrales, varios e innovadores conjuntos de big data, como datos granulares recopilados de la web (por ejemplo, visitas a páginas, anuncios en línea, indicadores de búsqueda), indicadores de sentimiento derivados de redes sociales. medios de comunicación (por ejemplo, Facebook, LinkedIn, Twitter), transacciones de pago e información textual tradicional procesada con nuevas herramientas de big data (por ejemplo, anuncios de políticas, discursos, correos electrónicos, artículos de prensa) – se pueden movilizar en la práctica para facilitar el día a día de los bancos centrales trabajar en diversas áreas, incluida la producción de información estadística, el análisis económico y la investigación en apoyo de las políticas de estabilidad monetaria y financiera, y tareas de supervisión.

En lo que respecta al trabajo estadístico, los macrodatos pueden mejorar la calidad de las estadísticas “más convencionales” existentes o incluso complementarlas con nuevos tipos de indicadores. Un buen ejemplo, particularmente importante en vista de los mandatos de estabilidad de precios de los bancos centrales, se relaciona con la medición y el análisis de los patrones de inflación. El uso de nuevos métodos de recopilación del tipo de big data se ha expandido significativamente, lo que permite obtener información de precios más detallada, una mayor variabilidad del producto y una mayor cantidad de transacciones para capturar. En particular, el raspado web directo de los datos de precios de los minoristas en línea puede complementar la cobertura de la recopilación de precios «tradicional» basada en encuestas en las tiendas físicas, mejorar la medición de componentes volátiles específicos de la inflación, proporcionar estimaciones en tiempo real y / o de alta frecuencia del índice de precios al consumidor (IPC) y llenar los vacíos de recopilación de datos existentes en algunas regiones. Las autoridades públicas también están tratando de hacer uso de los volúmenes en rápida expansión de conjuntos de datos de escáner, que brindan un potencial importante, por ejemplo, para rastrear patrones de gasto de manera granular o para aumentar la precisión de las cifras del IPC.

… y análisis de big data

Frente a una gran cantidad de macrodatos que se expande rápidamente, las autoridades públicas deben extraer información relevante y darle sentido para poder tomar decisiones políticas informadas y basadas en evidencia, dando prioridad a la transformación de los datos en información y luego de la información en conocimiento. La forma de hacerlo es utilizar el llamado análisis de big data, mediante el cual se analizan los diversos conjuntos de datos para descubrir información como patrones específicos, correlaciones, tendencias, etc. Muchas técnicas estadísticas, incluidas las que admiten ML e IA (así como más tradicionales también) se pueden utilizar en estos conjuntos de datos para respaldar el reconocimiento de patrones, el descubrimiento de conocimientos, la minería de datos, etc.

En lo que respecta a la política de apoyo al trabajo analítico y de investigación de los bancos centrales, el análisis de macrodatos se está aplicando para una amplia gama de propósitos, especialmente en el área de la previsión económica (por ejemplo, para indicadores como la inflación, los precios de la vivienda, el desempleo, el PIB y la producción industrial ventas minoristas, desarrollos del sector externo) y análisis del ciclo económico (por ejemplo, compilación de indicadores de sentimiento y uso de técnicas de predicción inmediata para “pronosticar” el presente), que son ingredientes clave que respaldan la conducción de la política monetaria. Las fuentes de macrodatos y el análisis también son cada vez más útiles para su trabajo de estabilidad financiera, por ejemplo, para construir indicadores de riesgo, evaluar el comportamiento de los participantes del mercado, identificar el riesgo crediticio y de mercado y monitorear las transacciones financieras y los flujos de capital.

Por último, la información y las herramientas de big data también están desempeñando un papel cada vez más importante en el apoyo a los ejercicios de evaluación y vigilancia de riesgos financieros que se encuentran en el centro de los mandatos de las autoridades supervisoras, incluidos los bancos centrales que tienen la tarea directa de supervisar instituciones financieras como los bancos comerciales así como el funcionamiento de los sistemas de pago. En particular, la innovación de TI ha abierto vías prometedoras para utilizar la gran cantidad de información que conllevan los conjuntos de datos granulares, con el papel cada vez mayor que desempeña la “suptech” (Broeders y Prenio (2018)). Esto puede ayudar, por ejemplo, a detectar el abuso del mercado mediante el uso de técnicas de minería de texto que señalan la mala conducta o el uso de información privilegiada; detectar patrones extraños en los datos que indiquen la acumulación de posibles vulnerabilidades idiosincrásicas; e identificar los efectos de la red que respaldan la evaluación de los riesgos de todo el sistema (Wibisono et al (2019)).

Como reflejo de estas diversas oportunidades, una prioridad clave para los bancos centrales es invertir en infraestructura de big data. Ante un aumento significativo esperado en los casos de uso y las demandas de computación / almacenamiento relacionadas, ya han estado realizando un extenso trabajo preparatorio en términos de infraestructura de TI, conjuntos de habilidades, recursos, procesos, etc. También están movilizando importantes recursos financieros y de personal. Es muy probable que esta tendencia continúe en el futuro previsible, ya que los múltiples conocimientos que se pueden obtener para respaldar las políticas se harán cada vez más evidentes y porque la tecnología de TI está evolucionando rápidamente.

Computación de alto rendimiento (HPC)

Las autoridades públicas también se están centrando en el desarrollo de plataformas HPC para manejar conjuntos de datos en crecimiento exponencial y, en particular, ejecutar algoritmos y herramientas analíticas multifacéticas. Si bien los casos de uso de análisis de big data se relacionan principalmente con el manejo de conjuntos de datos grandes y / o complejos (por ejemplo, no estructurados), el ímpetu para desarrollar HPC proviene de la necesidad de tener más potencia informática en comparación con una computadora de escritorio típica, una estación de trabajo o un entorno de servidor estándar. El objetivo, por tanto, es disponer de recursos suficientes para resolver, simular o analizar problemas estadísticos complejos, y no exclusivamente para manejar una gran cantidad de datos. En la práctica, sin embargo, estos dos tipos de necesidades a menudo están interrelacionados.

La experiencia de los bancos centrales muestra que las plataformas HPC se desarrollan principalmente para garantizar que los recursos informáticos se utilicen de la manera más eficiente, de modo que los procesos analíticos puedan completarse lo más rápidamente posible. La solución es agregar la capacidad de TI, con plataformas HPC que se hacen como grupos de computadoras individuales, denominadas nodos – un tamaño de grupo común es de entre 16 y 64 nodos, lo que representa de 64 a 256 unidades de procesamiento («núcleos») ver, por ejemplo, Ho y Uddin (2019) para las especificaciones de la plataforma informática establecida en el Banco de Canadá. Dado el alto costo de comprar y operar tales plataformas, las soluciones implementadas generalmente se comparten entre muchos usuarios a nivel departamental o institucional. Para hacerlo, los subconjuntos de los nodos informáticos se asignan comúnmente a «trabajos» dedicados para atender las solicitudes específicas de los usuarios, según los recursos de TI disponibles. Por lo tanto, el papel clave de una plataforma HPC es definir las prioridades de los diferentes trabajos a ejecutar por los nodos informáticos, al tiempo que se asegura que los recursos no se sobrecarguen. Por lo general, uno tiene que implementar el procesamiento por lotes (ver más abajo) y los programadores, por ejemplo, el programador YARN para usar la biblioteca Hadoop desarrollada por la base de software Apache de código abierto al enviar trabajos, preguntar sobre su estado y modificarlos. Sin interacción del usuario final.

Una característica reciente entre los bancos centrales que ya ejecutan algún tipo de plataforma HPC es extender esta infraestructura para integrar otras formas de computación, en particular herramientas analíticas de big data, para distribuir el procesamiento de grandes conjuntos de datos entre grupos de computadoras. Construyen un denominado clúster de big data, formado por ordenadores conectados y diseñado específicamente para almacenar y analizar grandes cantidades de datos estructurados / no estructurados de forma distribuida. Con esta tendencia que se espera que continúe en el futuro, las plataformas HPC de próxima generación estarán cada vez más capacitadas para hacer frente a la informática a gran escala y de alto rendimiento. Por ejemplo, el proyecto Apache Spark proporciona un motor analítico unificado para el procesamiento de datos a gran escala y permite que varios tipos de sistemas de archivos de big data, como el sistema de archivos distribuido de Hadoop (HDFS), se manejen de manera flexible. También es compatible con varias interfaces de programación como Java, Python, R o Scala, lo que permite realizar cálculos complejos; consulte Condello (2019) para conocer las características de la plataforma Spark desarrollada en el Banco de Italia. Otro desarrollo esperado es el impulso para implementar esas soluciones de TI en un modo autónomo, es decir, sin requerir una infraestructura adicional pesada (por ejemplo, sin necesidad de tener un programador específico también). Esta característica independiente parece facilitar enormemente el procesamiento de trabajos de HPC.

Otra vía más, con la que algunas instituciones, como el Banco de Canadá, ya han experimentado, es explorar la computación cuántica para el entorno analítico de datos de próxima generación. Una computadora cuántica es capaz de generar y manipular bits cuánticos (o qubits, que pueden ser 0, 1 o 0 y 1 al mismo tiempo); su computación es intrínsecamente paralela y, por lo tanto, su potencia puede crecer exponencialmente con el número de qubits. Para las tareas que actualmente requerirían cientos de años para ser resueltas por computadoras estándar, se espera que una computadora cuántica pueda reducir el marco de tiempo de manera muy significativa, posiblemente a unos pocos minutos.

Lecciones ya aprendidas

Implementación de las nuevas plataformas

La retroalimentación general de los proyectos ya implementados por los bancos centrales es que las nuevas plataformas de Big Data y HPC pueden servir para múltiples propósitos. Una es confirmar los análisis preliminares existentes basados ​​en métodos econométricos y estadísticos más tradicionales y / o en conjuntos de datos más pequeños. El segundo es proporcionar información complementaria, en particular en comparación con fuentes de datos convencionales, como encuestas y censos. Y una tercera contribución es identificar problemas imprevistos, lo que a su vez plantea la necesidad de información y / o investigación adicional. Para abordar estos diversos casos de uso, es importante que las plataformas que se están configurando proporcionen un repositorio de datos común, de modo que los usuarios puedan encontrar una gran cantidad de información diferente que se pueda combinar y analizar de acuerdo con sus necesidades específicas.

Otra lección clave es que el enfoque seguido es intrínsecamente de aprender haciendo, con proyectos que se adaptan constantemente a medida que avanza la experiencia. El método preferido ha sido desarrollar nuevos proyectos de manera gradual, comenzando con iniciativas de investigación individuales e implementando casos de uso preliminares (Marcucci (2019)); Este enfoque progresivo ha resultado particularmente útil dados los diversos obstáculos que se enfrentan cuando se busca acceder a fuentes útiles de macrodatos. Desde esta perspectiva, las plataformas que se están estableciendo deberían permitir cierta flexibilidad en lo que respecta al aprovisionamiento y la personalización de los recursos de hardware y software, en particular para proporcionar suficiente espacio para la innovación y la experimentación. Además, esta flexibilidad es clave para incorporar desarrollos imprevistos debido a la evolución de las necesidades de los usuarios, así como a los rápidos cambios tecnológicos. Esto no siempre es fácil de garantizar en el entorno de los bancos centrales, que a menudo se caracteriza por múltiples operaciones diarias, una aceptación limitada de las fallas, sobre todo por aspectos de credibilidad y reputación, y recursos públicos limitados.

Una tercera percepción obtenida de estos experimentos es que la cooperación y el intercambio de conocimientos pueden agregar un valor significativo al prevenir el “síndrome de los NIH (no inventado aquí)”, cuando todos están reinventando la rueda en paralelo. De hecho, los bancos centrales tienen un gran interés en cooperar estrechamente con sus pares y contrapartes, por ejemplo, con las OSN. También existe un gran apetito por los enfoques cooperativos internacionales, como el que subyace a las actividades del BPI / IFC en el apoyo a la comunidad mundial de banqueros centrales y supervisores financieros, en particular a través de reuniones periódicas y el intercambio de experiencias de proyectos piloto (el Proceso de Basilea; véase BPI (2019)). Dicha colaboración y cooperación es importante no solo para intercambiar proyectos específicos y la experiencia adquirida, sino también para compartir de manera concreta datos y herramientas de TI, en particular códigos de software, por ejemplo, a través de repositorios de software seguros en línea (por ejemplo, basados ​​en el código abierto y gratuito). Sistema Git). Esto puede ser particularmente atractivo para aquellas instituciones con capacidad limitada para invertir en costosas plataformas de Big Data / HPC.

Sin embargo, quizás la lección más importante de las iniciativas recientes es que, en lugar de ser un proyecto de TI aislado, involucran a toda la institución. Primero, el análisis y procesamiento de volúmenes cada vez más grandes y diversos de conjuntos de datos requiere importantes recursos financieros y de personal que deben comprometerse en el nivel superior de la organización. Además, las opciones tecnológicas tienen un impacto fundamental en toda la gama de actividades comerciales. En particular, exigen una revisión de la estrategia de datos de la institución y una renovación de sus estructuras organizativas y marcos de gestión de datos; véase McHugh (2019) para conocer la experiencia del FMI al abordar estos problemas.

Desafíos importantes

Sin embargo, al mismo tiempo, los diversos proyectos implementados en los últimos años muestran que la implementación y la utilización de plataformas de big data / HPC enfrentan una serie de desafíos. Los tres principales son: (i) los importantes recursos a movilizar; (ii) las dificultades para manejar nuevos tipos de información; y (iii) el proceso de implementación de las soluciones de TI relacionadas.

En cuanto al primer desafío, la construcción y el uso eficaz de las nuevas plataformas a menudo se ven limitados por los recursos disponibles. Estas limitaciones reflejan grandes costos de TI, y las inversiones necesarias son muy caras. También se deben a los cuellos de botella del capital humano a la hora de configurar equipos multidisciplinares. En el aspecto técnico, existe la necesidad de personal con habilidades estadísticas especializadas, una mentalidad analítica, sólidas habilidades de TI y un buen sentido para extraer nuevos conocimientos valiosos de los datos (es decir, «científicos de datos»). Pero también se requieren perfiles adicionales (por ejemplo, economistas, estadísticos, informáticos, matemáticos, abogados) cuando se trata de información y herramientas de big data, y es posible que los conjuntos de habilidades necesarios no estén disponibles internamente. Para empeorar las cosas, las instituciones públicas pueden estar mal equipadas para competir con la industria privada y enfrentar la “guerra por el talento” resultante de una oferta limitada de graduados. Como reflejo de estas diversas limitaciones, la gran mayoría de los bancos centrales se encuentran apenas en el comienzo de la producción regular de información estadística y económica basada en fuentes de macrodatos y / o herramientas analíticas.

El segundo desafío es el resultado de la nueva naturaleza de la información generada por la revolución de datos en curso. Hasta hace poco, el trabajo de las autoridades públicas se basaba principalmente en ejercicios estadísticos “tradicionales” (por ejemplo, registros, encuestas, censos), con datos recopilados, gestionados, compilados, difundidos y analizados de acuerdo con principios bien definidos (Naciones Unidas (2013)). Por el contrario, la falta de transparencia en las metodologías y la mala calidad de algunas fuentes de macrodatos representan impedimentos importantes para los bancos centrales, ya que se espera cada vez más que la formulación de políticas se base en pruebas y la reputación es un ingrediente clave que respalda la credibilidad de las decisiones públicas. Estos problemas se ven agravados por el hecho de que varios de los nuevos conjuntos de big data, debido a su alta granularidad, plantean riesgos importantes en términos de seguridad, privacidad y confidencialidad. Estos riesgos deben abordarse de manera adecuada al configurar las aplicaciones distribuidas para manejar estos datos, lo que requiere un marco de gobernanza de datos explícito y completo, por ejemplo, teniendo fuertes medidas de protección de seguridad, marcos sólidos establecidos y altos estándares de transparencia pública (IFC ( 2020)).

Una tercera dificultad se relaciona con la implementación real de las soluciones de TI. En general, los distintos proyectos tienen como objetivo una infraestructura informática de carácter distribuido, que comprende:

  • Una capa de software centralizada que proporciona un entorno resistente;
  • El procesamiento descentralizado en diferentes nodos para diversas tareas; y
  • La posibilidad de utilizar diferentes entornos de programación, considerando en particular la variedad de casos de uso, así como la creciente demanda de herramientas de código abierto (por ejemplo, Julia, Python, R).

Pero las decisiones tomadas en la práctica a menudo reflejan problemas heredados (por ejemplo, plataformas existentes y soluciones de TI establecidas que se reutilizan) y los recursos limitados disponibles (financieros pero también en términos de habilidades humanas) que dan como resultado un entorno de TI heterogéneo. También es importante enfatizar que el espacio de la tecnología de big data está abrumado con numerosos productos, soluciones, bibliotecas y marcos y está en rápida y constante evolución, tanto en los espacios de aplicaciones de código abierto como patentadas. Además, ha habido una gran inversión en empresas relacionadas con big data en los últimos años y la tendencia parece continuar (Gráfico 1); La continua incertidumbre sobre cuándo madurará realmente la tecnología aumenta el riesgo de invertir demasiado o demasiado pronto.

En cualquier caso, la variedad de herramientas disponibles, siempre para resolver problemas similares, hace que el proceso de selección sea un desafío. Como resultado, es casi imposible elegir una tecnología que tenga todas las características necesarias para los usuarios y que también aborde los requisitos clave en términos de infraestructura de TI en términos de resiliencia, confiabilidad, escalabilidad y rentabilidad. Como consecuencia, la selección real de las tecnologías y su implementación a menudo requiere tomar decisiones y compensar diferentes prioridades. Esto puede ser particularmente importante para los usuarios del banco central, cuyos requisitos pueden verse limitados, en particular, por fuertes restricciones de seguridad.

Ante estos desafíos, en el resto de este informe se analizan los principales elementos a considerar para facilitar los desarrollos de plataformas de big data / HPC, primero a la hora de elegir la infraestructura y luego al implementarla.

Principales opciones a considerar al elegir la infraestructura de big data

¿Cuáles son las opciones para los bancos centrales al seleccionar una tecnología y arquitectura para configurar plataformas de big data / HPC? Deben considerarse cuatro cuestiones principales: la selección del hardware; la elección entre tecnología patentada y de código abierto; la decisión de desarrollar la solución internamente o en la nube; y el tipo de información a manejar.

Elección de hardware (para implementación local)

La experiencia muestra que los bancos centrales están trabajando principalmente en el desarrollo de soluciones de macrodatos en sus propias instalaciones. Por lo tanto, el hardware que se implementará en el sitio debe ofrecer una infraestructura altamente escalable para responder a las crecientes necesidades de los usuarios de procesamiento paralelo y almacenamiento de datos de gran tamaño; consulte Bruno et al (2019) sobre cómo estos factores han sido fundamentales para definir las características de las  nueva plataforma desarrollada en el Banco de Italia. En términos generales, hay cuatro tipos de opciones de hardware disponibles: servidores básicos; servidores empresariales; infraestructura de datos convergentes; y dispositivos de big data patentados.

La primera opción es trabajar con servidores básicos, es decir, sistemas informáticos simples y estandarizados comúnmente denominados «servidores bare metal». Por lo general, se fabrican con una gran cantidad de máquinas de baja especificación, en lugar de unas pocas máquinas de alta especificación. Una ventaja clave es su costo relativamente bajo, así como su facilidad de reemplazo. Sin embargo, requieren costos de mantenimiento significativos para supervisar las operaciones de TI y los equipos de red, por lo que pueden no ser la solución más eficiente en recursos. Además, brindan tolerancia a fallas limitada, con, por ejemplo, una capacidad imperfecta para continuar funcionando correctamente en caso de falla de todo el centro de datos. Por último, son difíciles de ampliar, especialmente cuando los tipos de cargas de trabajo son diversos.

Una segunda opción es utilizar servidores de nivel empresarial con virtualización. Estos servidores son potentes máquinas físicas ubicadas en el centro de datos de la institución y habilitadas con una capa de virtualización que ofrece flexibilidad en la gestión de esas máquinas; en la práctica, normalmente están configuradas para ejecutarse como múltiples máquinas virtuales (VM) en las máquinas físicas. Estos servidores presentan muchos beneficios en términos de rentabilidad y características de funcionalidad (por ejemplo, potencia de cómputo, resistencia al hardware o incluso fallas del centro de datos). Por lo tanto, la gestión de los nodos informáticos de las plataformas de big data / HPC suele instalarse en este tipo de hardware.

Una tercera opción es la infraestructura de datos convergentes altamente virtualizada, es decir, un sistema de TI que agrupa varios componentes, por ejemplo, hardware y servidores, sistema operativo, software para la gestión de la infraestructura, incluida la gestión de VM (hipervisor), así como firmware y middleware. Dicha infraestructura proporciona importantes beneficios de resiliencia en comparación con las otras opciones, lo que refleja el hecho de que los diversos componentes de TI están mejor integrados y optimizados. Sin embargo, requiere una sobrecarga de recursos significativa para administrar el entorno virtualizado.

La última opción se relaciona con los dispositivos de big data patentados, que pueden comprarse o alquilarse a los principales proveedores de hardware y software e instalarse en el centro de datos de la organización. En la mayoría de los casos, la solución propuesta por el proveedor incluye software y servicios específicos de big data, así como la posibilidad de subcontratar la gestión de la infraestructura. Sin embargo, la ventaja en términos de facilidad de uso debe sopesarse con los riesgos planteados por el proveedor y la dependencia de la tecnología, lo que limita las opciones para futuras actualizaciones de tecnología (por ejemplo, si el proveedor no puede proporcionar las mejoras desarrolladas por los competidores).

La elección entre estas diversas opciones descritas anteriormente para configurar el hardware óptimo para la institución no es sencillo y, a menudo, dependerá principalmente de los aspectos de costos y los casos de uso reales. También es importante tener en cuenta otros factores, como:

  • Intensidad de computación requerida, en términos del número relativo de operaciones de computación en comparación con la comunicación de E / S (entrada / salida) administrada por el sistema de información
  • Capacidad de almacenamiento requerida, incluida la necesidad de proporcionar redundancia de hardware y software cuando el sistema está completamente virtualizado
  • Requisitos de recuperación ante desastres
  • Compatibilidad con la tecnología existente del centro de datos
  • Habilidades y competencias internas para administrar la red y la infraestructura.
  • Necesidades de los usuarios en términos de flexibilidad y escalabilidad.

Tecnología patentada versus tecnología de código abierto

Las herramientas de big data más populares (incluidas las del ecosistema de Hadoop) están disponibles como software de código abierto.[9] Esta solución presenta una serie de ventajas en comparación con los sistemas propietarios (es decir, los que pertenecen a una empresa específica), especialmente en términos de innovación (con el posibilidad de agregar constantemente nuevas características desarrolladas por la comunidad de código abierto), compatibilidad entre sistemas y menor dependencia de los proveedores de servicios y proveedores de TI (por ejemplo, riesgo de proveedor). Además, un beneficio clave es el bajo costo de propiedad, que refleja la ausencia de derechos de licencia; por el contrario, las soluciones de software de big data patentadas no tienen licencia gratuita y, en algunos casos, también pueden requerir hardware adicional especializado (y costoso) para ejecutar esas soluciones.

Sin embargo, los beneficios enumerados anteriormente deben equilibrarse con la importante inversión requerida para que la institución administre la tecnología de código abierto. En realidad, al igual que en los sistemas propietarios, será necesario adquirir apoyo externo (servicios de consultoría) y / o invertir importantes recursos en la formación del personal interno. Estos costos deben tenerse en cuenta a la hora de decidir la adopción de aplicaciones de código abierto, a pesar de que están disponibles “gratis”. Otro riesgo importante es que la institución podría terminar con un panorama de TI muy heterogéneo, compuesto por software / tecnologías adquiridos de diversas fuentes, con diferentes ciclos de vida y edades,[10] y que no se desarrollan y prueban conjuntamente. Esto puede provocar incompatibilidades del sistema, limitaciones de rendimiento e incluso riesgos de seguridad. Debido a la forma en que están estructuradas / ensambladas, las soluciones propietarias suelen ser más adecuadas para abordar estos problemas. Sin embargo, esto no significa que no se pueda considerar también la tecnología de fuente abierta: de hecho, varios proveedores que ofrecen soluciones de plataforma de datos también ofrecen distribuciones de software de fuente abierta empaquetadas; Además, algunos de ellos pueden ofrecer sus tecnologías de software patentado de forma “gratuita”, pero complementarlo con una oferta de soporte comercial.

Solución local versus solución basada en la nube

Un factor clave a considerar al configurar cualquier arquitectura de big data es si la plataforma se ejecutará en la nube (es decir, con centros de datos disponibles para muchos usuarios a través de Internet) o en el propio centro de datos de la institución (es decir, «en las instalaciones». Las soluciones basadas en la nube brindan importantes beneficios, incluida su adaptabilidad al aumento de la demanda de los usuarios y la facilidad de administración. Además, la mayoría de los proveedores de la nube están invirtiendo fuertemente en técnicas de IA y ML, y constantemente agregan nuevas funcionalidades de big data a su oferta (en forma de SaaS, PaaS o incluso IaaS).

Sin embargo, las autoridades públicas están prestando cada vez más atención a la seguridad de los datos, especialmente por razones de confidencialidad y reputación. Por lo tanto, muchos de ellos tenderán a preferir mantener los datos confidenciales en las instalaciones, para limitar el riesgo potencial de divulgación de datos y también por razones legales, por ejemplo, para evitar que terceros puedan acceder a sus datos almacenados en un servidor externo. Esta parece ser una razón clave que impulsa la inversión de los bancos centrales en soluciones de datos locales.

No obstante, varios bancos centrales también están considerando gradualmente un enfoque «híbrido» para ejecutar parte de sus aplicaciones de big data en la nube (y la otra parte en las instalaciones). Dichas decisiones se toman en función de una serie de consideraciones, por ejemplo, en términos de dependencia externa, riesgo del proveedor, riesgo legal, cumplimiento, riesgo de seguridad, que se analizan cuidadosamente como parte de una “estrategia de nube” bien definida.

¿Qué tipo de información manejar?

El estándar de facto para almacenar datos desde hace décadas ha sido el uso de las llamadas bases de datos relacionales, que se basan en una forma específica de organizar los datos en tablas (o «relaciones»). Al predefinir la estructura (el “esquema”) de las bases de datos, se puede usar un lenguaje de programación para leerlas, almacenarlas, consultarlas y administrarlas, por ejemplo, con el lenguaje de consulta estructurado (SQL) ampliamente utilizado. Dado que los macrodatos de interés para los bancos centrales pueden estar compuestos de información bien estructurada, ¿Debería utilizarse la tecnología de macrodatos para organizar estos conjuntos de datos? Esto puede no ser necesario, ya que las tecnologías tradicionales de almacenamiento de datos se pueden mantener con éxito, con la condición de que la infraestructura permita suficientes capacidades de almacenamiento y procesamiento.

Sin embargo, existe un interés creciente en invertir en tecnologías de big data independientemente del formato de los datos, debido a sus potentes funciones analíticas, por ejemplo, para admitir cálculos de IA / ML. Además, estas tecnologías son ideales para tratar con información no estructurada (por ejemplo, bases de datos “no solo SQL” (NoSQL)),[12]  sobre todo para manejar la complejidad de administrar los complejos requisitos del almacén de datos relacionados. Como resultado, un número creciente de bancos centrales está interesado en utilizar estructuras de bases de datos no tradicionales. Su principal ventaja es que permiten que los datos se almacenen sin una estructura predefinida exacta, por ejemplo, mediante el uso de motores de búsqueda que pueden recuperar información de forma flexible en función de atributos específicos, incluso si no se almacena en un formato predefinido; esto se llama el enfoque de «esquema de lectura». Otro beneficio clave de las estructuras de bases de datos no tradicionales es el concepto de evolución del esquema. La información almacenada tal cual (es decir, en formato sin procesar) se puede representar primero utilizando una estructura de datos estándar, que luego se puede cambiar con relativa facilidad, lo que potencialmente permite análisis más rápidos / más complejos. En contraste, la evolución del esquema es mucho más difícil de lograr con las bases de datos relacionales, construidas bajo un enfoque tradicional de «esquema sobre escritura».

Sin embargo, los beneficios del enfoque de esquema en lectura obviamente dependen de la limpieza de los datos subyacentes. En particular, la calidad de algunos grandes conjuntos de datos puede ser bastante deficiente (por ejemplo, atributos faltantes, incorrectos o en conflicto), lo que limita su usabilidad. Afortunadamente, hay una serie de técnicas de limpieza de datos, en particular basadas en técnicas de IA / ML, disponibles para ayudar con este asunto.

En general, varios bancos centrales están tratando de construir lagos de datos que puedan manejar bases de datos SQL y NoSQL, permitiendo que se apliquen diferentes tecnologías de manera complementaria y en función de las necesidades de los usuarios. Una característica importante es que pueden continuar realizando sus tareas de administración de datos «tradicionales», mientras exploran capacidades novedosas que tienen una demanda creciente en sus instituciones. Otro beneficio de este enfoque exploratorio puede ser la parsimonia, especialmente en caso de limitaciones importantes en términos de recursos y habilidades de TI disponibles en la institución. Un tercero es la flexibilidad: es posible que las nuevas tecnologías de big data no estén lo suficientemente maduras y / o es posible que (todavía) no estén listas para reemplazar completamente otras herramientas existentes, al menos a un costo razonable. Además, todavía están evolucionando rápidamente, con nuevas funcionalidades que se agregan constantemente y, por lo tanto, son mucho menos maduras en comparación con las tecnologías de bases de datos tradicionales.

Implementación de tecnologías de macrodatos / HPC

Una vez que se seleccionan las opciones principales, ¿Cómo se deben implementar realmente las tecnologías relacionadas para configurar la plataforma? Cuatro áreas merecen atención específica: cómo proceder con la implementación; los tipos de carga de trabajo que la institución quiere soportar; la arquitectura de datos prevista; y la forma de desarrollar la solución de TI.

Enfoque de implementación

Hay dos enfoques principales diferentes a considerar al implementar tecnologías de big data: el enfoque de arriba hacia abajo o «deductivo» y el enfoque de abajo hacia arriba o «inductivo».

El punto de partida del enfoque de arriba hacia abajo se relaciona con cuando los usuarios han desarrollado una cierta teoría basada en alguna hipótesis. Por ejemplo, se supondrá que el análisis de las transacciones transfronterizas de tarjetas de crédito puede ayudar a evaluar la actividad turística en un determinado país. Toda esta información granular será recopilada y probada para saber si puede proporcionar un buen ajuste en comparación con los indicadores macroeconómicos existentes disponibles. Por lo tanto, la cuestión es utilizar los datos existentes para validar (o no) el modelo subyacente, probando su idoneidad para las observaciones fácticas. Este enfoque deductivo se asocia típicamente con usuarios que tratan con tipos de preguntas repetitivas y similares: dado que las preguntas son conocidas, la estructura de los resultados se puede adivinar más fácilmente. El enfoque analítico de arriba hacia abajo se puede implementar fácilmente siguiendo un ciclo de procesamiento de datos de “estructura, ingesta y análisis”.

El enfoque de abajo hacia arriba tiene un proceso inverso. El punto de partida es recolectar datos sin tener una idea previa de una teoría específica; por ejemplo, en el ejemplo anterior, se cobrarían todas las operaciones con tarjeta de crédito, no solo las transfronterizas. Una vez que se ha recopilado una cantidad sustancial de datos, uno puede buscar patrones en esos datos y luego formar una teoría que pueda explicar esos patrones. Por lo general, este enfoque será adecuado para responder preguntas analíticas ad hoc no repetitivas, y la velocidad del procesamiento de datos será más importante que la exactitud, porque los cálculos se basarán en interacciones repetitivas con el usuario, siguiendo una «ingesta, análisis y estructura” Ciclo de procesamiento de datos. En la práctica, las tecnologías de macrodatos han tendido a ser más útiles para el enfoque inductivo de abajo hacia arriba; por el contrario, las tecnologías de bases de datos relacionales pueden producir resultados superiores con casos de uso que requieren un enfoque deductivo de arriba hacia abajo. Sin embargo, aunque estos enfoques pueden parecer muy diferentes, con frecuencia se aplican en paralelo. Además, con las tecnologías de bases de datos y las prácticas de ciencia de datos en constante evolución, los enfoques de implementación seguirán adaptándose en el futuro previsible. Por tanto, la arquitectura de datos moderna debería ofrecer la posibilidad de combinar las diferentes tecnologías y enfoques para la gestión de datos.

Manejo de macrodatos a través de varios tipos de cargas de trabajo

Básicamente, hay cuatro tipos principales de carga de trabajo que se pueden considerar cuando se trata de datos de gran volumen: procesamiento por lotes, análisis interactivo (ad hoc), transmisión y carga de trabajo operativa.

Con el procesamiento por lotes, la carga de trabajo se puede realizar ejecutando diferentes trabajos como un grupo («lote») sin requerir la intervención del usuario final. Una ventaja clave es que la carga de trabajo se puede programar para que se ejecute en función de los recursos disponibles en un momento determinado. Por lo tanto, la mayoría del procesamiento por lotes está configurado para ejecutarse automáticamente en función de algún programa o desencadenante. Esto será particularmente adecuado para el procesamiento de datos complejos que requieren importantes recursos y / o tiempo. Para este tipo de carga de trabajo, los datos generalmente se almacenan de una manera específica, por ejemplo, el sistema de archivos distribuido de Hadoop (HDFS), el formato de almacenamiento de datos Apache Parquet. A menudo se procesa de forma distribuida, es decir, utilizando las diferentes computadoras en red y una construcción de programación para administrar esta distribución (con programas escritos en lenguajes como Scala, Pyspark o SparkR, apoyándose en una capa de software como Spark). Los resultados suelen estar disponibles a través de interfaces fáciles de usar, como Apache Hive o Impala, para resumir, analizar y consultar grandes sistemas de datos en el ecosistema Hadoop.

En cuanto a la carga de trabajo interactiva, la arquitectura de big data es particularmente adecuada para casos de uso que requieren trabajo exploratorio o de investigación. En general, el usuario final no tiene en mente un modelo completamente predefinido: es a través del trabajo de análisis de datos que surgen nuevas preguntas, lo que lleva a una mayor exploración de datos de forma interactiva y repetitiva. En este tipo de carga de trabajo, un requisito importante es que el tiempo necesario para procesar las solicitudes de los usuarios («latencia de red» más tiempo de procesamiento) sea mínimo. Esto es clave para mantener a los usuarios completamente comprometidos. Otra característica importante es que, además de los altos requisitos en términos de tecnología de procesamiento y almacenamiento de datos (una consideración común para cada tipo de carga de trabajo de big data), existe la necesidad de interfaces de usuario adecuadas para respaldar el trabajo de análisis de los usuarios y su interacción exploratoria. con el sistema.

En este contexto, se ha dado mayor importancia al uso de herramientas de inteligencia empresarial (BI). Por lo general, se entiende que el concepto de BI abarca los métodos y técnicas impulsados ​​por la tecnología (por ejemplo, aplicaciones y prácticas de TI) movilizados para recopilar, administrar y analizar datos con el fin de informar las decisiones comerciales (IFC (2019b)). Las herramientas de BI pueden facilitar enormemente el proceso de descubrimiento interactivo de big data, utilizando varias funciones como:

  • Capacidades de desglose, es decir, funciones que permiten a los usuarios pasar de la representación general de los datos a una vista más granular; esta función es particularmente útil para administrar bases de datos multidimensionales, o «cubos» hechos de varias «dimensiones» que los usuarios pueden consultar de manera flexible para producir una vista personalizada de los datos que les interesan, por ejemplo, mediante el uso de tecnología de procesamiento analítico en línea (OLAP)
  • Capacidades de obtención de detalles, es decir, funciones que permiten el acceso a información paralela que puede ser relevante para los datos que se analizan.
  • Paneles, es decir, informes con indicadores clave / análisis presentados como una tabla / interfaz gráfica de usuario actualizada a medida que ingresan los datos
  • Interfaces que permiten a los usuarios consultar y recuperar datos fácilmente del sistema, como interfaces de consulta habilitadas para SQL

Con la transmisión, el usuario final recibe una presentación constantemente actualizada de los datos, en lugar de tener que descargar los datos y luego procesarlos / analizarlos. Por lo tanto, los flujos se componen básicamente de tablas infinitamente largas e interminables que permiten consultar los datos a medida que fluyen. La tecnología utilizada para este procesamiento se ha desarrollado rápidamente en los últimos años, con herramientas como las plataformas de software de procesamiento de flujo de código abierto Apache Kafka, Spark streaming, Flink, Storm, Samza y otros. Las centrales anks están cada vez más interesadas en este tipo de carga de trabajo para analizar datos en tiempo real, por ejemplo, para monitorear su red de TI interna para detectar ataques cibernéticos o para supervisar el funcionamiento de las transacciones financieras o los sistemas de pago cuando tienen la tarea de hacerlo (por ejemplo, para detectar actividades fraudulentas o riesgos de perturbaciones en el sistema financiero). Si bien la mayoría de los bancos centrales aún no han desarrollado capacidades de transmisión de datos operativos, se espera que esto se convierta en un requisito estándar en un futuro próximo.

La carga de trabajo operativa a menudo se implementa con tecnologías de transmisión para proporcionar información en tiempo real sobre las transacciones comerciales que se dividen en varios sistemas. La experiencia muestra que una tecnología como Kafka se utiliza a menudo para respaldar la transferencia de datos entre los diferentes sistemas operativos, en particular para proporcionar una vista completa, coherente y precisa de todos los datos procesados ​​(por ejemplo, datos por lotes, datos en línea). También es útil realizar un seguimiento de los diversos pasos involucrados en el análisis de los datos, desde su origen raíz hasta el producto final (es decir, «linaje de datos»). Otro sistema importante que soporta cargas de trabajo operativas en las que el tiempo es crítico es el procesamiento de transacciones en línea (OLTP), que administra aplicaciones que modifican la base de datos (es decir, realizan «transacciones de base de datos»). Por lo general, OLTP facilitará la respuesta inmediata a las solicitudes de los usuarios, a excepción de las consultas más complejas que prefieren tratarse con la tecnología OLAP (ver más arriba).

La lista anterior es, por supuesto, una presentación esquemática. De hecho, a menudo existe una combinación de estos diferentes tipos de carga de trabajo. Una tecnología importante en este contexto es la arquitectura Lambda,[14] que se puede utilizar para manejar cantidades masivas de datos que se pueden procesar bajo diferentes tipos de cargas de trabajo, en particular a través de métodos de transmisión por lotes y en tiempo real.

Arquitectura para almacenar, procesar y consultar big data

Los diversos proyectos de macrodatos implementados por los bancos centrales muestran que no existe una arquitectura de datos única para todos que pueda satisfacer todos los tipos de necesidades en términos de carga de trabajo, capacidad para calcular operaciones al mismo tiempo en lugar de secuencialmente («concurrencia»), requisitos para almacenamiento, acceso y procesamiento de datos y latencia. Esto requiere implementar una “arquitectura políglota”, capaz de abordar requisitos heterogéneos. Por ejemplo, la plataforma de big data del Banco de Italia cubre múltiples requisitos de los usuarios, por ejemplo, ingesta, almacenamiento y procesamiento de datos; uso de ciencia de datos, aprendizaje automático y aplicaciones de BI, que requieren el uso combinado de múltiples herramientas de TI (Cariello y Quarta (2019)). Por tanto, la naturaleza específica de estos requisitos impulsa inherentemente el desarrollo de la arquitectura de soporte, a menudo de forma progresiva e interactiva.

En la práctica, la arquitectura del entorno de big data implementada por la mayoría de las organizaciones tiene como objetivo configurar un almacén de datos (o «almacén de datos empresarial» (EDW)), que es un repositorio central donde los datos de fuentes dispares se almacenan, analizan y consultan. Este almacén comprende observaciones tanto actuales como históricas, con los datos obtenidos (o «informados») de un almacén de datos operativos (ODS). Este “lago de datos” comprende toda la información posible necesaria para alimentar el almacén (Lacroix (2019)). Cubre todos los datos independientemente de su formato, su inclusión real (o no) en la EDW, los casos de uso que admiten y su grado de procesamiento, con usuarios capaces de acceder a los datos originales “sin procesar” y no solo a los “transformados”. Por ejemplo, la plataforma de big data (DISC) del BCE comprende un almacén de datos central que incluye todos los datos de interés para la institución y un diccionario de datos único que respalda la combinación de los distintos conjuntos de datos (Sánchez y Trzeciok (2019)).

Desarrollo de software de big data

En términos generales, el software de big data suele ser ensamblado e implementado manualmente por ingenieros de TI especializados. Sin embargo, las implementaciones manuales y la administración relacionada de las (a menudo varias) herramientas de tecnología de big data plantean riesgos significativos, incluida la falta de pruebas automatizadas, configuraciones incorrectas y posiblemente cortes graves del sistema. Es evidente que se necesita un enfoque más estructurado, y las prácticas DevOps[15] “tradicionales” que prevalecen claramente en otros dominios también deberían aplicarse idealmente para respaldar una implementación automatizada de la plataforma de big data. Para hacerlo, se requiere un enfoque de infraestructura como código (IaaC), utilizando tecnologías como Puppet o Ansible que pueden respaldar la automatización de la implementación de infraestructura de TI altamente distribuida. Además, se deben aplicar prácticas adecuadas de gestión del cambio para tratar con entornos separados para el desarrollo, la integración de sistemas, la aceptación del usuario y los usos de producción de una manera integral. Los bancos centrales también pueden considerar extender DevOps a las prácticas de DataOps, con miras a implementar la automatización para la gestión de datos y el procesamiento analítico.

Sin embargo, la experiencia muestra que el uso de prácticas de DevOps para desarrollar software de big data aún se encuentra en una fase de adopción temprana. Sin duda, esta es una tarea compleja debido a las muchas partes tecnológicas en movimiento involucradas en las plataformas de big data / HPC. Una capa adicional de complejidad proviene de la naturaleza distribuida del software, ya que involucra múltiples máquinas y diferentes opciones de configuración. Pero una consecuencia que a menudo se observa es que muchos proyectos no pasan de la fase piloto debido a la falta de gobernanza de TI, incluida la gestión de cambios adecuada y los procesos DevOps.

No obstante, los bancos centrales están avanzando para abordar estos problemas. Las iniciativas exitosas muestran que, una vez que se configuran los procesos de implementación y pruebas automatizados adecuados para construir el clúster de big data, los equipos analíticos y de TI son recompensados ​​con agilidad, facilidad de reproducción, facilidad de actualizaciones y posibilidades de escalabilidad.

Mirando hacia el futuro con una estrategia de información integral

Con el crecimiento exponencial de los datos que recopilan los bancos centrales, surgen cada vez más necesidades analíticas que requieren el uso de análisis de big data y herramientas de alto rendimiento. Estas tecnologías están evolucionando rápidamente y pueden ofrecer un valor significativo para lidiar con grandes cantidades de datos y aplicar cálculos complejos de IA y ML. Además, mientras que el análisis de datos tradicional se limitó a datos estructurados, el uso de tecnologías de big data permite a los bancos centrales utilizar fuentes de datos alternativas para sus diversos casos de uso.

Al decidir sobre un proyecto para configurar una plataforma informática de big data / HPC, se deben tener en cuenta muchas dimensiones, incluidos los requisitos comerciales (casos de uso), las necesidades tecnológicas, la complejidad del sistema, las limitaciones de recursos (por ejemplo, costos financieros, competencias internas en términos de cantidad de personal y combinación de habilidades), rendimiento, confiabilidad, modelo operativo y seguridad; consulte Lambe et al (2019) para obtener una revisión de los factores clave que influyen en la arquitectura de la plataforma (IDEA) desarrollada por el BIS. Además, estos aspectos no deben considerarse de forma aislada, ya que deben abordarse de manera integral en el contexto de la estrategia de información de la organización. Básicamente, esta estrategia debe tener como objetivo proporcionar una hoja de ruta de alto nivel para la adopción de tecnologías en constante cambio para administrar los datos y responder a las necesidades de los usuarios; para la situación en el Banco de Inglaterra, consulte Vaughan y Willis (2019).

La experiencia de los bancos centrales con la implementación real de plataformas y tecnologías relacionadas con big data muestra que la atención debe centrarse en las siguientes consideraciones principales para garantizar el éxito:

  • Objetivos comerciales a mediano y largo plazo: saber qué objetivo comercial lograr es de suma importancia al elegir la tecnología de big data adecuada.
  • Crecimiento incremental: comenzar poco a poco, aprender del éxito temprano, monitorear periódicamente el progreso y revisar el plan son claves.
  • El negocio y la TI trabajan juntos: los líderes empresariales y de TI deben trabajar juntos para promover una cultura basada en datos en toda la organización (por ejemplo, mediante “administradores de datos” reconocidos).
  • Gobernanza de datos: un marco de gobernanza de datos es vital para ofrecer beneficios empresariales continuos con una plataforma de big data.

Por último, la cooperación internacional y el intercambio de conocimientos entre los bancos centrales pueden agregar un valor significativo, sobre todo considerando el panorama tecnológico heterogéneo y cambiante. El camino a seguir es establecer iniciativas periódicas para garantizar el intercambio de experiencias, la fertilización cruzada y la promoción de sinergias entre los diversos proyectos emprendidos por los bancos centrales y la comunidad pública en general.

Presentando el OIM de XBRL

El OIM proporciona formas nuevas y más sencillas de trabajar con datos XBRL. Define un modelo que representa el significado del estándar, sin hacer referencia a especificaciones de sintaxis. Luego define formatos múltiples e intercambiables, que se pueden agregar con el tiempo.

En este momento, se admiten tres formatos diferentes.

  • ¿Quiere recopilar grandes cantidades de datos granulares? xBRL-CSV te permite hacer eso.
  • ¿Quiere que sus datos XBRL sean fáciles de usar? xBRL-JSON es la respuesta.
  • ¿El enfoque tradicional funciona bien? xBRL-XML es tu amigo.

El OIM no reemplaza las especificaciones XBRL 2.1 existentes. No hay planes para dejar de apoyarlos. De hecho, seguirán mejorando de manera importante.

El OIM es una forma adicional y alternativa de usar datos XBRL y pensar en el estándar. El modelo de información abierta es, entre otras cosas, la forma más sencilla de comprender cómo el estándar XBRL representa los hechos informados y es un excelente punto de partida para los desarrolladores.

¿Qué es el OIM?

En esencia, el OIM es una descripción de la información semántica dentro de un informe XBRL. La especificación XBRL 2.1 define una sintaxis que está estrechamente relacionada con XML. En cambio, el OIM define la semántica de un informe digital en general. Luego describe la información que debe incluir cualquier sintaxis para representar con precisión un informe digital. Este enfoque hace posible trabajar con datos XBRL en múltiples formatos.

También hay características en la especificación XBRL v2.1 que no son de uso común, ya sea porque han sido reemplazadas por enfoques alternativos o simplemente porque no demostraron ser tan útiles como se esperaba.

El OIM deja atrás a esos para definir una definición simplificada de la información en un informe XBRL que es independiente de cualquier sintaxis.

El modelo OIM actualmente se centra en los datos de un informe XBRL. A su debido tiempo, el OIM también cubrirá el lado de los metadatos (o taxonomía) del estándar para simplificar la interacción con las definiciones de datos.

¿Qué significa para mi?

Con el tiempo, el OIM significará mucho. Formas nuevas y más sencillas de abordar la producción, procesamiento, uso y análisis de datos expresados ​​en XBRL. Al principio, proporcionará nuevas formas de representar hechos. Por ejemplo, xBRL-CSV proporciona una forma de capturar grandes cantidades de datos de una manera muy compacta. xBRL-JSON proporciona una forma de presentar datos de informes comerciales en un formato muy compatible con la web, ideal para todo tipo de procesos y sistemas analíticos. xBRL-XML sigue siendo la mejor forma de detectar problemas de datos en la fuente.

Si usted es un regulador, una empresa regulada o un proveedor de datos, es posible que OIM se utilice primero como una forma adicional de capturar o publicar ciertos datos, sin reemplazar nada de lo que tiene actualmente. Con el tiempo, algunos aspectos de las especificaciones OIM pueden resultar demasiado útiles para ignorarlos. Si es un proveedor o un científico de datos, ahora es el momento de comenzar a comprender y experimentar con la nueva forma de pensar en XBRL: las especificaciones OIM de XBRL International.

¿Qué significa para el estándar XBRL?

Sigue siendo el estándar XBRL, solo son diferentes formas de ver y usar lo mismo. En el futuro, puede pensar en XBRL como un estándar que define la forma en que puede expresar informes comerciales de todo tipo de manera digital. Es el estándar clave que respalda la transformación digital de los informes.

La nueva especificación OIM significa que su transformación digital es independiente de la sintaxis. Puedes expresar las mismas cosas utilizando diferentes formatos, eligiendo el que más se adapte a tus necesidades. De hecho, significa que el estándar XBRL es independiente de la tecnología.

El estándar representa todos aquellos aspectos de la presentación de informes que son importantes. Cosas como definiciones y relaciones entre conceptos. Etiquetas y descripciones. En tantos idiomas como sea necesario. Estructuras dimensionales como geografía, segmentos comerciales y productos. Cálculos. Reglas de calidad de datos. Cosas como tipos de datos fuertes y personalizados (por ejemplo: fechas, hora, moneda, acciones, medidas de energía, distancia y área).

A medida que avanza la tecnología, el OIM significa que el estándar se moverá con él. Significa que puede representar sus informes en una amplia gama de formatos diferentes, mientras obtiene la misma información.

Todo respaldado por amplias suites de conformidad que proporcionan la base de un software probadamente interoperable. Un ecosistema de informes digitales.

Aunque ya se ha realizado una gran cantidad de trabajo en el OIM, hay más por hacer y agregaremos información, ejemplos, casos de estudio y tutoriales a medida que avancemos. Estamos emocionados y esperamos que usted también lo esté.

¿Puede la divulgación financiera del riesgo climático acelerar la acción climática?

El panel de discusión en línea organizado por el MIT explora las mejores prácticas para mitigar los riesgos relacionados con el clima.

Programa conjunto del MIT sobre ciencia y política de cambio global

La pandemia de Covid-19 podría ser un ensayo para los impactos futuros del cambio climático, con situaciones desafiantes y sin precedentes que requieren respuestas rápidas y agresivas en todo el mundo. Un enfoque proactivo del cambio climático destinado a minimizar tales impactos inevitablemente implicará recortes significativos en las emisiones de gases de efecto invernadero (GEI) e inversiones en infraestructura más resiliente. Aunque los actuales esfuerzos globales de mitigación y adaptación avanzan lentamente, una estrategia emergente podría servir como acelerador: la divulgación financiera del riesgo climático por parte de las empresas. Dicha divulgación, si se practica de manera más amplia y coherente, podría reducir los riesgos del cambio climático al desviar las inversiones de las actividades que emiten GEI y señalar la infraestructura que necesita ser más resiliente. 

Con ese fin, el Programa Conjunto del MIT sobre la ciencia y la política del cambio global involucró a decenas de tomadores de decisiones en el sector financiero y la industria en un panel de discusión de dos horas sobre el riesgo financiero relacionado con el clima. Celebrada como una reunión de Zoom el 26 de marzo y facilitada por el codirector del programa conjunto Ronald Prinn, la discusión contó con seis expertos en finanzas y economía del Banco de Inglaterra, el Banco de Canadá, HSBC, BP ​​y MIT. Los panelistas describieron cómo su organización se ha visto afectada por el riesgo financiero relacionado con el clima y los pasos que está tomando para abordarlo, cómo los escenarios climáticos y económicos podrían ser útiles para comprender mejor los riesgos financieros relacionados con el clima y las posibles investigaciones que una institución como el MIT podría realizar. para avanzar en el estado del conocimiento en esta área.

Impactos y respuestas organizacionales

Los riesgos físicos (pérdidas potenciales debido a condiciones meteorológicas más frecuentes y severas provocadas por el cambio climático) y los riesgos de transición (pérdidas potenciales debido a una transición rápida a una economía baja en carbono) plantean amenazas económicas importantes para las instituciones financieras y las empresas industriales. Los representados en el panel se han dado cuenta y están generando respuestas sistémicas.

Theresa Löber, directora del Climate Hub del Banco de Inglaterra, señaló que el banco ha asumido un papel de liderazgo para garantizar que las empresas financieras desarrollen un enfoque mejorado para gestionar los riesgos financieros del cambio climático. Se requiere que cada institución bajo su control nombre a un representante senior que sea responsable ante el banco, incorpore el riesgo físico y de transición en su marco de gestión de riesgo existente, realice análisis de escenarios y divulgue adecuadamente los riesgos climáticos. Las empresas más grandes también deben someterse a una prueba de resistencia climática.

El enfoque climático también es prominente en el Banco de Canadá, como parte de su mandato de promover la estabilidad económica. El banco participa en una red de bancos centrales enfocados en ecologizar el sistema financiero a través de un intercambio de ideas sobre la mejor manera de evaluar el riesgo relacionado con el clima, y ​​realiza sus propios estudios de diferentes escenarios climáticos y económicos.

“En general, lo que estamos encontrando es que existe una compensación entre los riesgos físicos y de transición según el camino que se mire”, dijo Craig Johnston, economista senior del Bank of Canadá. “Si no hacemos nada [para reducir las emisiones], vemos riesgos de transición muy limitados, pero el nivel más alto de riesgos físicos. Por otro lado, una rápida transformación hacia una economía baja en carbono tiene los mayores riesgos de transición, pero mitiga los riesgos físicos hasta cierto punto”.

Guiados por las acciones de los bancos centrales y las fuerzas del mercado en evolución, los bancos privados y las empresas de otros sectores se están tomando en serio la divulgación financiera relacionada con el clima.

Alan Smith, jefe global de estrategia de riesgo de HSBC, observó que todo tipo de riesgo que enfrenta la institución financiera se ve afectado por el cambio climático, por lo que el tema ahora informa todas las actividades de la empresa.

Spencer Dale, economista jefe de grupo de BP, observó que, como una importante compañía de petróleo y gas que enfrenta una transición energética global hacia fuentes bajas en carbono, BP considera que el tema de la divulgación financiera del riesgo climático tiene menos que ver con los riesgos financieros de la empresa y más que ver con su propósito central y estructura. Una consideración clave es cómo los productos vendidos por BP pueden ser consistentes con el objetivo de toda la empresa de lograr emisiones netas cero para 2050. Si bien las compensaciones de carbono, la tecnología de captura de carbono y la plantación de árboles podrían ser parte de la solución, el principal desafío de la empresa será cambiar el negocio a productos sin carbono.

Mejores prácticas para el uso de escenarios en la evaluación de riesgos financieros relacionados con el clima

Los seis panelistas vieron un papel importante para los escenarios (proyecciones de cómo es probable que el clima y la economía evolucionen bajo diferentes políticas climáticas y tasas de penetración en el mercado de tecnología energética) para permitir que las instituciones financieras y las empresas evalúen el riesgo financiero relacionado con el clima. Hubo acuerdo general en que los escenarios no deberían verse como predicciones, sino como una gama de posibles resultados plausibles con distintos niveles de incertidumbre.

Reconociendo la incertidumbre inherente de cualquier escenario individual, Dale señaló que BP ha examinado los cientos de escenarios en la base de datos del Panel Intergubernamental sobre Cambio Climático para ayudar a comprender el rango de posibilidades de diferentes tecnologías nuevas y fuentes de energía para contribuir a una solución de emisiones netas cero. . Por otro lado, Löber observó que la comunidad financiera estaba teniendo dificultades para clasificar los muchos escenarios ahora disponibles, lo que llevó al banco a limitar su prueba de resistencia a tres escenarios de referencia que representan una amplia gama de posibles acciones de política climática.

«Lo que estamos tratando de probar aquí es una combinación de riesgos físicos y de transición en estos diferentes escenarios», dijo Löber. «Estamos tratando de ser tan prescriptivos como podamos para que las firmas financieras puedan procesar esto, pero también para que podamos agregar los resultados para comprender cómo el sistema en su conjunto está expuesto a estos riesgos».

Los panelistas difirieron sobre la utilidad de diferentes tipos de escenarios. Algunos sostuvieron que un detalle más detallado en los tipos de cantidades proyectadas en un escenario ayudaría a hacerlo más relevante; otros expresaron su preocupación por los desafíos de hacer proyecciones sólidas a ese nivel de detalle. Otra preocupación era que los modelos que generaban escenarios no tenían en cuenta los puntos de inflexión potenciales (trastornos climáticos o económicos) que podrían alterar drásticamente las proyecciones. Por último, varios participantes destacaron el desafío de conciliar escenarios climáticos y económicos a largo plazo con preocupaciones a corto plazo a nivel de la empresa.

Nuevas direcciones de investigación para el MIT y más allá

Tanto los panelistas como los participantes alentaron a realizar más investigaciones sobre la divulgación financiera relacionada con el clima en el MIT e instituciones similares, incluidas las actualizaciones en curso de los modelos climáticos y económicos disponibles públicamente desarrollados por el programa conjunto.

Henry Jacoby, codirector fundador (emérito) del Programa Conjunto del MIT y William F. Pounds, profesor emérito de administración en la Escuela de Administración Sloan del MIT, señalaron que un taller de 2018 convocado por la Vicepresidenta de Investigación del MIT, Maria Zuber, arrojó un informe y dos grandes orientaciones para la investigación. Una era simplemente usar los modelos existentes del MIT y desarrollar un conjunto más rico de escenarios más enfocados al riesgo financiero y al problema de la divulgación. El otro fue enriquecer estos modelos con variables y sectores más relevantes para las preocupaciones de la comunidad financiera.

Para producir resultados relevantes, John Parsons, profesor principal de gestión de riesgos y finanzas corporativas en MIT Sloan, recomendó que MIT complemente su modelo económico global existente con una investigación paralela sobre el análisis microeconómico más detallado que se necesita para calcular la exposición financiera. La idea, dijo, no era necesariamente poner todo en un solo modelo, sino centrarse en aspectos de cada escenario que se relacionan con los riesgos financieros a los que están expuestas las empresas individuales.

Spencer Dale de BP sugirió un énfasis alternativo para futuras investigaciones. “Para nosotros, lo más valioso que el MIT y otros pueden hacer no es producir escenarios prescriptivos cada vez más precisos, específicos”, dijo, “sino ayudarnos a comprender mejor el rango de niveles de incertidumbre y confianza asociados con los escenarios «.

La discusión llegó a su fin con dos preguntas principales: ¿Cómo podría el programa conjunto estructurar un programa de investigación en el MIT para que pudiera continuar trabajando en estrecha colaboración con los tomadores de decisiones que finalmente utilizarían estos escenarios, y cómo se financiaría dicho programa? En los próximos meses, John Reilly, codirector del Programa Conjunto del MIT y profesor principal del MIT Sloan, comprometió el programa para ayudar a coordinar un esfuerzo entre los expertos del MIT, las finanzas y la industria para abordar estas preguntas y desarrollar un plan de acción detallado. .

XBRL y AI

XBRL e AI: ¿Un mal matrimonio o una pareja hecha en el cielo?

XBRL es ahora el estándar para informes financieros. Cuando los informes solían archivarse como documentos PDF u hojas de Excel, el estándar XBRL ha proporcionado a los reguladores datos legibles por máquina. El hecho de que sea legible por máquina ha mejorado significativamente la calidad de los datos, ya que las reglas comerciales se pueden aplicar cuando se envían los datos. Muchos reguladores quieren dar un paso más y aplicar inteligencia artificial a los datos que reciben.

De los datos a los conocimientos

Una vez que los reguladores reciben los datos, quieren analizarlos y obtener información mediante la realización de comparaciones entre organizaciones, año tras año. Sin embargo, esta no es una tarea trivial. XBRL y AI tienen enfoques de datos muy diferentes. Para obtener una mejor comprensión, exploremos las diferencias a continuación.

  • Los datos XBRL están muy estructurados. Una taxonomía XBRL describe las estructuras de datos y cómo se presentarán los datos. Contiene definiciones de reglas comerciales para salvaguardar la calidad de los datos.
  • La IA se ocupa de datos que a menudo no están estructurados, con poco conocimiento de los tipos de datos y sin ningún conocimiento de las reglas comerciales.
  • XBRL usa un dialecto XML, que permite estructuras anidadas.
  • La IA utiliza principalmente lenguajes como Python y R, que funcionan mejor con estructuras planas (CSV y otros datos basados ​​en filas) o JSON.
  • Los datos XBRL son altamente dimensionales 1
  • En IA y aprendizaje automático, tener menos dimensiones simplifica procesos como el entrenamiento y la validación.
  • XBRL tiene reglas comerciales para validar la consistencia interna de una presentación y rechaza una presentación si fallan las reglas comerciales. Esto da como resultado una mayor calidad de los datos.
  • La IA no asume por adelantado una alta calidad de los datos; hay formas de manejar los datos faltantes (por ejemplo, la imputación).

Un punto de datos XBRL no es como un valor único para una columna en un archivo CSV. Un punto de datos es un valor con un grupo de aspectos que describen ese valor. Siempre que informa un valor, también informa el qué, quién y cuándo. Es decir, qué concepto se informa, quién lo informó, cuándo se informa.

La siguiente imagen muestra la estructura de un punto de datos XBRL

Los datos primarios y secundarios son difíciles de manejar en técnicas de IA, como el aprendizaje automático. El aprendizaje automático funciona mejor con datos tabulares (filas y columnas).

Si queremos aplicar IA a los datos XBRL, debemos superar estos obstáculos. En Visma Connect, creemos que es muy posible aplicar IA a los datos XBRL siguiendo una serie de pasos.

Pasos de procesamiento

Para transformar los datos XBRL a un formato que sea adecuado para entornos de IA, debemos hacer lo siguiente:

Filtración

Filtre XBRL realizando una selección en ciertos aspectos como concepto, período, moneda, etc. Este paso debe realizarse utilizando un software que tenga conocimiento de XBRL. El software debe saber cómo manejar las estructuras de datos que usa XBRL.

Ejemplo:

  • Filtrar por identificación de entidad 30267925.
  • Filtrar solo por moneda Euro.
  • Etc.

Aplastamiento

Una vez que hayamos filtrado los datos y sepamos qué datos tenemos en nuestras manos, podemos aplanar los datos. En lugar de informar la moneda con cada punto de datos, podemos extraer el aspecto de la moneda y convertirlo en un punto de datos separado. Lo mismo ocurre con otros aspectos como el período.

El siguiente paso es combinar puntos de datos en una fila, lo que significa que todos los puntos de datos que informan de manera similar se colocan en una fila. Estos datos tabulares son más fáciles de administrar en lenguajes como R y Python.

El punto de datos XBRL en la imagen de muestra de arriba se verá así después de aplicar estos pasos de procesamiento:

Tenga en cuenta que el concepto Ventas también se informa en la misma fila, que tiene los mismos datos secundarios que el concepto de Activos intangibles.

Análisis de los datos

Una vez que hemos filtrado y compactado los datos, conservamos la alta calidad de los datos y la estructura descrita en la taxonomía.

A medida que analizamos los datos, tenemos que eliminar algunos campos que no juegan un papel significativo en el entrenamiento del modelo. Esto dará como resultado un modelo de mejor rendimiento. Este proceso se llama reducción de dimensión.

Muchos proyectos de IA fallan debido a la mala calidad de los datos o los resultados son deficientes porque la estructura de los datos no está bien descrita. Los ingenieros de datos normalmente tienen dificultades para procesar datos de tan mala calidad. En los proyectos de IA, la mayor parte del tiempo se dedica al procesamiento de datos, no al análisis de datos en sí. Aquí, el uso de datos XBRL estructurados y de alta calidad resulta ser una ventaja.

¿Quieres comenzar tu viaje de IA?

En Visma Connect, tenemos el conocimiento y las herramientas para trabajar con XBRL. Creamos taxonomías para muchos de nuestros clientes en el ecosistema SBR. Los sistemas de Visma Connect validan los mensajes procesados ​​por la plataforma y entregan los mensajes a varias organizaciones.

Vemos que procesar datos XBRL puede resultar difícil para las organizaciones que los reciben. Visma Connect implementó la especificación XBRL OIM para transformar CSV y JSON en XBRL y viceversa. Esto abre una forma de aplicar IA en esos datos.

Los casos de uso relacionados con la IA son numerosos. La detección de fraudes es, en esencia, un problema de clasificación. AI puede separar transacciones auténticas y fraudulentas utilizando los puntos de datos proporcionados. La oficina de impuestos podría hacer esto utilizando datos históricos. Si eso no está disponible, el aprendizaje no supervisado podría aplicarse para agrupar transacciones similares, formar grupos distintos e identificar claramente valores atípicos. NLP (procesamiento del lenguaje natural) se puede aplicar a los textos de divulgación.

Nuestro equipo de inteligencia artificial tiene experiencia con todo tipo de datos, incluidos los datos XBRL. Podemos trabajar junto con nuestros clientes para materializar la promesa de la IA.

Cómo la transparencia de datos puede ayudar a combatir COVID-19

Para ayudar a tomar decisiones mejor informadas sobre el coronavirus, los gobiernos deberían publicar conjuntos de datos completos y legibles por máquina.

En las semanas transcurridas desde que COVID-19 se convirtió en una pandemia, gobiernos y entidades no gubernamentales han lanzado una gran cantidad de paneles de datos. Desafortunadamente, los datos que proporcionan a menudo son incompletos e inconsistentes, lo que hace que los responsables de la formulación de políticas y el público reciban una cantidad insuficiente de información procesable. Para responder a las preguntas sobre qué medidas de salud pública son necesarias y qué medidas de protección personal son prudentes, debemos tener datos completos y estandarizados.

Las fuentes de datos más utilizadas provienen de los Centros para el Control y la Prevención de Enfermedades (CDC), junto con la visualización producida por la Universidad Johns Hopkins, Worldometer y muchos gobiernos locales y estatales. Estas fuentes generalmente carecen de información sobre hospitalizaciones, así como datos demográficos sobre muertes y casos graves.

Una práctica común para estos sitios es publicar solo recuentos brutos de pruebas positivas y muertes atribuidas al virus. Los resultados de las pruebas no son comparables entre jurisdicciones porque los criterios para ser evaluados varían. Dado que sabemos que muchas personas que están infectadas experimentan solo síntomas menores (si los hay), es probable que el número de casos positivos se subestime en gran medida incluso en lugares que realizan pruebas de forma agresiva. Para que el número de casos positivos sea realmente significativo, la mayoría de la población en un área determinada tendría que hacerse la prueba de forma regular. Las fallas masivas en las pruebas del gobierno, desde el comienzo de esta pandemia, continúan perjudicando la capacidad de obtener una imagen completa y completa de los totales de las pruebas.

Las muertes proporcionan un indicador más confiable del impacto del coronavirus en las comunidades, pero esta estadística también tiene algunas limitaciones importantes. Primero, es un indicador rezagado: un resultado final de una enfermedad que es menos útil para predecir la trayectoria a corto plazo de la pandemia. En segundo lugar, puede haber diferencias entre jurisdicciones e incluso entre médicos forenses acerca de cómo atribuir una muerte determinada. Si bien la presencia de COVID-19 en una persona fallecida se puede determinar de manera confiable, si el virus causó la muerte es una decisión. Se ha argumentado, por ejemplo, que Italia tiene una tasa de mortalidad reportada más alta que los países vecinos porque no hace una distinción entre las muertes por COVID y las muertes por COVID.

Otros han sugerido que el recuento de muertes no se informa. “los funcionarios del hospital, los médicos, los expertos en salud pública y los examinadores médicos dicen que los recuentos oficiales no han logrado capturar el número real de estadounidenses que mueren en esta pandemia. El recuento insuficiente es el resultado de protocolos inconsistentes, recursos limitados y un mosaico de toma de decisiones de un estado o condado a otro”.

Una mejor medida del impacto de COVID-19 en este momento son las hospitalizaciones. Esta cifra excluye los casos asintomáticos y leves que pueden tener un impacto social menor y proporciona un indicador más en tiempo real que las muertes. Es cierto que esta medida también es vulnerable al problema de clasificación que también se aplica a las muertes.

Hablando de clasificación, solo algunas jurisdicciones desglosan los totales de COVID-19 informados por grupo de edad, sexo y presencia de comorbilidades. Se sabe que estos factores afectan la forma en que un individuo determinado experimenta el virus y, por lo tanto, estas descomposiciones son información útil tanto para el público como para los responsables de la formulación de políticas.

La ciudad de Nueva York proporciona más datos que la mayoría de las jurisdicciones, lo cual es una suerte dada la gravedad de su situación. Informa sobre hospitalizaciones y también proporciona desgloses por edad y sexo. Recientemente, el tablero de la ciudad mostró una tasa de hospitalización del 0.17 por ciento para los hombres y del 0.11 por ciento para las mujeres, una diferencia significativa que se ha observado en otros lugares. Las tasas de hospitalización oscilaron entre el 0,01 por ciento para los menores de 18 años y el 0,5 por ciento para las personas de 75 años o más.

Si bien Nueva York no proporciona datos de comorbilidad para las hospitalizaciones, lo hace para las muertes. Un informe reciente mostró que se encontró que más del 97 por ciento de las muertes que habían sido evaluadas para la existencia de condiciones subyacentes las tenían presentes, pero el 29 por ciento de todas las muertes aún no se había evaluado. Las condiciones subyacentes incluían «diabetes, enfermedad pulmonar, cáncer, inmunodeficiencia, enfermedad cardíaca, hipertensión, asma, enfermedad renal y enfermedad gastrointestinal / hepática».

La ampliación de los informes de la ciudad de Nueva York a nivel nacional mejoraría enormemente el nivel de información procesable que tenemos. Para escalar de manera efectiva, todas las jurisdicciones deben informar sus datos en un formato estandarizado legible por máquina y enviar estos archivos de datos a un único repositorio público. Una vez más, la ciudad de Nueva York ha dado un paso importante en esta dirección al producir archivos diarios de valores separados por comas (CSV) y publicarlos, un popular repositorio de software que también se utiliza para publicar datos públicos. En el momento de escribir este artículo, los datos de la condición subyacente solo estaban disponibles en el sitio web de la ciudad en formato PDF. Si se superaran esas limitaciones, los estados, condados y ciudades de todo el país podrían utilizar los informes de datos públicos de la ciudad de Nueva York como modelo.

COVID-19 representa una seria amenaza para la salud pública, la economía y, en última instancia, gran parte de nuestra civilización. Para atacar el problema, necesitamos tener los mejores datos posibles. Es comprensible que los hospitales, ciudades y estados abrumados no vean este como el momento ideal para cambiar la forma en que recopilan, procesan y comparten datos. Sin embargo, establecer e implementar un estándar de datos en este momento podría ayudar significativamente a los funcionarios de salud a identificar las tendencias y las mejores prácticas del coronavirus de manera más rápida y efectiva. En última instancia, el costo de un estándar de datos es mínimo en comparación con los muchos otros gastos que realizan los gobiernos en todos los niveles, pero su valor podría ser enorme.