Данные и метаданные показателей Всемирного банка (WorldBank)

Этот набор данных создан на основе значений индикаторов Всемирного банка публикуемых на порталах data.worldbank.org и databank.worldbank.org. В общей сложности в этот набор данных включены метаданные (файл metadata.parquet) и данные (файл inddata.parquet) описания и значения более чем 25 тысяч показателей.  Все метаданные и значения индикаторов собраны через открытое API WorldBank https://datahelpdesk.worldbank.org/knowledgebase/articles/889392-about-the-indicators-api-documentation Дополнительно данные предоставлены формате JSON Lines сжатые по стандарту ZSTD, это позволит работать с данными в оригинальных форматах если преобразование в Parquet вызвало какие-либо искажения из-за автоматического распознавания данных. Особенности описания индикаторов в том что оригинальные данные содержат много пропусков в метаданных и для разных индикаторов состав полей метаданных различаются. Поля метаданных были превращены из списков словарных значений в форму таблиц. Для работы с набором данных рекомендуется использовать инструменты поддерживающие формат Parquet, такие как: Polars, DuckDb, Clickhouse и иные подобные им.   Структура таблицы metadata.parquet

Column Type Description Is array Num unique Count Share uniq

id VARCHAR Уникальный идентификатор False 15446 25009 61.76

source_id VARCHAR Идентификатор источника данных False 46 25009 0.18

Developmentrelevance VARCHAR Релевантность для развития False 451 25009 1.80

IndicatorName VARCHAR Название индикатора False 18218 25009 72.85

Limitationsandexceptions VARCHAR Ограничения и исключения False 295 25009 1.18

Longdefinition VARCHAR Длинное описание False 8569 25009 34.26

Periodicity VARCHAR Периодичность False 10 25009 0.04

Referenceperiod VARCHAR Период отчетности False 16 25009 0.06

Source VARCHAR Источник данных False 690 25009 2.76

Statisticalconceptandmethodology VARCHAR Статистическая концепция и методология False 535 25009 2.14

Topic VARCHAR Тема False 279 25009 1.12

Aggregationmethod VARCHAR Метод агрегации False 17 25009 0.07

License_Type VARCHAR Тип лицензии False 49 25009 0.20

License_URL VARCHAR Ссылка на лицензию False 9 25009 0.04

Othernotes VARCHAR Другие заметки False 345 25009 1.38

Unitofmeasure VARCHAR Единица измерения False 69 25009 0.28

BasePeriod VARCHAR Базовый период False 12 25009 0.05

Shortdefinition VARCHAR Краткое описание False 6842 25009 27.36

Generalcomments VARCHAR Общие комментарии False 693 25009 2.77

Relatedsourcelinks VARCHAR Ссылки на связанные источники False 7 25009 0.03

Dataset VARCHAR Набор данных False 5 25009 0.02

Previous_Indicator_Code VARCHAR Код предыдущего индикатора False 11 25009 0.04

Previous_Indicator_Name VARCHAR Название предыдущего индикатора False 17 25009 0.07

Relatedindicators VARCHAR Связанные индикаторы False 4 25009 0.02

Notesfromoriginalsource VARCHAR Заметки из исходного источника False 70 25009 0.28

DataQuality VARCHAR Качество данных False 2 25009 0.01

Derivationmethod VARCHAR Метод получения False 16 25009 0.06

Otherweblinks VARCHAR Другие веб-ссылки False 7 25009 0.03

Powercode VARCHAR Код мощности False 1 25009 0.00

  Структура таблицы inddata.parquet

Column Type Description Is array Num unique Count Share uniq

id VARCHAR Уникальный идентификатор False 14485 5130556 0.28

Developmentrelevance VARCHAR Релевантность для развития False 375 5130556 0.01

IndicatorName VARCHAR Название индикатора False 16778 5130556 0.33

Limitationsandexceptions VARCHAR Ограничения и исключения False 277 5130556 0.01

Longdefinition VARCHAR Длинное описание False 7471 5130556 0.15

Periodicity VARCHAR Периодичность False 10 5130556 0.00

Referenceperiod VARCHAR Период ссылки False 16 5130556 0.00

Source VARCHAR Источник False 562 5130556 0.01

Statisticalconceptandmethodology VARCHAR Статистическая концепция и методология False 473 5130556 0.01

Topic VARCHAR Тема False 272 5130556 0.01

Aggregationmethod VARCHAR Метод агрегации False 14 5130556 0.00

License_Type VARCHAR Тип лицензии False 44 5130556 0.00

License_URL VARCHAR URL лицензии False 5 5130556 0.00

Othernotes VARCHAR Другие заметки False 278 5130556 0.01

Unitofmeasure VARCHAR Единица измерения False 86 5130556 0.00

BasePeriod VARCHAR Базовый период False 12 5130556 0.00

Shortdefinition VARCHAR Краткое описание False 4381 5130556 0.09

Generalcomments VARCHAR Общие комментарии False 528 5130556 0.01

Relatedsourcelinks VARCHAR Связанные ссылки источников False 6 5130556 0.00

Dataset VARCHAR Набор данных False 5 5130556 0.00

Previous_Indicator_Code VARCHAR Код предыдущего индикатора False 12 5130556 0.00

Previous_Indicator_Name VARCHAR Название предыдущего индикатора False 17 5130556 0.00

Relatedindicators VARCHAR Связанные индикаторы False 5 5130556 0.00

Notesfromoriginalsource VARCHAR Заметки из исходного источника False 65 5130556 0.00

DataQuality VARCHAR Качество данных False 2 5130556 0.00

Derivationmethod VARCHAR Метод получения False 16 5130556 0.00

Otherweblinks VARCHAR Другие веб-ссылки False 9 5130556 0.00

Powercode VARCHAR Код мощности False 1 5130556 0.00

name VARCHAR Наименование False 14889 5130556 0.29

unit VARCHAR Единица False 1 5130556 0.00

source_1 STRUCT Первый источник False 45 5130556 0.00

source_1.id VARCHAR Идентификатор первого источника False 33 5130556 0.00

source_1.value VARCHAR Значение первого источника False 37 5130556 0.00

sourceNote VARCHAR Примечание к источнику False 7423 5130556 0.14

sourceOrganization VARCHAR Организация источника False 454 5130556 0.01

topics STRUCT Темы True 113 5130556 0.00

topics.id VARCHAR Идентификатор темы False 17 2786746 0.00

topics.value VARCHAR Значение темы False 22 2786746 0.00

country STRUCT Страна False 2427 5130556 0.05

country.id VARCHAR Идентификатор страны False 2995 5130556 0.06

country.name VARCHAR Название страны False 2107 5130556 0.04