Грант РНФ No. 23-21-00465 (2023–2024 гг.)
Методы, модели и алгоритмы интеллектуального анализа временных рядов на основе интеграции параллельных вычислений и нейросетевых технологий
 
Аннотация
 
Участники
 
Публикации
 
Апробация
 
Программы
 
Репозитории
 
Диссертации

► Участники проекта

Руководитель проекта: Цымблер Михаил Леонидович (mzym@susu.ru)

Основные исполнители проекта:

► Аннотация проекта

Целью проекта являются разработка и исследование новых моделей, методов и алгоритмов, обеспечивающих эффективный интеллектуальный анализ данных временных рядов в режиме реального времени на основе совместного применения нейросетевых и параллельных вычислительных технологий. Актуальность решения указанной научной проблемы обусловлена необходимостью теоретических методов и практических разработок, обеспечивающих эффективный интеллектуальный анализ данных временных рядов, которые в настоящее время возникают в широком спектре предметных областей: предиктивное техобслуживание оборудования в приложениях цифровой индустрии, интеллектуальное управление зданиями в приложениях Интернета вещей, мониторинг состояния человека и упреждающая диагностика заболеваний в приложениях персональной медицины и др. В настоящее время технологии нейронных сетей оказывают огромное влияние на сферу информационных технологий и применяются для решения широкого спектра задач, в т.ч. в приложениях, связанных с анализом и прогнозом временных рядов в режиме реального времени. Нейросети потенциально способны обеспечить высокое качество анализа и прогноза временных рядов и приемлемую для реального времени скорость работы. Однако для обучения нейросетей необходим большой объем предварительно очищенных и размеченных данных. В то же время очистка и разметка данных, выполняемые в ручном режиме экспертом в данной предметной области, порождает существенные накладные расходы. Научная новизна предлагаемого исследования заключается в следующем. Решение задач анализа и прогнозирования временных рядов в режиме реального времени выполняется с помощью нейросетевых моделей, для которых разрабатываются параллельные алгоритмы интеллектуального анализа временных рядов для современных многоядерных процессоров и графических ускорителей. Указанные алгоритмы применимы к временным рядам из любой предметной области без необходимости использования знаний и/или обучающих данных из этой области. Данные параллельные алгоритмы для массово распространенных в настоящее время указанных платформ позволят выполнять разметку данных обучающей выборки для нейросети в автоматизированном режиме и существенно сократить затраты на разметку данных (по сравнению с разметкой, выполняемую экспертом вручную). Кроме того, указанные выше нейросетевые модели и параллельные алгоритмы интегрируются в СУБД с открытым кодом. В настоящее время СУБД являются стандартным средством реализации хранилищ данных, которые обеспечивают безопасность, целостность данных, язык запросов и манипулирования данными и др. Однако СУБД штатно не обеспечивают интеллектуальный анализ хранимых данных. Внедрение указанных механизмов в СУБД позволит инкапсулировать стадии сбора и анализа данных в рамках одной среды и избежать существенных накладных расходов по экспорту данных во внешнюю аналитическую систему и импорту результатов анализа в хранилище данных.

► Публикации по проекту

Основные результаты, полученные в ходе выполнения данного проекта, опубликованы в следующих работах:

2024 г.
  1. Kraeva Ya., Zymbler M. PADDi: Highly Scalable Parallel Algorithm for Discord Discovery on Multi-GPU Clusters // Lobachevskii Journal of Mathematics. 2025. Vol. 46, No. 4. P. 1480–1494. PDF DOI: 10.1134/S1995080225606198
  2. Yurtin A., Zymbler M. SANNI: Online Imputation of Missing Values in Multivariate Time Series Based on Deep Learning and Behavioral Patterns // Lobachevskii Journal of Mathematics. 2024. Vol. 45, No. 11. P. 5948–5966. PDF DOI: 10.1134/S1995080224606854 WOS:001446922600003 Scopus РИНЦ
  3. Zymbler M., Goglachev A. PaSTiLa: Scalable Parallel Algorithm for Unsupervised Labeling of Long Time Series // Lobachevskii Journal of Mathematics. 2024. Vol. 45, No. 3. P. 1333–1347. PDF DOI: 10.1134/S1995080224600766 WOS:001272973100030 Scopus РИНЦ
  4. Гоглачев А.И. Классификация потокового временного ряда на основе нейросетевых технологий и поведенческих шаблонов // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2024. Т. 13, № 3. С. 79–94. PDF DOI: 10.14529/cmse240305 РИНЦ
  5. Юртин А.А. Восстановление многомерных временных рядов на основе выявления поведенческих шаблонов и применения автоэнкодеров // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2024. Т. 13, № 2. С. 39–55. PDF DOI: 10.14529/cmse240203 РИНЦ
  6. Краева Я.А. Нейросетевой метод обнаружения аномалий в многомерных потоковых временных рядах // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2024. Т. 13, № 4. С. 35–52. PDF DOI: 10.14529/cmse240403 РИНЦ
  7. Юртин А.А. Об одной функции потерь для обучения нейросетевых моделей восстановления временных рядов // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2024. Т. 13, № 4. С. 53–73. PDF DOI: 10.14529/cmse240404 РИНЦ
  8. Юртин А.А. Интеграция в реляционную СУБД средств восстановления пропусков временных рядов в режиме реального времени // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2025. Т. 14, № 1. (принято к публикации)

2023 г.
  1. Zymbler M., Kraeva Y. High-Performance Time Series Anomaly Discovery on Graphics Processors // Mathematics. 2023. Vol. 11, No. 14. Article 3193. PDF DOI: 10.3390/math11143193 WOS:001039018700001 Scopus РИНЦ
  2. Kraeva Y., Zymbler M. A Parallel Discord Discovery Algorithm for a Graphics Processor // Pattern Recognition and Image Analysis. 2023. Vol. 33, no. 2. P. 101–112. PDF DOI: 10.1134/S1054661823020062 WOS:001022883000004 Scopus РИНЦ
  3. Краева Я.А. Обнаружение аномалий временного ряда на основе технологий интеллектуального анализа данных и нейронных сетей // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2023. Т. 12, № 3. С. 50–71. PDF DOI: 10.14529/cmse230304 РИНЦ
  4. Цымблер М.Л., Юртин А.А. Восстановление пропущенных значений временного ряда на основе совместного применения аналитических алгоритмов и нейронных сетей // Вычислительные методы и программирование. 2023. Т. 24, № 3. С. 243–259. PDF DOI: 10.26089/NumMet.v24r318 РИНЦ
  5. Краева Я.А. Поиск аномалий в сенсорных данных цифровой индустрии с помощью параллельных вычислений // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2023. Т. 12, № 2. С. 47–61. PDF DOI: 10.14529/cmse230202 РИНЦ
  6. Краева Я.А., Цымблер М.Л. Поиск аномалий в больших временных рядах на кластере с GPU узлами // Вычислительные методы и программирование. 2023. Т. 24, № 3. С. 291–304. PDF DOI: 10.26089/NumMet.v24r321 РИНЦ
  7. Краева Я.А., Цымблер М.Л. Поиск аномалий в больших временных рядах на кластере с GPU узлами // Суперкомпьютерные дни в России: Труды международной конференции (25–26 сентября 2023 г., Москва). М.: МАКС Пресс, 2023. С. 149–160. PDF DOI: 10.29003/m3478.978-5-317-07070-0 РИНЦ

► Апробация проекта

Основные результаты, полученные в ходе выполнения данного проекта, докладывались на следующих научных конференциях, семинарах и совещаниях:

2024 г.
  1. DAMDID/RCDL’2024: XXVI International Conference on Data Analytics and Management in Data Intensive Domains (23–25 October 2024, Nizhny Novgorod, Russia). Time reveals all things: Leveraging behavioral patterns for anomaly detection and event prediction in time series. М.Л. Цымблер (пленарный доклад). PDF
  2. Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии 2024» (2–4 апреля 2024 г., Челябинск). Восстановление пропусков многомерного временного ряда на основе анализа поведенческих шаблонов. А.А. Юртин (секционный доклад) PDF (диплом I степени в конкурсе докладов молодых ученых)
  3. Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии 2024» (2–4 апреля 2024 г., Челябинск). Метод поиска аномалий временного ряда в режиме реального времени. Я.А. Краева (секционный доклад) PDF (диплом II степени в конкурсе докладов молодых ученых)

2023 г.
  1. Всероссийская научная конференция с международным участием ЦИСП'2023: Цифровая индустрия: состояние и перспективы развития (21–23 ноября 2023 г., Челябинск). Интеллектуальный анализ временных рядов в задачах цифровой индустрии. М.Л. Цымблер (пленарный доклад). PDF
  2. DAMDID/RCDL’2023: XXV International Conference on Data Analytics and Management in Data Intensive Domains (24–27 October 2023, Moscow, Russia). Discord discovery in time series. М.Л. Цымблер (пленарный доклад). PDF
  3. Международная научная конференция «Суперкомпьютерные дни в России» (25–26 сентября 2023 г., Москва). Поиск аномалий в больших временных рядах на кластере с GPU узлами. Я.А. Краева (секционный доклад). PDF (диплом II степени в конкурсе докладов молодых ученых)
  4. Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии 2023» (28–30 марта 2023 г., Санкт-Петербург) А.А. Юртин (секционный доклад). Параллельное вычисление функции потерь на графическом процессоре для нейросетевых моделей восстановления временных рядов PDF (диплом II степени в конкурсе докладов молодых ученых)
  5. Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии 2023» (28–30 марта 2023 г., Санкт-Петербург) Я.А. Краева (секционный доклад). Автоматизированный поиск аномалий временных рядов на графическом процессоре PDF (диплом II степени в конкурсе докладов молодых ученых)
  6. Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии 2023» (28–30 марта 2023 г., Санкт-Петербург), А.И. Гоглачев (секционный доклад). Автоматизированная разметка больших временных рядов на кластере с GPU узлами PDF (диплом III степени в конкурсе докладов молодых ученых)
  7. Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии 2023» (28–30 марта 2023 г., Санкт-Петербург), А.Н. Полуянов (секционный доклад). Восстановление пропущенных значений в потоковом временном ряде с применением центрального и графического процессоров PDF

► Зарегистрированные программы

  1. Краева Я.А., Цымблер M.Л. Свидетельство Роспатента о государственной регистрации программы для ЭВМ «PADDi: параллельная программа для поиска аномалий временного ряда на кластерных вычислительных системах с графическими процессорами» № 2024690693 от 17.12.2024 PDF РИНЦ ФИПС

  2. Краева Я.А. Свидетельство Роспатента о государственной регистрации программы для ЭВМ «DiSSiD: детектор аномалий временного ряда в режиме реального времени» № 2023685034 от 21.11.2023. PDF РИНЦ ФИПС

  3. Гоглачев А.И., Цымблер M.Л. Свидетельство Роспатента о государственной регистрации программы для ЭВМ «PaSTiLa: параллельная программа для автоматизированной разметки длинных временных рядов» № 2023688858 от 25.12.2023 PDF РИНЦ ФИПС

  4. Подседов М.С., Юртин А.А., Цымблер М.Л. Свидетельство Роспатента о государственной регистрации программы для ЭВМ «Расширение СУБД для автоматизации интеллектуального анализа временных рядов» № 2024688988 от 03.12.2024. PDF РИНЦ ФИПС

► Репозитории

  1. SALTO, нейросетевой метод классификации подпоследовательностей временного ряда в режиме реального времени:
    https://github.com/goglachevai/SALTO

  2. PaSTiLa, параллельный алгоритм поиска сниппетов (поведенческих шаблонов) временного ряда на вычислительном кластере с графическими процессорами:
    https://github.com/goglachevai/PaSTiLA

  3. PD3, параллельный алгоритм поиска диссонансов временного ряда, имеющих фиксированную длину, на графическом процессоре:
    https://github.com/kraevaya/PD3

  4. PALMAD, параллельный алгоритм поиска диссонансов временного ряда, имеющих произвольную длину, на графическом процессоре:
    https://github.com/kraevaya/PALMAD

  5. PADDi, параллельный алгоритм поиска диссонансов временного ряда, имеющих произвольную длину, на вычислительном кластере с графическими процессорами:
    https://github.com/kraevaya/PADDi

  6. DiSSiD, нейросетевой метод обнаружения аномалий временного ряда в режиме реального времени:
    https://github.com/kraevaya/DiSSiD

  7. mDiSSiD, нейросетевой метод обнаружения аномалий многомерного временного ряда в режиме реального времени:
    https://github.com/kraevaya/mDiSSiD

  8. SANNI, нейросетевой метод восстановления пропусков многомерного временного ряда в режиме реального времени:
    https://github.com/yurtinaa/SANNI

  9. SAETI, нейросетевой метод восстановления пропусков многомерного временного ряда:
    https://github.com/yurtinaa/SAETI

  10. MPDE, функция потерь для обучения нейросетевых моделей восстановления пропусков временного ряда:
    https://github.com/yurtinaa/MPDE

  11. ImputeDB, метод восстановления пропусков временных рядов, хранимых в СУБД PostgreSQL, в режиме реального времени:
    https://github.com/yurtinaa/ImputeDB

  12. TSDB, проблемно-ориентированное расширение СУБД PostgreSQL для интеллектуального анализа временных рядов:
    https://github.com/yurtinaa/TSDB

► Диссертации

Краева Я.А. Масштабируемые методы и алгоритмы поиска аномалий во временных рядах. Диссертация на соискание ученой степени кандидата физико-математических наук по специальности 2.3.5. «Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей» в диссертационном совете 24.2.437.10 при Южно-Уральском государственном университете 22 мая 2024 г.
Автореферат (PDF) Диссертация (PDF) Презентация (PDF)

 
 
Изменено: 22.04.2025

Copyright © М.Л. Цымблер