Intellectual Technologies on Transport Intellectual Technologies on Transport Интеллектуальные технологии на транспорте 2413-2527 105900 10.20295/2413-2527-2025-444-17-25 zcjukj ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ТРАНСПОРТНЫЕ СИСТЕМЫ ARTIFICIAL INTELLIGENCE AND TRANSPORT SYSTEMS ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ТРАНСПОРТНЫЕ СИСТЕМЫ Anomaly Detection in Large-Scale Data Using Isolation Forest and Autoencoder Выявление аномалий в масштабных данных с применением Isolation Forest и Autoencoder Герасимов Максим Gerasimov Maksim maxger60@gmail.com Забродин Андрей Владимирович Zabrodin Andrey Vladimirovich zabrodin@pgups.ru

кандидат исторических наук;

candidate of historical sciences;

 Петербургский государственный университет путей сообщения Императора Александра I Россия Emperor Alexander I St. Petersburg State Transport University Russian Federation Петербургский государственный университет путей сообщения Императора Александра I Санкт-Петербург Россия Emperor Alexander I St. Petersburg State Transport University St. Petersburg Russian Federation 15 12 2025 15 12 2025 4 17 25 29 10 2025 22 11 2025 https://itt-pgups.ru/en/nauka/article/105900/view

Цель: сравнительный анализ двух методов обнаружения аномалий в больших массивах данных — ансамблевого алгоритма Isolation Forest и нейросетевого Autoencoder. Методы: проведено моделирование и экспериментальное сравнение алгоритмов на реальном датасете транзакций по кредитным картам. Использованы стандартные метрики эффективности (precision, recall, F1-score, ROC-AUC), а также матрица ошибок для анализа структуры ложных срабатываний и пропусков аномалий. Результаты: обе модели достигли высоких значений ROC-AUC, что подтверждает их способность надежно различать нормальные и аномальные транзакции. Практическая значимость: разработанные подходы применимы для автоматизированного мониторинга транзакционных потоков, предотвращения мошенничества и анализа больших данных. Наиболее эффективно комбинированное использование Isolation Forest и Autoencoder в гибридных системах, что позволяет повысить точность и снизить количество ложных тревог при обнаружении аномалий.

Purpose: the study aims to compare two anomaly detection methods applied to large-scale datasets, the ensemble-based Isolation Forest and the neural network-based Autoencoder. Methods: the investigation entailed modelling and empirical assessment of the algorithms utilizing a genuine credit card transaction dataset. Standard performance metrics such as precision, recall, F1-score, ROC-AUC were used accompanied by a confusion matrix to explore the occurrences of false positives and overlooked anomalies. Results: the findings revealed that both models achieved elevated ROC-AUC scores, confirming their robustness in differentiating between typical and anomalous transactions. Practical significance: the proposed methods can be suitable for the automated supervision of transactional flows, the prevention of fraud, and the analysis of large datasets. The integration of Isolation Forest and Autoencoder in hybrid systems has demonstrated superior effectiveness, enhancing detection accuracy while minimizing the occurrence of false positives in anomaly detection.

 большие данные аномалии машинное обучение нейронные сети Autoencoder Isolation Forest транзакционные данные large datasets anomalies machine learning neural network Autoencoder Isolation Forest transaction data

Обзор методов обнаружения аномалий в потоках данных / В. П. Шкодырев, К. И. Ягафаров, В. А. Баштовенко, Е. Э. Ильина // Proceedings of the Second Conference on Software Engineering and Information Management (SEIM-2017), (Saint Petersburg, Russia, 21 April 2017). CEUR Workshop Proceedings. 2017. Vol. 1864. Pp. 50–56. Shkodyrev V. P., Yagafarov K. I., Bashtovenko V. A., Ilyina E. E. Obzor metodov obnaruzheniya anomaliy v potokakh dannykh [The Overview of Anomaly Detection Methods in Data Streams], Proceedings of the Second Conference on Software Engineering and Information Management (SEIM-2017), Saint Petersburg, Russia, April 21, 2017. CEUR Workshop Proceedings, 2017, Vol. 1864, Pp. 50–56. (In Russian) Анализ данных и процессов: учебное пособие / А. А. Барсегян, М. С. Куприянов, И. И. Холод [и др.]. 3-е изд., перераб. и доп. СПб.: БХВ-Петербург, 2009. 512 с. Barsegyan A. A., Kupriyanov M. S., Kholod I. I., et al. Analiz dannykh i protsessov: uchebnoe posobie [Data and Process Analysis: A Tutorial]. Saint Petersburg, BHV-Peterburg Publishing House, 2009, 512 p. (In Russian) Liu F. T., Ting K. M., Zhou Z.-H. Isolation Forest // Proceedings of the Eighth IEEE International Conference on Data Mining (Pisa, Italy, 15–19 December 2008). Institute of Electrical and Electronics Engineers, 2008. Pp. 413-422. DOI: 10.1109/ICDM.2008.17. Liu F. T., Ting K. M., Zhou Z.-H. Isolation Forest, Proceedings of the Eighth IEEE International Conference on Data Mining, Pisa, Italy, December 15–19, 2008. Institute of Electrical and Electronics Engineers, 2008, Pp. 413-422. DOI: 10.1109/ICDM.2008.17. Scikit-learn: Machine Learning in Python. URL: http://scikit-learn.org (дата обращения: 18.10.2025). Scikit-learn: Machine Learning in Python. Available at: http://scikit-learn.org (accessed: October 18, 2025). Pandas: Python Data Analysis Library. URL: http://pandas.pydata.org (дата обращения: 18.10.2025). Pandas: Python Data Analysis Library. Available at: http://pandas.pydata.org (accessed: October 18, 2025). NumPy v2.3 Documentation. URL: http://numpy.org/doc/2.3 (дата обращения: 18.10.2025). NumPy v2.3 Documentation. Available at: http://numpy.org/doc/2.3 (accessed: October 18, 2025). SciPy v1.16.2 Documentation. URL: http://docs.scipy.org/doc/scipy (дата обращения: 18.10.2025). SciPy v1.16.2 Documentation. Available at: http://docs.scipy.org/doc/scipy (accessed: October 18, 2025). PyOD V2 Documentation. URL: http://pyod.readthedocs.io (дата обращения: 18.10.2025). PyOD V2 Documentation. Available at: http://pyod.readthedocs.io (accessed: October 18, 2025). Matplotlib: Visualization with Python. URL: http://matplotlib.org (дата обращения: 18.10.2025). Matplotlib: Visualization with Python. Available at: http://matplotlib.org (accessed: October 18, 2025). Seaborn: Statistical Data Visualization. URL: http://seaborn.pydata.org (дата обращения: 18.10.2025). Seaborn: Statistical Data Visualization. Available at: http://seaborn.pydata.org (accessed: October 18, 2025). Plotly Open Source Graphing Library for Python. URL: http://plotly.com/python (дата обращения: 18.10.2025). Plotly Open Source Graphing Library for Python. Available at: http://plotly.com/python (accessed: October 18, 2025). Goodfellow I., Bengio Y., Courville A. Autoencoders // Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge (MA): MIT Press, 2016. Pp. 499–523. Goodfellow I., Bengio Y., Courville A. Autoencoders. In: Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge (MA), MIT Press, 2016, Pp. 499–523. Hinton G. E., Salakhutdinov R. R. // Science. 2006. Vol. 313, Iss. 5786. Pp. 504–507. DOI: 10.1126/science.112764. Hinton G. E., Salakhutdinov R. R., Science, 2006, Vol. 313, Iss. 5786, Pp. 504–507. DOI: 10.1126/science.112764. Credit Card Fraud Detection: Anonymized Credit Card Transactions Labeled as Fraudulent or Genuine // Kaggle. URL: http://www.kaggle.com/datasets/mlg-ulb/creditcardfraud (дата обращения: 18.10.2025). Credit Card Fraud Detection: Anonymized Credit Card Transactions Labeled as Fraudulent or Genuine, Kaggle. Available at: http://www.kaggle.com/datasets/mlg-ulb/creditcardfraud (accessed: October 18, 2025). The Numenta Anomaly Benchmark // GitHub. URL: http://github.com/numenta/NAB (дата обращения: 18.10.2025). The Numenta Anomaly Benchmark, GitHub. Available at: http://github.com/numenta/NAB (accessed: October 18, 2025). Imbalanced-learn v0.14.0 Documentation. URL: http://imbalanced-learn.org (дата обращения: 18.10.2025). Imbalanced-learn v0.14.0 Documentation. Available at: http://imbalanced-learn.org (accessed: October 18, 2025). Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. Большие данные. Big Data: учебник для вузов. 4-е изд., стер. Санкт-Петербург: Лань, 2024. 188 с. Makshanov A. V., Zhuravlev A. E., Tyndykar L. N. Bolshie dannye. Big Data: uchebnik dlya vuzov [Big Data: a textbook for universities]. Saint Petersburg, LAN Publishing House, 2024, 188 p. (In Russian) Фельдман Е. В., Ручай А. Н., Чербаджи Д. Ю. Модель выявления аномальных банковских транзакций на основе машинного обучения // Вестник УрФО. Безопасность в информационной сфере. 2021. № 1 (39). С. 27–35. DOI: 10.14529/secur210104. Feldman E. V., Ruchay A. N., Cherbadzhi D. Y. Model vyyavleniya anomalnykh bankovskikh tranzaktsiy na osnove mashinnogo obucheniya [Model for Detecting Abnormal Banking Transactions Based on Machine Learning], Vestnik UrFO. Bezopasnost v informatsionnoy sfere [Journal of the Ural Federal District. Information Security], 2021, No. 1 (39), Pp. 27–35. DOI: 10.14529/secur210104. (In Russian) Novelty and Outlier Detection — Scikit-learn 1.7.2 Documentation. URL: http://scikit-learn.org/stable/modules/outlier_detection.html (дата обращения: 18.10.2025). Novelty and Outlier Detection — Scikit-learn 1.7.2 Documentation. Available at: http://scikit-learn.org/stable/modules/outlier_detection.html (accessed: October 18, 2025).