сотрудник
Россия
студент
Россия
УДК 004.921 Элементы и объекты компьютерной графики
Актуальность исследования определяется стремительным ростом объёмов данных в сети Интернет и ограниченностью классических централизованных систем веб-скрапинга, сталкивающихся с проблемами масштабирования, блокировок и недостаточной устойчивости. В этих условиях возрастает потребность в использовании децентрализованных архитектур, способных адаптироваться к динамичной среде и эффективно собирать большие объёмы информации. Одним из наиболее перспективных подходов являются многоагентные системы (МАС), обеспечивающие распределённый сбор, обработку и хранение данных. В работе рассматриваются архитектура МАС, свойства агентов, особенности коммуникации и применимость данного подхода к задачам web-скрапинга. На основе анализа существующих решений предложен обобщённый алгоритм распределённого скрапинга, отражающий взаимодействие специализированных агентов. Цель: разработка и структурирование подхода к использованию многоагентных систем для веб-скрапинга, а также описание обобщённого алгоритма, обеспечивающего масштабируемый, отказоустойчивый и адаптивный сбор данных. Методы: теоретический анализ свойств многоагентных систем, архитектурных моделей и коммуникационных механизмов между агентами; изучение существующих практических решений распределённого краулинга; синтез обобщённого алгоритма на основе выделения типовых ролей агентов (планировщик, сборщик, парсер, обработчик данных, агент обхода защиты). Результаты: описана трёхуровневая архитектура МАС, включающая уровни сбора, обработки/координации и хранения данных. Выделены ключевые свойства агентов (автономность, реактивность, проактивность, социальность) и показаны их роли в задаче скрапинга. Представлены функции пяти типов агентов, применяемых в распределённом веб-скрапинге, и предложена схема взаимодействия между ними. Сформирован обобщённый алгоритм, включающий этапы инициализации, распределения задач, загрузки страниц, обработки ошибок блокировки, парсинга контента и сохранения данных. Показано, что многоагентный подход обеспечивает параллелизм, масштабируемость, отказоустойчивость и гибкость при работе с веб-ресурсами. Обсуждение и новизна: авторами описывается интеграция свойств и принципов многоагентных систем в контекст веб-скрапинга с формированием единой обобщённой модели взаимодействия агентов. Представленный алгоритм отражает практическую структуру функционирования распределённого краулера и демонстрирует, как различные типы агентов могут обеспечивать координацию, сбор, анализ и фильтрацию данных при работе с динамичными и защищёнными веб-ресурсами. Подчёркнута значимость децентрализации и адаптивности для современного веб-скрапинга, включая работу в условиях ограничений, связанных с анти-бот защитами. Практическая значимость: результаты исследования могут быть использованы при проектировании систем массового сбора данных, построении распределённых веб-краулеров и создании платформ анализа информации на основе МАС. Обобщённый алгоритм может служить основой для реализации гибких и масштабируемых систем, способных эффективно функционировать в условиях больших объёмов данных, динамических изменений веб-страниц и наличия защитных механизмов.
многоагентные системы, скрапинг, масштабирование, проактивность, автономность
1. Coughlin T. 175 Zettabytes By 2025 // Forbes. 2018. 27 November. URL: http://www.forbes.com/sites/ tomcoughlin/2018/11/27/175-zettabytes-by-2025 (дата обращения: 05.10.2025).
2. Barrett A. How to Scrape Websites at Large Scale // Octoparse Web Scraping Blog. 2022. 30 August. URL: http:// www.octoparse.com/blog/scrape-websites-at-large-scale (дата обращения: 05.10.2025).
3. Jennings N. R., Wooldridge M. J. Applications of Intelligent Agents // Agent Technology: Foundations, Applications, and Markets / N. R. Jennings, M. J. Wooldridge (eds). Heidelberg: Springer, 1998. Pp. 3–28. DOI:https://doi.org/10.1007/978-3-66203678-5_1.
4. Фаулер М. Архитектура корпоративных программных приложений / пер. с англ. М.: Вильямс, 2006. 544 с.
5. De Ridder A. An Introduction to FIPA Agent Communication Language: Standards for Interoperable Multi-Agent Systems // SmythOS AI Blog. URL: http://smythos.com/developers/agent-development/fipa-agent-communication-language (дата обращения: 22.11.2025).
6. Кияев В. И., Граничин О. Н. Информационные технологии в управлении предприятием: краткий учебный курс. 2-е изд., испр. М.: ИНТУИТ, 2016. 361 с.
7. The Data Extraction Using Distributed Crawler Inside the Multi-Agent System / K. Tomala [et al.] // Advances in Electrical and Electronic Engineering, 2013. Vol. 11, no. 6. Pp. 455–460. DOI:https://doi.org/10.15598/aeee.v11i6.867.
8. Extensible Markup Language (XML) 1.0 (Fifth Edition) — W3C Recommendation 26 November 2008 / T. Bray [et al.] (eds). URL: http://www.w3.org/TR/xml (дата обращения: 22.11.2025).
9. Transmission Control Protocol // Wikipedia. URL: http://en.wikipedia.org/wiki/Transmission_Control_Protocol (дата обращения: 22.11.2025).
10. MD5 // Wikipedia. URL: http://en.wikipedia.org/wiki/MD5 (дата обращения: 22.11.2025).
