[xParser] 1.8.0 Вспомогательный Node JS демон или ускоряем парсинг в 27 раз!

Встала задача ускорить, насколько это возможно, работу парсера, т.к. у клиента отработка задания на парсинг 7к ресурсов длилась в течение ~2-3 суток!
Первым делом я подумал, что проблема таится в получении данных со стороннего ресурса. 7 тысяч запросов к стороннему ресурсу только за текстовой информацией, а ещё у каждой записи по 5 картинок, в общей сложности получается 42к запросов к стороннему ресурсу.
Если в среднем запрос длится по 1 секунде, то получается 42 тысячи секунд, что эквивалентно 11 часам и ещё 40 минутам! А ведь ресурс ещё нужно сохранить, на что в среднем уходит по 1-2 секунды. Это ещё +22 часа работы. Итого ~34 часа на отработку задания на парсинг 7к ресурсов, в лучшем случае. Мда… не дело!

А как же встроенная асинхронность?

Помнится, с версии 1.6.0 у компонента появилась классная функция асинхронных запросов к стороннему ресурсу через библиотеку ReactPHP. На деле оказалось, что не на всех серверах оно работает корректно — где-то вообще не работает, а где-то часть запросов теряется.
К сожалению, могу констатировать, что ReactPHP, который был встроен в xParser, не добавляет стабильной асинхронности при запросах к внешнему ресурсу. Поэтому, в будущих версиях он будет либо заменён на что-то другое, либо вообще удалён из компонента. Пока в новых версиях этот функционал принудительно отключён, но сегодня не об этом.

Ищем решение

Поразмышляв, я пришёл к выводу, что компоненту не хватает реальной асинхронности, которая есть, например, в JavaScript. Такие размышления навели меня на мысль: «А что если у компонента будет свой Node JS демон, который будет выполнять запросы к сторонним ресурсам?», идея мне показалась интересной и я принялся её воплощать.

Первое препятствие

Когда всё было готово и тестовый запуск произведён, оказалось, что запросы к сторонним ресурсам — не единственная проблема. Когда парсер собрал все данные и выгрузил картинки к себе, он переходит к сохранению ресурсов через стандартный процессор MODX (resource/create или resource/update). Путём наблюдения за этим процессом было выяснено, что первые ресурсы сохраняются за пол секунды, а то и меньше, но чем дальше в лес, тем дольше времени надо на это действие. Доходит до того, что 1 ресурс где-то на ~1.500 обработанных записей, обновляется через стандартный процессор в течение 40 секунд! С чем это связано, я так и не разобрался (хоть и пытался), может какая утечка памяти или что-то в этом роде…

Прокачиваем демон

Решено было отдать демону и сохранение ресурса. Написав необходимый функционал на стороне Node JS и доработав xParser таким образом, чтобы при доступности демона он отдавал все необходимые данные ему, мы снова принялись тестировать скорость работы парсинга. Результат удивил даже меня. Очень удивил!

Приятный итог

В общем, не буду томить, то же задание на 7к записей отработало за 1 час 15 минут. Мне сначала показалось, что произошёл какой-то сбой и я полез проверять целостность спарсенных данных, оказалось, что всё на месте! Поэтому, если взять изначальные 34 часа, которые по нашим подсчётам требовались на парсинг этого задания и разделить их на итоговый результат, то получается, что работа парсера на этом задании была ускорена в ~27 раз!

P.S.

Я скоро дополню документацию компонента разделом о том, как любой обладатель xParser сможет запустить на своём сервере вспомогательный демон и настроить его. А пока я озабочен безопасностью этого решения.

Fatal error: Uncaught InvalidArgumentException: Expecting a DOMNodeList or DOMNode instance, an array, a string, or null, but got "boolean". in /core/components/xparser/vendor/symfony/dom-crawler/Crawler.php:120
Stack trace:
#0 /core/components/xparser/vendor/symfony/dom-crawler/Crawler.php(67): Symfony\Component\DomCrawler\Crawler->add(false)
#1 /core/components/xparser/handlers/domcrawler/xpdomcrawler.class.php(44): Symfony\Component\DomCrawler\Crawler->__construct(false)
#2 /core/components/xparser/handlers/parser/xpparser.class.php(225): xpDomCrawler->factory(false)
#3 /core/components/xparser/handlers/parser/xpparser.class.php(553): xpParser->getSourceItems(Array)
#4 /core/components/xparser/handlers/parser/xpparser.class.php(704): xpParser->parseTask(Array)
#5 /core/components/xparser/processors/mgr/task/parse.class.php(111): xpParser->parseTask(Array)
#6 /core/components/xparser/vendor/symfony/dom-crawler/Crawler.php on line 120

Array
(
    [pagetitle] => <h1 class="error">
			<span>
									<a class="chrome" href="http://www.google.com/chrome" title="Download Chrome"></a>
					<a class="firefox" href="http://www.mozilla.com" title="Download Firefox"></a>
					<a class="opera" href="http://www.opera.com" title="Download Opera"></a>
					<a class="safari" href="http://www.apple.com/safari" title="Download Safari"></a>
					<a class="ie" href="http://www.microsoft.com/downloads" title="Download Internet Explorer 9"></a>
							</span>
		</h1>
		<h2 class="title">Обновите браузер</h2>
		<p class="message">Просматриваемый вами сайт правильно работает только в современных браузерах. Обновите свой браузер для увелечения безопасности и комфортной работы. Вы можете выбрать один из представленных ниже браузеров. Если все же решите продолжить просмотр, <a href="https://site.ru/?forwardOutdatedBrowser=1">нажмите сюда</a></p>
)

pages timeout done
Error: connect ECONNREFUSED 207.241.237.3:443
    at TCPConnectWrap.afterConnect [as oncomplete] (node:net:1132:16) {
  errno: -61,
  code: 'ECONNREFUSED',
  syscall: 'connect',
  address: '207.241.237.3',
  port: 443,
  config: {
.........

MacBook-Pro:~ alex$ node -v
v16.4.0