Компонент modImporter. Настройка импорта на сайт.

Месяц назад мы обсуждали какие компоненты кому нужны. Тогда самым популярным запросом оказался импорт/экспорт минишоп-эксель. Задача эта конечно же не простая, тем не менее я готов сегодня представить первую версию компонента modImporter.

Компонент еще очень далек от конечной версии (хочется добавить в процессе гораздо больше ридеров (CSX, XLS (XLSX уже есть), просто файлы (для импорта статических сайтов) и прочее)). Но сам по себе общий механизм все-таки уже готов и пара кейсов у меня уже имеется. А всем прикупившим пакет я гарантирую свою личную помощь в первичной настройке.

Итак, что же на сегодня имеется? Изначально я ставил перед собой несколько задач, которые обязательно должны были быть выполнены:
1. Пошаговость. Чтобы не было ограничения по таймлимиту 30 секунд, а можно было импортировать этапами.
2. Экономность в потреблении оперативки. Здесь от части зависело от решения первой задачи, но и правильная подборка ридеров тоже имеет значение (к примеру, поточный XMLReader вместо обычного SimpleXML).
3. Расширяемость. Абсолютно универсальными такие вещи маловероятно сделать, потому важно было предусмотреть такой вариант расширяемости, чтобы и базовый функционал не приходилось трогать (чтобы можно было обновления пакета накатывать), и при этом индивидуальный функционал без особых сложностей допиливать.

В целом, как мне кажется, все эти задачи у меня получилось решить.
Для решения первой задачи я взял и допилил Ajax-импортер, о котором рассказывал уже давно. Во многом интерфейс modImporter остался таким же. Но JS я чуть-чуть допилил и полностью переписал основной процессор, который и обеспечивает пошаговость и базовый функционал.

Ну а теперь лучше сразу рассмотреть готовые кейсы с примерами кода, чтобы примерно оценить что это такое и для чего он годится.

Кейс 1. Выгрузка из YML.
Вот здесь обсуждение, картинки, пример полученного кода.
Там просто была базовая обкатка, потому я не писал само создание и обновление товаров в магазине, но как я и писал, это уже меньшая задача, так как когда данные получены, нет проблем проверить наличие товаров в базе и выполнить процессоры resource/create || resource/update.

Кейс 2. Выгрузка из Excel/XLSX.
А вот это уже более полный вариант, созданием/обновлением категорий, товаров, остатков и цен (да-да, здесь не только товары-цены один-к-одному, но и остатки-цены (по несколько на товар)).



На выходе получился вот такой код: gist.github.com/Fi1osof/3ded17bd770303500f3a
Читайте сами код и решайте на сколько там все сложно или не сложно.
В итоге у клиента результат импорта выглядит вот так:





С компонентом импорт ему был записан за 1 день, вот только вот этот файл. Все остальное необходимое идет с самим modImporter.

Плюшки.

А теперь о том, какие, на мой взгляд, интересные плюшки имеются в компоненте.

1. Удаление/создание таблиц для временных данных в момент инициализации импорта.
На мой взгляд нет смысла пытаться продумать универсальную и конечную структуру таблицы под временные данные. Гораздо логичней на лету создавать таблицу с такой структурой, которая максимально вам подойдет (это особенно актуально при импорте десятков тысяч товаров и более). От того, на сколько правильно выбраны типы данных в колонках таблиц, будет зависеть существенно скорость выполнения импорта. А кому-то может и несколько таблиц понадобится. Это все можно. А еще можно легко изменить структуру базовой таблицы способом, предложенным Василием, так что можно добавить в таблицу свои поля (или изменить имеющиеся), не залезая в код компонента.

2. Изменение типов данных некоторых колонок через системные настройки.
Да, я ведь тоже всяко экспериментирую с xPDO, и вот тут сидел такой и думал, а какую же длину задать ключевым колонкам в таблице и какую длину? Ну как тут угадать? У кого-то ключ будет 32 символа MD5-строка, у кого-то 64, у кого-то 255, а у кого-то вообще int(10). И вот тут я подумал, а почему не вынести это в настройки? Вынес. А в map-файл прописал их. Вот что получилось:

<?php

$externalKeyLength = $this->getOption("modimporter.external_key_length", null, 32);
$externalKeyType = $this->getOption("modimporter.external_key_type", null, 'varchar');
$externalKeyPhpType = $externalKeyType == "int" ? "integer" : "string";

$xpdo_meta_map['modImporterObject']= array (
  'package' => 'modImporter',
  'version' => '1.1',
  'table' => 'modimporter_objects',
  'extends' => 'xPDOSimpleObject',
  'fields' => 
  array (
    'tmp_object_type' => NULL,
    'tmp_external_key' => '',
    'tmp_resource_id' => NULL,
    'tmp_parent' => NULL,
	............
  ),
  'fieldMeta' => 
  array (
    'tmp_object_type' => 
    array (
      'dbtype' => 'varchar',
      'precision' => '50',
      'phptype' => 'string',
      'null' => false,
    ),
    'tmp_external_key' => 
    array (
      'dbtype' => $externalKeyType,
      'precision' => $externalKeyLength,
      'phptype' => $externalKeyPhpType,
      'null' => true,
      'index' => 'index',
    ),
    'tmp_resource_id' => 
    array (
      'dbtype' => 'int',
      'attributes' => 'unsigned',
      'phptype' => 'integer',
      'null' => true,
      'default' => null,
      'index' => 'index',
    ),
    'tmp_parent' => 
    array (
      'dbtype' => $externalKeyType,
      'precision' => $externalKeyLength,
      'phptype' => $externalKeyPhpType,
      'null' => false,
      'index' => 'index',
    ),...........
  ),
);

И работает :) То есть изменил системные настройки, запустил импортер, таблицы дропнулась и создалась новая с нужным типом и длиной полей. Основные варианты: varchar|int.

3. Дополнительное поле modResource::externalKey.
Так как курс на универсальность (нет четкой направленности на минишоп, шопмодикс или что-то другое), решил сразу застолбить колонку под артикул в самом документе. На это есть ряд причин против идеи создавать дополнительную таблицу для артикулов или ТВ-поля использовать. Но без проблем под эти цели использовать родные актикул-поля выбранных eCommerce-модулей.

По цене: сейчас выставил за 1490 рублей, но скорее всего цена будет поднята уже через недельку, при чем значительно, так что закупайтесь сразу, если есть хоть какой-то интерес. Всем прикупившим гарантируется информационная поддержка и помощь в первичной настройке, особенно на новых типах источников (включая МойСклад и т.п.).

UPD: Есть еще серьезный момент в данном компоненте: большое внимание было уделено средствам отладки. Компонент пошаговый, но каждый шаг можно вызвать в консоли и видеть результат.













Есть еще режим debug с записью обращений в MODX-логи (это чтобы дебажить запросы со сторонних сервисов).

Купить в modstore.pro