Давайте пофильтруем данные с помощью микросервиса

Драма по поводу хорош или плох mSearch2 не утихает. Многие пользователи системы видят ее исключительно в монолитом виде что очень сильно ограничивает кейс системы. Причем любой.

Давайте представим что у вас есть интернет-магазин на MODX + miniShop2 с очень большим кол-вом товаров и каким-никаким хайлоадом :)

Использование встроенных фильтров в mSearch вас немного ограничивает. Как минимум тем, что не кеширует результат.

Предлагаю припилить к нашему любимому MODX небольшой микросервис на Laravel который будет фильтровать данные по входному запросу, а также отдавать нам список айдишников которые подходят под выборку.

Создадим новый Laravel проект

Предполагается что вы знаете что такое composer, как его установить и в целом умеете пользоваться базовым PHP

composer create-project laravel/laravel laravel_filters

Данная команда создаст вам новый Laravel проект в папке laravel_filters.

В Laravel есть единый файл конфигурации в котором можно указать подключения к различным сервисам.
Чисто для примера мы будем использовать ту же самую базу что использует MODX. Однако, на практике я бы предпочитал чтобы эта была slave база относительно master базы MODX.

По опыту разработки очень и ОЧЕНЬ больших систем в которых данных было по 10 млн строк, могу сказать что первый perfomance issue который вы можете увидеть это сборка какой-либо отчетности с мастер базы. Это супер плохая практика. Такие манипуляции лучше всегда производить на уровне slave базы. А еще лучше — использовать специализированные сервисы для сбора репортов.

Еще одно PS: Для master/slave синхронизации лучше использовать бинарно совместимую MariaDB/Persona Server вместо MySQL. А еще лучше начинать все новые проекты сразу на Postgres. Ваши проекты скажут мне спасибо за совет :)

Итак, отвлеклись и ладно

Откроем файл

.env

в корне нашего Laravel проекта и поменяем данные подключения на те же самые что мы использовали при установке MODX



Укажите DB_HOST, DB_DATABASE, DB_USERNAME, DB_PASSWORD подключения к серверу MySQL.

Например, получится вот так


Далее нам необходимо сгенерировать модели для работы с MODX сущностями внутри Laravel. Можно использовать конечно же просто фасад DB и писать сырые запросы. Однако, мне бы хотелось использовать scopes и прочие радости жизни, поэтому настаиваю именно на моделях :)

Откроем консоль и установим пакетик который позволяем нам это сделать с помощью одной кнопки.

composer require reliese/laravel --dev

А после этого выполним artisan команду которая сгенерируют нам все модели доступные в MODX базе.

php artisan code:models

Результатом выполнения будет наличие в папке Models целого полотна моделей



Генерировать все модели, наверное, избыточно. Однако, вдруг они нам зачем-то понадобятся.
Прелесть этого пакета для синхронизации в том, что он генерирует модели согласно всем Laravel правилам и fillable и даже кастами.

Давайте глянем на модель продуктовых опций которая у нас получилась



Красота!
Давайте че-нить пофильтурем.

php artisan make:controller "API\v1\ProductOptonsControler" --invokable

Invokable контроллер мы создаем так как планируем использовать только один тип запроса — GET. Нет смысла генерировать полноценный контроллер с другими методами.



Так же откроем файлик api.php и расскажем нашему Laravel приложению чтобы он следил за нашим контроллером.


Мы готовы для того чтобы писать код!



Давайте представим тот факт, что вы и без меня знаете как создать валидаторы и прочее. Я не буду останавливаться на этой теме.

Базовый класс фильтра

Давайте создадим абстрактный класс нашего фильтра. В нем реализуем запрос, перебор всех их значений. Если у фильтра есть метод с параметром запроса, то мы вызовем метод и передадим ему значение.

<?php

namespace App\Filters;

use Illuminate\Database\Eloquent\Builder;
use Illuminate\Http\Request;

abstract class Filter
{
    protected Request $request;
    protected Builder $builder;

    public function __construct(Request $request)
    {
        $this->request = $request;
    }

    public function apply(Builder $builder) : Builder
    {
        $this->builder = $builder;

        foreach ($this->request->all() as $name => $value)
        {
            if (method_exists($this, $name))
            {
                call_user_func_array([$this, $name], array_filter([$value]));
            }
        }
        return $this->builder;
    }
}

Класс фильтрации

Далее нам потребуется фактическая реализация этого фильтра, которая будет имплементировать этот фильтр. Для этого создадим класс ProductOptionFilter

<?php

namespace App\Filters;

use Illuminate\Database\Eloquent\Builder;
use Illuminate\Support\Facades\Schema;

class ProductOptionFilter extends Filter
{
    /**
     * Filter the products by the given string.
     *
     * @param  string|null  $value
     * @return \Illuminate\Database\Eloquent\Builder
     */
    public function key(array $params): Builder
    {
        foreach ($params as $key => $value)
        {
            $this->builder->where('key',$key)
                ->where('value', $value);
        }

        return $this->builder;
    }
}

Если вы хотите добавить новую логику фильтрации, все, что вам нужно сделать, это создать новый метод и реализовать внутри него логику построения запросов. С этого момента наш класс filter готов принять новый параметр и его значение.

Поможем нашей модели стать фильтруемой :)

Я не зря сказал что хочу использовать именно модели, а не фасад DB. Лучший способ фильтрации — указать его в скоупе. Давайте создадим трейд, который мы будем использовать в наших моделях.

<?php

namespace App\Traits;

use App\Filters\Filter;
use Illuminate\Database\Eloquent\Builder;

trait Filterable
{
    /**
     * Apply all relevant filters.
     *
     * @param  \Illuminate\Database\Eloquent\Builder  $query
     * @param  \App\Filters\Filter $filter
     * @return \Illuminate\Database\Eloquent\Builder
     */
    public function scopeFilter(Builder $query, Filter $filter): Builder
    {
        return $filter->apply($query);
    }
}

А так же обновим нашу модель ModxMs2ProductOption чтобы она могла получить нужный скоуп.



Вернемся в контроллер!
Для того чтобы вызвать фильтр, нам достаточно вернуть что-то вроде вот такого:

<?php

namespace App\Http\Controllers\API\v1;

use App\Filters\ProductOptionFilter;
use App\Http\Controllers\Controller;
use App\Models\ModxMs2ProductOption;
use Illuminate\Http\Request;

class ProductOptonsControler extends Controller
{
    /**
     * Handle the incoming request.
     *
     * @param  \Illuminate\Http\Request  $request
     * @return \Illuminate\Http\Response
     */
    public function __invoke(ProductOptionFilter $filter)
    {
        return ModxMs2ProductOption::filter($filter)->paginate(10);
    }
}

Поднять ваше приложение вы сможете с помощью команды

php artisan serve

Пример ответа будет следующий:

Итак, шо мы наделали вообще?

У нас теперь появился сервис, который может фильтровать (и эти фильтры вы можете писать сами).
Для того чтобы использовать его в MODX достаточно вызывать этот фильтр из под JS и в ответе от сервера получить айтишники товаров, которые вы можете подсунуть сниппету msProduct

Pro tips

1. Ответы от сервера можно кешировать и разгрузить базу в принципе.
   Однако не забудьте тот факт, что кеш нужно когда-то очищать!

В качестве ключа можем использовать наш запрос и по умолчанию кешировать на день.

<?php

namespace App\Http\Controllers\API\v1;

use App\Filters\ProductOptionFilter;
use App\Http\Controllers\Controller;
use App\Models\ModxMs2ProductOption;
use Carbon\Carbon;
use Illuminate\Http\Request;
use Illuminate\Support\Facades\Cache;

class ProductOptonsControler extends Controller
{
    /**
     * Handle the incoming request.
     *
     * @param  \Illuminate\Http\Request  $request
     * @return \Illuminate\Http\Response
     */
    public function __invoke(ProductOptionFilter $filter)
    {
        $cacheKey = http_build_query(request()->key);
        $expire = Carbon::now()->addHours(24);
        return Cache::remember($cacheKey, $expire, function () use ($filter) {
            return ModxMs2ProductOption::filter($filter)->paginate(10);
        });
    }
}

1. Возвращать только те товары которые есть в наличии.
   Для этого вам нужно заджойнить табличку с продуктами и сделать необходимые выборки.
   Т.к наличие товара в каждом интернет-магазине сделано по разному, то пример приводить не буду.
   Надеюсь поле «В наличии» в minishop припилят :)
   
2. Использовать совершенно разные БД.
   Вам никто не мешает создать свою структуру в вашем Laravel приложении и сделать общение между вашим сайтом и приложением с помощь DbSync.
   В целом — тоже решение.
   

Вот такие прикольчики я вам придумал.
Возможно когда-нибудь я сделаю полноценный микросервис с поддержкой слайдеров (значений от и до) и прочего.
Но пока как-то лень.
Всем спасибо!