SelfParser - универсальный парсер контента 4.0

SelfParser v.4.0 - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.

ТРЕБОВАНИЯ:

Версия SelfParser 3.7
Версия PHP 7.2 - 7.4
Dle 14.X - 15 (за доплату можно настроить под любую)
IonCube Loader

ОСОБЕННОСТИ И РАБОТА ПАРСЕРА

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами и находится в альфа версии.

Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.

Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.

Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.

ВОЗМОЖНОСТИ

• Независимая админка.
• Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
• Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
• Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
• Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
• При создании шаблона, можно проверить его работу, как он получает контент.
• Парсить контент как с HTML тегами, так и без них.
• Включение / выключение шаблонов.
• Удобная группировка шаблонов.
• Ведение логов.
• Просмотр процессов.
• Статус активности.
• Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
• Возможность удалять скрипты или не удалять.
• Возможность удалять ненужные элементы из полученного контента.
• Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
• Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
• Работа по крону через простой HTTP запрос.
• Адаптивная панель управления.
• Для DLE:
  - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
  - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
  - добавлять новые посты сразу или ставить на модерацию.

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.

Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.

Парсер не работает с AJAX сайтами, которые не имеют пагинацию.