Создать акаунт
Всё для вебмастера » Магазин » Модули и плагины » SelfParser - универсальный парсер контента 4.0

SelfParser - универсальный парсер контента 4.0

05 фев 2022, 12:12
Модули и плагины
469
0

SelfParser v.4.0 - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.


ТРЕБОВАНИЯ:

Версия SelfParser 3.7
Версия PHP 7.2 - 7.4
Dle 14.X - 15 (за доплату можно настроить под любую)
IonCube Loader


ОСОБЕННОСТИ И РАБОТА ПАРСЕРА

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами и находится в альфа версии.


Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.


Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.

Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.


ВОЗМОЖНОСТИ

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.


Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.


Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.

Парсер не работает с AJAX сайтами, которые не имеют пагинацию.

Внимание! SelfParser - универсальный парсер контента 4.0 предоставлен пользователями сайта исключительно в ознакомительных целях. Администрация не несет ответственности за его содержимое.

Смотрите также:

Комментарии к SelfParser - универсальный парсер контента 4.0
Добавить Комментарий
В комментариях запрещаются спам, а также реклама любых товаров и услуг, иных ресурсов.
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.