Перейти к содержимому


Настройки лент для wpgrabber

wpgrabber wordpress

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 17

#1 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 03.02.2018 - 22:08

Настрою парсинг с любых сайтов, при желании возможен перевод, поиск и замена любых частей теста.
Использую в ленте "дополнительный шаблон обработки"
Доноров предоставляете вы - я настраиваю. @servakov (https://t.me/servakov)

https://www.youtube....h?v=03pA4fAcz7U

Стоимость настройки импорта с одного сайта в плагине WPGrabber - 140 руб.
Стоимость одной ленты при настройке wpgrabber от 3-х лент - 120 руб.
Цена настройки импорта одной ленты при заказе от 10-и - 99 руб.

Сообщение отредактировал BlackRouZ: 05.02.2018 - 10:19


#2 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 13.02.2018 - 16:12

Парсинг в WPGrabber с авторизацией

Встречаются сайты, ограничивающие просмотр
для не зарегистрированых посетителей.

Типа такого: You have viewed your 1 free article

Изображение


В WPGrabber для WordPress это выглядить как [font=, "blinkmacsystemfont"span style="background-color: #e5e5e5"текст не найден!/span/span/pp style="text-align: center"a class="bbc_url]

[background=#e5e5e5"текст не найден!/span/span/pp style="text-align: center"a class="bbc_url][background=#f1f1f1]временных файлов [/background][/background]

[/font]</span>


Обычно это "/wp-content/wpgrabber_tmp/"

Изображение


Файл cookies.txt выглядить примерно так:


Изображение

Проверяем:




Изображение






Изображение

Страница с контентом:

Изображение


Естественно, что периодически сессию придётся обновлять.

Кроме этого надо добавить в файле TGrabberCore.php

в  функцию getContent

Изображение

   curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookieFile);
curl_setopt($ch, CURLOPT_COOKIEJAR, $this->cookieFile);


а в function __construct()

Изображение

добавить

$this->tmpDir = $this->rootPath . $this->config->get('testPath');
$this->cookieFile = $this->tmpDir . 'cookies.txt';




А можите обратиться ко мне:

@servakov (https://t.me/servakov)или на kwork,
и я вам всё настрою.


Сообщение отредактировал BlackRouZ: 13.02.2018 - 17:45


#3 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 08.03.2018 - 02:43

Импорт контента в блог со стен групп и сообществ соц. сети Вконтакте.ру
Добавлено:
Фотки с page_album_photos, background-image c видео
Изображение
https://www.youtube....h?v=8sA9us0g84Y

#4 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 08.11.2018 - 21:12

wpGrabber для парсинга с Яндекс.Дзен

Изображение
@itserviceink

На примере канала "Философский подход к созданию каналов Яндекс.Дзен"

#5 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 29.11.2018 - 02:19

Обновление плагина WPGrabber 2.1.319
Удалить первое изображение из статьи — Для тем в которых отображаются миниатюры и дублируются в статье
Изображение
Задержка импорта — Используйте если у вас не успевают загружаться картинки на сервер или донор блокирует слишком частые соединения, возможно пригодится и при парсинге через бесплатные прокси (Обычно 2-10 сек. вполне достаточно)

#6 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 16.12.2018 - 16:01

Обновление плагина WPGrabber 2.1.320
https://wpgrabber-tu...bber-21320.html
- Задать имена файлов картинок из заголовка поста
- Задать своё названия атрибута class для картинки
- Сгенерировать alt: из атрибута title картинки или заголовка поста
- Удалять атрибуты лишние атрибуты: itemprop,srcset,data-original,data-src,data-srcset, ит.д.

Изображение


#7 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 06.03.2019 - 11:38

Если статьи начали парситься или отображаться миниатюр на главной
странице wordpress при переезде на https, то проблему можно решить с помощью следующего фильтра
http://wpgrabber-tun...-wpgrabber.html

Изображение

#8 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 28.05.2019 - 09:57

WPGrabber 2.1.4: спарсить теги - это реально.

Изображение



Настрою парсингс любых сайтов, поиск и замена любых частей теста.
Доноров предоставляете вы - я настраиваю.

Сообщение отредактировал itservice: 28.05.2019 - 09:57


#9 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 19.06.2019 - 14:34

Изображение

WPGrabber 2.1.5
- добавил возможность создавать записи со временем статьи источника

#10 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 06.10.2019 - 12:50

WPGrabber 2.1.62 - Исправление для Вконтакте если не парсит картинки из групп VK
Изображение

#11 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 01.02.2020 - 17:34

WPGrabber 2.1.68 - работа с WebP, Cмена регистра заголовка
Добавлено конвертирование WebP-изображения к jpeg-изображению;
В шаблон добавлен %TAGS_SCRAPE%;
Cмена регистра символов в заголовке MB_CASE_TITLE - Преобразует в верхний регистр первый символ каждого слова в строке,
MB_CASE_UPPER - Приведение строки к верхнему регистру
https://www.youtube....h?v=iFKvUlt3Kcs

#12 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 05.06.2020 - 21:04

Добавил опцию - ограничить захват картинок   ( будет сохранять только первую картинку )

Изображение

#13 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 21.07.2020 - 17:45

Всё к этому и шло...

Цитата

Спасибо, что пользуетесь API Яндекс.Переводчика.
с 15 августа 2020 года мы закрываем доступ к бесплатному API Яндекс.Переводчика. Если вы хотите и дальше использовать технологии Яндекса для перевода, регистрируйтесь на сервисе Yandex Translate на платформе Яндекс.Облако.
Изображение

Но, есть решение :)
WPGrabber v.2.1.70 - Перевод с помощью Translate Яндекс.Облако

WPGrabber v.2.1.711 - Перевод с помощью Google Translate API v2

#14 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 02.08.2020 - 15:59

WPGrabber 2.1.715 -  после каждой X картинки добавляем <!--nextpage-->
Изображение

#15 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 11.11.2020 - 23:46

WPGrabber v.2.1.73
Добавил ещё одну систему перевода - Бесплатный Google Translate. Не требует получения ключа API.
Изображение

#16 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 05.02.2021 - 16:05

WPGrabber v.2.1.74
Добавлена ещё одна систему перевода - Бесплатный Яндекс.Переводчик. Не требует получения ключа API.
Изображение

#17 HappyBrain

HappyBrain
  • Уровень скромности

  • Администратор
  • 21 415 сообщений
  • Пол:Мужчина
  • Город:Москва

Отправлено 06.02.2021 - 10:52

Цитата

как интересно


#18 itservice

itservice
  • Новичок

  • Пользователь
  • 13 сообщений
  • Пол:Мужчина

Отправлено 02.03.2021 - 16:52

WPGrabber v.2.1.770 - Добавил переводчик DeepL Translate API v2. Переводчик может выполнять переводы, отражающие особенности американского и британского вариантов английского языка.
Изображение





Темы с аналогичным тегами wpgrabber, wordpress

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 скрытых пользователей