CoderCastrov logo
CoderCastrov
Парсинг

Документация по ScrapingProject

Документация по ScrapingProject
просмотров
2 мин чтение
#Парсинг
Table Of Content

Руководство по использованию API ScrapingProject.

API ScrapingProject - это удобный для разработчиков API, который можно легко начать использовать.

Начните парсить любую веб-страницу с помощью двух обязательных параметров: ваш ключ API, который мы отправили вам по электронной почте при регистрации, и URL веб-страницы, которую вы хотите спарсить.

Затем вы можете начать использовать его следующим образом:

curl “https://api.scrapingproject.com/scraper?apitoken=<APIKEY>&urlvalue=<URL>”

И вы получите возвращенный RAW HTML переданного URL, который будет отображаться в вашем терминале следующим образом:

<html> <head> <title> Пример домена </title> </head> <body> <div> <h1>Пример домена </h1> </div> </body>``</html>

Включение выполнения JavaScript

Вы также можете использовать безголовый браузер для выполнения кода JavaScript на указанной странице URL с помощью API ScrapingProject, прежде чем вернуть HTML-код обратно вам.

Такое поведение будет использоваться по умолчанию в API ScrapingProject с использованием безголового браузера. loadjs=True

Это может быть очень полезно, если вы парсите одностраничное приложение, построенное на фреймворках JavaScript.

Чтобы получить URL напрямую с использованием loadjs=False в вашем запросе к API ScrapingProject.

Пример вызова API с параметром loadjs:

https://api.scrapingproject.com/scraper?apitoken=<APIKEY>&urlvalue=<URL>&loadjs=False

Вышеуказанный вызов будет использовать обычный GET-запрос для парсинга URL и вернет,

<html> <head> </head> <body> </body>``</html>

Здесь используется значение по умолчанию. Которое будет loadjs=True

https://api.scrapingproject.com/scraper?apitoken=<APIKEY>&urlvalue=<URL>

Вышеуказанный вызов будет использовать безголовый браузер для загрузки веб-страницы для выполнения JS перед возвратом HTML. Значение по умолчанию loadjs=True передается автоматически.

<html> <head> <title> Пример домена </title> </head> <body> <div> <h1>Пример домена </h1><p>Этот домен предназначен для использования в иллюстративных примерах в документах. </p>_ </div> </body>``</html>_

Подведем итоги

Доступный список параметров:

  1. apitoken (Обязательно) — отправлен на ваш адрес электронной почты, указанный при регистрации.

  2. loadjs (Необязательно, значение по умолчанию - True) — должен ли выполняться JavaScript или нет. [Если True, веб-страница urlvalue будет загружена с использованием безголового браузера.]

Шаги по использованию ScrapingProject API в Python3.
Результат работы ScrapingProject API

API ScrapingProject - это простой в использовании API для парсинга веб-страниц, который удобен для разработчиков. Парсите любую веб-страницу всего с помощью API, не беспокоясь о безголовом браузере, ротации прокси и обслуживании.

Скоро будет доступно