Парсинг Twitter с использованием Twitter API
Что такое макро-пользователь?
Макро-пользователь в данном проекте определяется как пользователь, у которого более 100 000 подписчиков, но менее 1 000 000 пользователей.
Начало работы
Эти инструкции помогут вам создать копию проекта и запустить его на вашем локальном компьютере для разработки и тестирования.
pip install -r requirements.txt
Это позволит собрать все твиты от макро-пользователей из США с 1 июля по 31 июля.
Изменяемые параметры
Вы можете изменить параметры парсинга в файле main.py, отредактировав следующую функцию:
setNear - Местоположение для парсинга
setSince - Дата, с которой производить парсинг
setUntil - Дата, до которой производить парсинг
setWithin - Установить диапазон вокруг местоположения в качестве буфера
bufferLength - Количество твитов, собираемых за один раз. Функция обратного вызова вызывается каждый раз после сбора 10 000 твитов.
Основная информация
Что такое API?
API означает интерфейс прикладного программирования. В простых терминах, API позволяет приложению взаимодействовать с другим приложением. API позволяет получать данные из внешних источников.
Как получить API для Twitter?
Шаг 1: Перейдите на сайт разработчиков Twitter, Twitter Developer siteШаг 2: Войдите в свою учетную запись и перейдите в меню приложений.Шаг 3: Выберите "Создать приложение" и выполните инструкции на экране.Шаг 4: После завершения процедуры перейдите к деталям приложения и просмотрите вкладку "Ключи и токены".Шаг 5: Скопируйте следующие данные в файл config.py: Ключ API потребителя ===> twitter_creds['Consumer_key'] Секретный ключ API потребителя ===> twitter_creds['Consumer_secret'] Токен доступа ===> twitter_creds['Access_token'] Секретный токен доступа ===> twitter_creds['Access_key']
_References: _https://towardsdatascience.com/how-to-scrape-tweets-from-twitter-59287e20f0f1
Опубликовано на https://github.com.