Как собрать данные с Twitter без использования API
Table Of Content
API Twitter позволяет пользователям читать и записывать данные Twitter. Использование API Twitter вместо парсинга данных обеспечивает соответствие условиям использования Twitter, но парсинг не так эффективен и быстр, как с использованием API. Он также ограничивает количество твитов, которые вы можете собрать.
Это отличный способ узнать мнение ваших клиентов о вашем интернет-магазине или создать портфолио, собрав данные с Twitter и проведя анализ настроений по конкретной проблеме или интересующей вас области.
Snscrape
Snscrape позволяет собирать твиты, даты, источники и т. д. Вы можете собирать данные по хэштегам, тредам или на основе ключевого слова, и вы не ограничены только Twitter, вы можете собирать данные с других социальных медиа-сайтов, таких как Facebook, Instagram, Reddit, Telegram и т. д.
Я знаю, что вам не интересна информация, которую я только что дал, поэтому продолжим с кодированием.
Прежде всего, вам нужно установить snscrape в терминале
pip install snscrape
Я предполагаю, что вы уже установили Pandas в своей системе, поэтому я продолжу...
Давайте проведем быстрое исследование о самом контроверсиальном человеке на планете Земля в настоящее время - печально известном Илоне Маске.
import snscrape.modules.twitter as twitter
import pandas as pd
tweets = []
for i,tweet in enumerate(twitter.TwitterSearchScraper('Илон Маск').get_items()):
if i >100:
break
else:
tweets.append([tweet.date,tweet.user.username,tweet.content)
data = pd.DataFrame(tweets, columns=['Дата','Имя пользователя','Твит'])
data.to_csv('Илон_Маск')
По мере изучения я буду продолжать обновлять эту тему.