最新のトレンドの解析やLLMを使ったAIの開発では膨大なデータが必要になりますよね。昨今では、最新のデータはSNSから取得することになります。そこで、今回はSNSから効率よく情報収集する為に、SNSから大量の投稿を取得できるAPIサービスをご紹介します。

RSS.app

https://rss.app/ja

Instagramの他にもTikTok、YouTube、X(Twitter)、Facebookなどにも対応しています。リアルタイム性には遅れますが、数時間以内に反映されます。

SNS投稿取得サービスでは一番安いので、個人で転載するために取得したいなど小規模用途でおすすめ。

InstagramのプロフィールのURLを入力するとRSSが発行されます。RSSはXML形式のデータフォーマットで発行されるので、pythonなどで使いやすい形式にデータを変換して活用できます。

Apify

https://apify.com

リアルタイム性が最も高く、細かい条件をデータを取得することができます。キーワード＋1時間以内+最新+10件以内というような条件で最新投稿を取得できます。また、チュートリアルやSDKが豊富でカスタム性の高いサーバーサイドプログラムが作れます。

デメリットとしては、Actorと呼ばれるスクレイピング機能はコミュニティが主導となっています。SNSサイトの仕様変更への対応が遅れ、投稿の取得ができないことがあります。そんなときは、そのActorの作成者に要望を伝え、ただ待つことになります。Apifyの会社とコミュニティは英語で行われていますので、問い合わせるときはchatgptで英語文章作って行うことになりますね。

デメリットはありますが、取得スピードの速さとコミュニティと運営の開発体制を踏まえるとApifyは、小規模開発や個人開発エンジニアにとって最適なように思えます。

Bright Data

https://brightdata.jp

引用:https://brightdata.jp/products/web-scraper#anc_price

サポートも機能も充実でデータの質も高い、企業向けには最適なデータ提供サービスです。値段が高いのはネックですが、公式が主導して機能を機能実装しているので、Apifyと比べると高機能です。価格は相対的に高いですが、信頼性と可用性で選ぶならこのサービスです。

ビデオやドキュメントによるチュートリアルも豊富なので、日本語による通話でのサポートも受けられるので、大規模なAI開発をやるならBright Dataが良い選択肢です。