#twitter4j

As well as getting the data of the Tweets and the date of the Tweets, I am also now creating and storing the sentiment words that are matched in a Tweet. 

An example of this can be seen below:

Due to the fact that I am inserting new tweets then at the end analysing the entire collect it is a very slow process as the collection grows.

This issue needs to be fixed, not only for speed and efficiency but also for live feeds of Twitter data that is analysed. In doing this graphs can be plotted and figures extracted as Tweets are posted, therefore this program could be run on a cloud instance, for example, and run for days with steady information being produced without having to wait.

In the case of both the search and stream classes mentioned in previous posts, not all the information is retrieved. Two main pieces of data are being retrieved, data of posting and the text of the Tweet, which would fulfil the base functionality of some basic analytics.

Below is some example text of the results:

Tue Feb 21 13:03:42 GMT 2017,RT @sansmobileapp: Are we surprised? I think not. It goes from bad to worse. https://t.co/e26EMRtnnL

In addition to the search class I have also created a streaming class which will take a live feed of Twitter with the specified phrases, again in this case #trump.

This class is also being filtered to only return the Tweets that are in english. The results of this class is written to a different .txt file (see next post for an example .txt file).

The code for this functionality can be seen below:

Twitter4J

Twitter4J is a Java based API program. It will be used, developed and written to meet the needs of this project and to carry out the main task of retrieving the data needed. The API results will be processed, formatted, split and copied to a table in a database which will be explained in more detail in part 2.

There will be two classes created using Twitter4j:

The Twitter search where past tweets containing the specified word/ phrase will be retrieved.

The Twitter stream where a live feed of Twitter tweets will be retrieved 

It will be made so the results being returned from Twitter are the date of the tweet being posted and the content of the tweet i.e. the text. This is all that is required for an initial analysis and as a result the volume of data will be reduced aiding in storage and time taken to analysis. If found that it can be handled easily with the initial pass through more data may be retrieved and further analysis carried out.

Streaming APIs are becoming more popular among application developers because of their low latency. One such emerging API is the Twitter API (version 1.1), which is highly popular among developers due to its low latency access to global stream of Tweet data. Streaming APIs are famous for their real-time streaming nature, which makes it possible for developers to access Tweets and related information as they are created by their respective users.(real-time web) In earlier days, Twitter API was renowned for their Search API, which provides Tweet data dating back 7 days or so from the time a user makes the API call. This method is called back-filling. With the introduction of the Streaming API, developers have the capability to capture real-time Tweets and this acts as a complementary service for Twitter's Search API.(having access to past as well as current Tweets by calling Search and Streaming APIs together). In this article. we'll only be focusing on the Streaming API and a comparison of Search and Streaming APIs can be found here. Before we can get things going, we need to

Create a Twitter app to access Twitter Streaming API (https://apps.twitter.com/)  

Download Twitter4j 

Creating a Twitter app In order to create a twitter app, go to above mentioned link and press ''Create New App"

Then you can fill in the information required in the form (you can leave the callback URL empty).

Once you complete filling the required application details, you can create the app and it would direct you to the Application Dashboard, where you can find your application details and settings, including OAuth information.

In this dashboard, you can view your OAuth access details in 'Keys and Access Tokens' tab.

You can generate/re-generate both Consumer key/secret and Access Token/Token secret as you wish. This completes App creation and these Access information will be required later when writing the java application. Setting up and using Twitter4j Once Twitter4j is downloaded, create a Java project using your preferred IDE and import the .jar files in /lib folder of Twitter4j downloaded package. Now you can easily access the Twitter API using the different methods and classes implemented in Twitter4j. The following code sample will depict how to stream live Tweets with and without a filter (to filter tweets based on a specific keyword). import twitter4j.FilterQuery; import twitter4j.StallWarning; import twitter4j.Status; import twitter4j.StatusDeletionNotice; import twitter4j.StatusListener; import twitter4j.TwitterStream; import twitter4j.TwitterStreamFactory; import twitter4j.conf.ConfigurationBuilder; public class TwitterStreamingAPI {         public static void main(String[] args){                 StatusListener listener = new StatusListener(){             public void onStatus(Status status) {                 System.out.println(status.getUser().getName() + " : " + status.getText()+ "  Tweeted AT: " + status.getCreatedAt());             }             public void onDeletionNotice(StatusDeletionNotice statusDeletionNotice) {}             public void onTrackLimitationNotice(int numberOfLimitedStatuses) {}             public void onException(Exception ex) {                 ex.printStackTrace();             }             @Override             public void onScrubGeo(long arg0, long arg1) {                 // TODO Auto-generated method stub                             }             @Override             public void onStallWarning(StallWarning arg0) {                 // TODO Auto-generated method stub                             }                    };                 ConfigurationBuilder cb = new ConfigurationBuilder();         cb.setDebugEnabled(true)           .setOAuthConsumerKey("*****************************")           .setOAuthConsumerSecret("*****************************")           .setOAuthAccessToken("*****************************")           .setOAuthAccessTokenSecret("*****************************");                 TwitterStreamFactory tf = new TwitterStreamFactory(cb.build());         TwitterStream twitterStream = tf.getInstance();         twitterStream.addListener(listener);                 FilterQuery filtre = new FilterQuery();         String[] keywordsArray = { "cricket", "footbal" }; //filter based on your choice of keywords         filtre.track(keywordsArray);         twitterStream.filter(filtre);            }       } It is important to configure Twitter4j within your application and it provides several ways to do that. These different methods can be found here. I am using the 'ConfigurationBuilder' class to configure my access/consumer tokens and secrets. Without this configuration, you will not be able to access twitter feeds and you will be prompted with 'Authentication credentials are missing' error.         FilterQuery filtre = new FilterQuery();         String[] keywordsArray = { "cricket", "footbal" }; //filter based on your choice of keywords         filtre.track(keywordsArray);         twitterStream.filter(filtre); Above mentioned code fragment takes care of filtering tweets based on the keywords that are been used (in this case 'cricket' and football). You can use this to filter @mentions, hashtags, URLs etc. All these are made possible through track() method, which is one of the parameters of in the Streaming API. status.getUser().getName(); status.getText(); status.getCreatedAt(); .... .... These will extract the required information from the Tweet's text content, including the time of creation. Once you run this programme, you will get an expanding set of tweets, as it retrieves (based on the filter) tweets real-time.

前書き

AndroidでTwitter4Jを使ってOauth認証を行う方法は以前[Android][Twitter4J]AndroidでTwitter4Jを使うときのノウハウまとめ（前半）と言う記事で紹介したんですが、何と言うか、単刀直入に言うとバグっています。

具体的にどのような事象が発生するかと言うと、色々あるんですが、一番困ったのはstartActivityForResultを使ってOauth認証後のアクセストークンを手に入れることが出来ないと言うところです。そんなわけで今回は「Oauth認証後にちゃんとActivityにコールバックが送られる処理」を作ることを目標にします。

そもそもの話

そもそも、以下の理由から考えてもOauth認証のために1つActivityを作ること自体が間違っている気がします。

アプリ内の画面を遷移させる必要が全くない

HTTP通信が発生するので絶対に非同期処理にする必要がある

こう言ったものを処理するにはService、しかも確実に非同期で処理する必要があるならば、IntentServiceで実装するのが筋ってもんじゃないでしょうか。

ServiceからActivityへコールバックを送るための仕組み

これまた以前に[Android]Serviceとのプロセス間通信でデータを送受信すると言う記事でちょっとだけ書きました。

左記の記事ではContext#bindServiceを使う方式をメインに紹介しましたが、今回は別にバインドしなくていいのでContext#startServiceを使います。そしてServiceから1回だけコールバックしてもらいたい場合はBroadcastReceiverを使うのが普通です。

方式としてはこんなイメージです。

Activityを起動 ↓ ActivityのどこかでActivityとBroadcastReceiverを紐付ける ↓ ActivityのどこかでServiceを起動する ↓ Service内でOauth認証を行う ↓ Oauth認証後、ServiceからBroadcastReceiverを起動する ↓ Activityに紐付いたBroadcastReceiverが起動する ↓ 成し遂げたぜ。

BroadcastReceiverの継承と登録

先にBroadcastReceiverを作ってしまいましょう。基本的にはonReceiveだけ実装すればOKです。

public abstract class CallbackBroadcastReceiver extends BroadcastReceiver { public static final String ACTION_CALLBACK = "twitter4j.auth.action.callback"; public static final String KEY_DATA = "data"; static class Data implements Serializable { AccessToken token; Exception exception; boolean isSuccess; static Data create(AccessToken token) { Data data = new Data(); data.token = token; data.isSuccess = true; return data; } static Data create(Exception exception) { Data data = new Data(); data.exception = exception; data.isSuccess = false; return data; } } public static Intent createIntent(Data data) { Intent i = new Intent(); i.setAction(ACTION_CALLBACK); i.putExtra(KEY_DATA, data); return i; } public static IntentFilter createIntentFilter() { IntentFilter filter = new IntentFilter(); filter.addAction(ACTION_CALLBACK); return filter; } @Override public void onReceive(Context context, Intent intent) { Data data = (Data) intent.getSerializableExtra(KEY_DATA); try { if(data.isSuccess) { onSuccess(data.token); } else { onError(data.exception); } } finally { getApplicationContext().unregisterReceiver(this); } } public abstract void onSuccess(AccessToken token); public abstract void onError(Exception exception); }

ServiceからはCallbackBroadcastReceiver#DataをIntent経由で送ってもらうことを想定しています。Oauth認証に成功していたらonSuccessへ、失敗していたらonErrorへ委譲します。

Activityとの紐付けはContext#registerReceiverを使います。

// 適当なところからのonClick想定 public void test(View v) { registerReceiver(new CallbackBroadcastReceiver() { @Override public void onSuccess(AccessToken token) { // TODO:成功時処理 } @Override public void onError(Exception exception) { // TODO:失敗時処理 } }, CallbackBroadcastReceiver.createIntentFilter()); // TODO: startService }

このように、BroadcastReceiverはAndroidManifestに記述しなくても使用することが出来ます。ただしその場合は必ずIntentFilterを作成する必要があるので、適当に独自のActionを定義しておきましょう。

Activity側とService側でActionが一致していないと当然コールバックとして機能しないので、BroadcastReceiver内に適当なstaticメソッドを作っておくと捗ります。

// Serviceでつかう public static Intent createIntent(Data data) { Intent i = new Intent(); i.setAction(ACTION_CALLBACK); i.putExtra(KEY_DATA, data); return i; } // Activityでつかう public static IntentFilter createIntentFilter() { IntentFilter filter = new IntentFilter(); filter.addAction(ACTION_CALLBACK); return filter; }

IntentServiceの継承

IntentServiceの実装にあたって、とりあえず必要なものは以下の通りです。

引数無しのコンストラクタ

onHandleIntent

後者はabstractメソッドなので当然必須なんですが、前者はなんで必要かと言うと、ないと起動しないからです。と言うのも、Serviceのコンストラクタは引数なしのものしかないのに対し、IntentServiceはStringを一つ受け取るコンストラクタしかないからです。

当然Serviceを立ち上げる側はそのServiceを引数なしのコンストラクタで作ろうとするんですが、IntentServiceとしては引数なしのコンストラクタが定義されてないので作れないってわけですね。設計的にどうなのって気持ちはありますが我慢しましょう。

public class OauthService extends IntentService { public OauthService() { super("OauthService"); } public OauthService(String name) { super(name); } @Override protected void onHandleIntent(Intent intent) { // FIXME: implement } }

Oauth処理を組み込む

それじゃあonHandleIntent内にOauth認証に関する処理を記述していきましょう。consumer_keyとconsumer_secretはIntentで渡すようにします。

public class OauthService extends IntentService { public static final String KEY_CONSUMER_KEY = "consumerKey"; public static final String KEY_CONSUMER_SECRET = "consumerSecret"; public OauthService() { super("OauthService"); } public OauthService(String name) { super(name); } public static Intent createIntent(String consumerKey, String consumerSecret, Context context) { Intent intent = new Intent(context, OauthService.class); intent.putExtra(KEY_CONSUMER_KEY, consumerKey); intent.putExtra(KEY_CONSUMER_SECRET, consumerSecret); return intent; } @Override protected void onHandleIntent(Intent intent) { if(intent.hasExtra(KEY_CONSUMER_KEY)){ startOauth(intent); } else { if(intent.getData == null) { throw new IllegalStateException(); } getAccessToken(intent); } } /** * Oauth認証開始 * @param intent */ private void startOauth(Intent intent) { String consumerKey = intent.getStringExtra(KEY_CONSUMER_KEY); String consumerSecret = intent.getStringExtra(KEY_CONSUMER_SECRET); String callbackUri = "oauth://callback"; Configuration conf = new ConfigurationBuilder() .setOAuthConsumerKey(consumerKey) .setOAuthConsumerSecret(consumerSecret) .build(); OAuthAuthorization oauth = new OAuthAuthorization(conf); oauth.setOAuthAccessToken(null); String uri; try { uri = oauth.getOAuthRequestToken(callbackUri).getAuthorizationURL(); } catch (TwitterException e) { e.printStackTrace(); // error callback CallbackBroadcastReceiver.Data data = CallbackBroadcastReceiver.Data.create(e); sendBroadcast(CallbackBroadcastReceiver.createIntent(data)); return; } try { serialize(oauth, "oauth.dat"); } catch (IOException e) { e.printStackTrace(); // error callback CallbackBroadcastReceiver.Data data = CallbackBroadcastReceiver.Data.create(e); sendBroadcast(CallbackBroadcastReceiver.createIntent(data)); return; } Intent i = new Intent(Intent.ACTION_VIEW, Uri.parse(uri)); i.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK); startActivity(i); } /** * AccessToken取得 * @param intent */ private void getAccessToken(Intent intent) { OAuthAuthorization oauth = null; try { oauth = deserialize("oauth.dat"); } catch(Exception e) { e.printStackTrace(); // error callback CallbackBroadcastReceiver.Data data = CallbackBroadcastReceiver.Data.create(e); sendBroadcast(CallbackBroadcastReceiver.createIntent(data)); return; } String verifier = intent.getData().getQueryParameter("oauth_verifier"); AccessToken accessToken; try { accessToken = oauth.getOAuthAccessToken(verifier); } catch (TwitterException e) { e.printStackTrace(); // error callback CallbackBroadcastReceiver.Data data = CallbackBroadcastReceiver.Data.create(e); sendBroadcast(CallbackBroadcastReceiver.createIntent(data)); return; } // success callback CallbackBroadcastReceiver.Data data = CallbackBroadcastReceiver.Data.create(accessToken); sendBroadcast(CallbackBroadcastReceiver.createIntent(data)); } private void serialize(OAuthAuthorization obj, String fileName) throws IOException { try { FileOutputStream fos = openFileOutput(fileName, MODE_PRIVATE); ObjectOutputStream oos = new ObjectOutputStream(fos); oos.writeObject(statuses) } finally { if(fos != null) { if(oos != null) oos.close(); fos.close(); } } } private OAuthAuthorization deserialize(String fileName) throws Exception { try { FileInputStream fis = openFileInput(path); ObjectInputStream ois = new ObjectInputStream(fis); return (OAuthAuthorization) ois.readObject(); } finally { if(fis != null) { if(ois != null) ois.close(); fis.close(); } deleteFile(fileName); } } }

AndroidManifestはこんな感じになります。android:nameのパッケージ名は適当に書き換えてください。

<service android:name="inujini_.hatate.service.OauthService" android:exported="false"> <intent-filter> <action android:name="android.intent.action.View" /> <category android:name="android.intent.category.DEFAULT" /> <category android:name="android.intent.category.BROWSABLE" /> <data android:scheme="oauth" android:host="callback"/> </intent-filter> </service>

ちょっとトリッキーなところとして、OAuthAuthorizationのシリアライズ / デシリアライズがあります。

TwitterのOauth認証画面へ遷移するときと、Oauth認証が終わってOauthServiceへリダイレクトされた後のOAuthAuthorizationは必ず同じものを使う必要があります。しかし、仕組み上どうしてもそれぞれ別のOauthServiceインスタンスを使わざるをえません。

static変数で持っておくなどの対処も考えられますが、うっかりGCされた日には「Twitter側では認証できたのにアプリ側でエラーになったからクソ」と罵られても文句は言えませんし、再現性もない可能性があるので、いっそのこと一回ファイルに吐き出してしまったほうが安全かなと。

中継用のActivityをつくる

で、実際に動かしてみると、動きません。実際にはOauth認証が成功するところまで行きますが、コールバック用URIにリダイレクトする際に404になってしまいます。

Twitter側でOauth処理が完了するとandroid.intent.category.BROWSABLEとしてoauth://callback～と言うURIが投げられるのですが、Serviceがそれを捕まえてくれません。どうもServiceはandroid.intent.category.BROWSABLEのIntentを無視するみたいです。

いやまぁ…。「BROWSABLE」なのにServiceで受け取るってこと自体、普通に考えたら間違いなくおかしなことなんですが…。

仕方ないのでリダイレクトを受け取ってServiceに投げ直すためだけのActivityを作成します。

public class OauthActivity extends Activity { @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); Intent intent = new Intent(getApplicationContext(), OauthService.class); intent.setData(getIntent().getData()); intent.putExtra(OauthService.KEY_FINISHED_OAUTH, true); startService(intent); finish(); } }

Manifestはこんな感じ。

<activity android:name="inujini_.hatate.OauthActivity"> <intent-filter> <action android:name="android.intent.action.VIEW" /> <category android:name="android.intent.category.DEFAULT" /> <category android:name="android.intent.category.BROWSABLE" /> <data android:scheme="oauth" android:host="callback"/> </intent-filter> </activity> <service android:name="inujini_.hatate.service.OauthService" android:exported="false" />

結局Activityを作らなきゃいけないのが悲しいですね。

まとめ

後は実例…と思ったんですが、いつものクソアプリのソースでお茶を濁します。

NotificationActivity.java

AccountListActivity.java

また、今回作ったものの完全版も紹介しておきます。この記事内のコードは叩き台の要素が強いので、多少リファクタリングする予定です。

OauthService.java

CallbackBroadcastReceiver.java

OauthActivity.java

AsyncTask と共有できればより効率的なんですが、こっちも自分専用の ExecutorService を使うようになってるのでそうはいかないので、

と書かれているが、API Level 11からはAsyncTaskで使用しているExecutorがpublicなフィールドになっているので、これを渡してやれば共有できると思う。（断定しないのはまだ試してないから。）

AsyncTaskはBuild.VERSION.SDK_INTが13以上だとデフォルトではSerialExecutorの方を使うようになっているが、AsyncTaskのソースを見てみると結局内部でTHREAD_POOL_EXECUTOR（ThreadPoolExecutor）を使っているので、THREAD_POOL_EXECUTORを渡してしまえば全AsyncTaskと同じスレッドプールを使える。

private static class SerialExecutor implements Executor { final ArrayDeque<Runnable> mTasks = new ArrayDeque<Runnable>(); Runnable mActive; public synchronized void execute(final Runnable r) { mTasks.offer(new Runnable() { public void run() { try { r.run(); } finally { scheduleNext(); } } }); if (mActive == null) { scheduleNext(); } } protected synchronized void scheduleNext() { if ((mActive = mTasks.poll()) != null) { THREAD_POOL_EXECUTOR.execute(mActive); } } }

ThreadPoolExecutorの親クラスであるAbstractExecutorServiceがExecutorServiceを実装しているので、下記のコードでいける…と思う。

public final class AsyncTaskDispatcher implements Dispatcher { private ExecutorService service; // fieldでもSuppressLintって必要なんだっけ？ @SuppressLint("NewApi") public AsyncTaskDispatcher(Configuration conf) { this.service = Build.VERSION.SDK_INT >= 11 ? (ExecutorService) AsyncTask.THREAD_POOL_EXECUTOR : Executors.newFixedThreadPool(conf.getAsyncNumThreads()); } @Override public void invokeLater(Runnable task) { if (task != null) { this.service.execute(task); } } @Override public void shutdown() { // 流石にAsyncTaskのExecutorを勝手にshutdownするのはマズい if (Build.VERSION.SDK_INT < 11 && !this.service.isShutdown()) { this.service.shutdown(); } else { this.service = null; } } }