Dans ce chapitre, nous allons vous aider à utiliser Spark streaming pour traiter les flux tweet en direct. Rappelez-vous, Spark streaming est un composant de Spark qui fournit hautement évolutive, tolérante aux pannes de traitement de streaming. Ces exercices sont conçus comme des programmes Java. Vous trouverez les liens Gist Github dans le tutoriel.

Créer un compte Twitter développeur

Cette vidéo montrent comment créer une application twitter. Tout d’abord aller à https://apps.twitter.com/.

Ajout de dépendances Spark streaming & Twitter

Nous allons d’abord créer un nouveau projet Maven avec Eclipse. Je choisis tn.esprit comme groupe Id et twitter comme Artefact Id.

On va modifier le fichier pom.xml en ajoutant les dépendances nécessaire.

Créer la classe java TweetStream qui va se connecter à Twitter API, et nous allons récupérer des Tweets en direct.

Exécution et essai

Pour exécuter notre application, nous devons d’abord générer avec Manven en exécutant maven install et clic droit sur le fichier TweetStream.java et Exécuter en tant que l’application Java.