Dans ce tutoriel, nous allons vous faire une simple analyse sentimentales des Tweets avec Spark SQL sur un fichier Json. Cette exercice est conçus en Java pour récupérer un flux de Tweets et Scala pour les scripts spark SQL. Vous trouverez le lien du Repo Github dans le tutoriel.
Architechture
ci dessus une illustration de l’architecture de notre application.
Phase de design
Notez bien: la phase 3 n’est pas encore implémenté. Un tutoriel lui sera consacré prochainement.
Récupération des Tweets selon les catégories
- food
- foodporn
- recipe
- cooking
- healthy
- cook
- recipes
- yummy
- instafood
Objectif
Les langages les plus utiliser pour les Tweets
SELECT lang, count(*) as c FROM EntertainmentTable WHERE lang is not null GROUP BY lang ORDER BY c desc limit 10
