Spark pour les débutants: Tutoriels – Analyse sentimentales des Tweets avec Spark SQL

English English

Dans ce tutoriel, nous allons vous faire une simple analyse sentimentales des Tweets avec Spark SQL sur un fichier Json. Cette exercice est conçus en Java pour récupérer un flux de Tweets et Scala pour les scripts spark SQL. Vous trouverez le lien du Repo Github dans le tutoriel.

Architechture

ci dessus une illustration de l’architecture de notre application.

 

Phase de design

 

Notez bien: la phase 3 n’est pas encore implémenté. Un tutoriel lui sera consacré prochainement.

Récupération des Tweets selon les catégories

  • food
  • foodporn
  • recipe
  • cooking
  • healthy
  • cook
  • recipes
  • yummy
  • instafood

Objectif

Les langages les plus utiliser pour les Tweets
SELECT lang, count(*) as c FROM EntertainmentTable WHERE lang is not null GROUP BY lang ORDER BY c desc limit 10

 

Repo Github