JetBrains, l'éditeur des EDI IntelliJ IDEA (Java), PyCharm (Python) ou encore WebStorm (pour les développeurs JavaScript) entre autres, élargit son portefeuille d'outils pour les développeurs avec Big Data Tools. Comme son nom l'indique, il s'agit d'un outil dédié au traitement de données massives. Il s'agit plus précisément d'une nouvelle extension IntelliJ IDEA intégrant Spark et permettant de prendre en charge l’édition et l’exécution des notebooks Zeppelin.Zeppelin est un projet maintenu par la fondation Apache sous licence open source visant à fournir une interface web (ou notebook) permettant d'analyser et visualiser de gros volumes de données traités via le framework de calcul distribué Spark. Apache Zeppelin est un notebook assez répandu parmi les data scientists même si Jupyter (qui peut être utilisé pour programmer dans plus de 40 langages de programmation, dont Python, Julia, Ruby, R, ou encore Scala) reste de loin le numéro un. Rappelons d'ailleurs que Jupyter est disponible dans PyCharm, l'EDI de JetBrains pour le développement web et la data science avec Python.
Fonctionnalités de l'extension Big Data Tools
Avec Big Data Tools, vous pouvez maintenant créer, éditer et exécuter des notebooks Zeppelin sans quitter votre EDI. La nouvelle extension IntelliJ IDEA intégrant Spark offre un bon nombre de fonctionnalités, notamment :
- la navigation, création et suppression des notebooks ;
- l'aide au codage pour les paragraphes Scala (saisie automatique du code ; refactorisation Rename ; extraction de variables, méthodes ou paramètres ; la fonctionnalité Go To Declaration ; la possibilité d'afficher les utilisations) ;
- la création et suppression de paragraphes ;
- l'exécution de paragraphes ;
- la possibilité de parcourir la sortie des paragraphes ;
- la prise en charge des visualisations de base.
Il faut noter que l’assistance au codage est actuellement limitée au code Scala, mais d’autres langages seront pris en charge ultérieurement. JetBrains prévoir également d’aller au-delà des notebooks Zeppelin et d’ajouter des fonctionnalités plus générales afin de rationaliser l’expérience de développement pour les ingénieurs et data scientists, et plus largement pour les métiers liés au Big Data.
Les fonctionnalités et améliorations à venir
JetBrains va améliorer l’intégration de Zeppelin et de Spark. L'éditeur de logiciels pour les développeurs prévoit bien d'autres intégrations spécifiques au Big Data. Cela comprend l’intégration avec des systèmes de fichiers distribués tels que HDFS et S3, la visionneuse intégrée des fichiers Parquet et une meilleure prise en charge du code SQL. La prise en charge de Python dans les notebooks Zeppelin devrait également être mise en oeuvre l'année prochaine. JetBrains envisage en outre de rendre l'extension compatible avec PyCharm Professional Edition.
Big Data Tools étant encore en plein développement, JetBrains invite les développeurs à le tester et faire des retours. Notez que l'extension Big Data Tools est maintenant compatible avec IntelliJ IDEA Ultimate (la version 2019.2). Pour le moment, il n’est pas disponible avec la version Community Edition. Pour l'utiliser, assurez-vous que les extensions BashSupport, Python et Scala soient installées (ce qui est normalement le cas avec les versions les plus récentes).
Source : Télécharger l'extension Big Data Tools
Voir aussi :
JetBrains publie la version 2019.2 de Rider, la deuxième mise à jour annuelle majeure de son EDI multiplateforme destiné au développement C# et .NET PyCharm : la version 2019.2 de l'EDI Python disponible avec une amélioration de l'expérience Jupyter Notebook et un support initial de Python 3.8 CLion 2019.2 disponible, l'EDI C/C++ de JetBrains apporte des améliorations pour le développement embarqué et un débogueur expérimental MSVC WebStorm 2019.2 disponible : tour d'horizon des nouveautés de l'EDI de JetBrains pour les développeurs JavaScript IntelliJ IDEA 2019.2 apporte des fonctionnalités en préversion de Java 13, des outils de profilage et bien plus encore La version 2019.2 de YouTrack, le logiciel de gestion de projet et de suivi des incidents est disponible et peut être désormais connecté à Bitbucket