Pc-urgence Apache Spark 2.0 disponible avec support chez Databricks - Pc-urgence

Apache Spark 2.0 disponible avec support chez Databricks

10 % des clusters de Databricks utilisent déjà la dernière version de Spark.

10 % des clusters de Databricks utilisent déjà la dernière version de Spark.

Depuis cette semaine, Apache Spark 2.0 est proposé sur la plate-forme de données Databricks. La start-up à l’origine du framework affirme que les performances sont cinq à dix fois plus élevées qu’avec Spark 1.6. Elle met aussi en avant un support des applications en continu pour le streaming structuré.

Databricks est la première entreprise à rendre Apache Spark 2.0 généralement disponible sur sa plate-forme de données. Initiée dans l’AMPLab de l’Université de Californie à Berkeley par l’équipe qui a créé Spark Apache, l’entreprise explique que cette dernière version est le résultat des expériences vécues par la communauté au cours des deux dernières années. C’est aussi la première version majeure depuis la sortie de la version open source Spark 1.6 en 2015. « Depuis la sortie de Spark 1.0, nous avons passé d’innombrables heures à écouter les membres de la communauté Spark et les utilisateurs de Databricks pour faire le point sur ce qui était bien et sur ce qu’il fallait améliorer », a déclaré mardi dans un communiqué Reynold Xin, architecte en chef et co-fondateur de Databricks. « Spark 2.0 est la résultante de tout ce que la communauté a appris, de ce que les utilisateurs aiment et de ce qu’ils voulaient voir évoluer », a-t-il ajouté.

Une vraie alternative à MapReduce

Spark, un projet Apache de niveau supérieur, est devenu de plus en plus populaire. Ce moteur de calcul alternatif à MapReduce est utilisé pour alimenter les applications big data. Sa façon d’exploiter les primitives en mémoire lui permet de dépasser les performances de MapReduce sur certaines applications. Il est bien adapté aux algorithmes d’apprentissage machine et aux analyses interactives. L’entreprise qui avait lancé une version préliminaire de Apache Spark 2.0 sur Databricks il y a deux mois, a précisé que 10 % des clusters de sa plate-forme utilisaient déjà la dernière version de Spark.

Alors que Spark 2.0 vient d’arriver, c’est toujours la version 1.6 du framework alternatif pour Hadoop qui est la plus utilisée pour le data mining.

Voici les principales nouveautés mises en avant par Databricks :

La vitesse. Selon Databricks, Spark 2.0 est cinq à dix fois plus rapide que Spark 1.6 pour certaines opérations grâce aux capacités de génération de code Whole-Stage-Code du Projet Tungsten Phase 2 et à l’optimisation de code Catalysts.

Simplicité. La nouvelle version unifie les API de développement à travers les bibliothèques Spark, y compris DataFrames et Datasets.

Le streaming structuré. Spark 2.0 jette les bases du support aux applications en continu (Continous Applications) grâce à des API de streaming déclaratif de haut niveau basées sur DataFrames et Datasets placées au-dessus de Spark SQL, lequel travaille avec des données en temps réel.

Un mode d’apprentissage machine persistant. La nouvelle version prend désormais en charge la sauvegarde et le chargement des pipelines et des modèles dans tous les langages de programmation pris en charge par Spark. 

Des API d’apprentissage machine basées sur DataFrame. Selon Databricks, avec Spark 2.0, le pack spark.ml, et ses API « pipeline », vont s’imposer comme API d’apprentissage machine par excellence. La nouvelle version conserve le pack d’origine spark.mllib, mais Databricks dit qu’elle concentrera ses futurs efforts de développement sur l’API basée sur DataFrame. 

Support du SQL standard. Spark 2.0 étend les capacités SQL de Spark aux fonctions de SQL2003. Il se dote d’un nouvel analyseur syntaxique SQL ANSI, prend en charge les sous-requêtes de type scalaire et prédicat.

Les modèles restent compatibles 

« En tant que développeur de Spark Apache, il est très excitant de voir la rapidité avec laquelle les utilisateurs commencent à utiliser les nouvelles fonctionnalités et les nouvelles API, et avec laquelle, en retour, ils nous offrent un feeback presque instantané, de sorte que nous pouvons les améliorer », a déclaré mardi dans un communiqué Matei Zaharia, CTO et co-fondateur de Databricks et par ailleurs créateur de Spark Apache.

Spark 2.0 est immédiatement disponible pour les utilisateurs de Databricks. L’entreprise affirme qu’ils peuvent créer des clusters Spark 2.0 en sélectionnant la nouvelle version dans le menu Databricks. De plus, Databricks indique que Spark 2.0 est compatible avec Spark 1.6, ce qui signifie que la migration de code sera très facile.

Powered by PC-Urgence.com

Dépannage informatique à domicile

Dépannage informatique à domicile

PC urgence, le spécialiste du dépannage informatique à domicile sur Paris et Île-de-France, jour et nuit vous bénéficiez d'un dépannage informatique sans aucun surcoût et sans frais de déplacements. Contactez-nous au 09.70.40.81.52.
Protected by Copyscape Web Plagiarism Tool

Laisser un commentaire

Vous devez être connecté pour publier un commentaire.

Dépannage informatique Paris et Ile de france

Dépannage informatique paris et ile de france
Prix:
89 €

Antivirus Gratuit

Prix:
GRATUIT

Déduction - 50 %

Ouvert 24/24 Week end
border

immédiate

Elu Service de l'année

Prix:
2013

Assistance à Distance

Prix:
39 €

Ouvert 24/24

Ouvert 24/24 Week end
border
Un technicien chez vous
24/24 7/7
ACCUEIL    |    ACTUALITES    |    internet    |    accessoires et logiciels    |    contact
Claude Arel Retrouvez-nous sur Google+ Google Copyright © 2010-2013 Pc-Urgence