Discussion :

[St�phane le calme]

Amazon annonce Open Distro for Elasticsearch, une distribution � valeur ajout�e d'Elasticsearch
qui est 100% open source

Elasticsearch est un moteur de recherche et d'analyse distribu�, orient� document. Il prend en charge les requ�tes structur�es et non structur�es et n'exige pas qu'un sch�ma soit d�fini � l'avance. Elasticsearch peut �tre utilis� comme moteur de recherche. Il est souvent utilis� pour l'analyse de journaux � l'�chelle Web, la surveillance d'applications en temps r�el et l'analyse de flux de clics.

Lanc� � l'origine comme un v�ritable projet open source, certains des ajouts les plus r�cents � Elasticsearch sont propri�taires.

Open Distro for Elasticsearch

Amazon a annonc� Open Distro for Elasticsearch, Il s'agit d'une distribution � valeur ajout�e d'Elasticsearch 100% open source (licence Apache 2.0) et prise en charge par AWS. Open Distro for Elasticsearch exploite le code open source pour Elasticsearch et Kibana. Il ne s�agit pas d�un fork, et Amazon continue � envoyer ses contributions et correctifs en amont pour faire avancer ces projets.

Outre Elasticsearch et Kibana, la premi�re version inclut un ensemble de fonctionnalit�s avanc�es de s�curit�, de surveillance des �v�nements et d'alerte, d'analyse des performances et de requ�te SQL. En plus du r�f�rentiel de code source, Open Distro pour Elasticsearch et Kibana sont disponibles en tant que conteneurs RPM et Docker, avec des t�l�chargements distincts pour SQL JDBC et PerfTop CLI. Vous pouvez ex�cuter ce code sur votre ordinateur portable, dans votre centre de donn�es ou dans le cloud.

Les contributions sont les bienvenues, tout comme les rapports de bogues et les demandes de fonctionnalit�s.

Que propose Open Distro for Elasticsearch ?

Jetons un coup d��il aux fonctionnalit�s incluses dans Open Distro for Elasticsearch. Certaines d'entre elles sont actuellement disponibles dans Amazon Elasticsearch Service; d'autres seront disponibles dans les futures mises � jour.

S�curit� : ce plug-in prend en charge le chiffrement noeud � noeud, cinq types d'authentification (de base, Active Directory, LDAP, Kerberos et SAML), des contr�les d'acc�s bas�s sur les r�les � plusieurs niveaux (clusters, index, documents et champs), la journalisation d'audit et la recherche entre clusters de sorte que tout n�ud d'un cluster puisse ex�cuter des demandes de recherche sur d'autres n�uds du cluster.

Surveillance des �v�nements et alertes : cette fonctionnalit� vous avertit lorsque les donn�es d'un ou de plusieurs index Elasticsearch remplissent certaines conditions. Vous pouvez, par exemple, notifier un canal Slack si une application enregistre plus de cinq erreurs HTTP 503 en une heure. La surveillance repose sur des travaux ex�cut�s selon une planification d�finie, en comparant les index avec les conditions de d�clenchement et en �mettant des alertes lorsqu'une condition est d�clench�e.

Analyse approfondie des performances : il s'agit d'une API REST qui vous permet d'interroger une longue liste de m�triques de performances pour votre cluster. Vous pouvez acc�der aux m�triques par programmation ou les visualiser � l�aide de perf top et d�autres outils perf.

Support de SQL : cette fonctionnalit� vous permet d'interroger votre cluster � l'aide d'instructions SQL. C'est une version am�lior�e du plugin elasticsearch-sql, et supporte un riche ensemble d'instructions.

Pourquoi une distribution open source pour Elasticsearch ?

La gen�se

Adrian Cockcroft d�Amazon explique que chez AWS, ils se concentrent sur la r�solution de probl�mes pour les clients. Au fil des ann�es, l�utilisation par les clients et les d�pendances � l��gard des technologies open source n�ont cess� d�augmenter. C�est la raison pour laquelle ils se sont engag�s depuis longtemps en faveur de l�open source et que leur rythme de contributions aux projets open source, aussi bien les projets Amazon que d�autres projets, continue de s�acc�l�rer.

Lorsque AWS lance un service bas� sur un projet open source, nous nous engageons � long terme � aider nos clients. Nous apportons des correctifs de bogues, la s�curit�, l'�volutivit�, les performances et des fonctionnalit�s am�lior�es � la communaut�. Par exemple, nous avons grandement contribu� � Apache Lucene, qui alimente Amazon Elasticsearch Service. L��quipe Amazon EMR apporte sa contribution � l��cosyst�me Hadoop depuis de nombreuses ann�es, et l��quipe Amazon Elastic Container Service for Kubernetes (EKS) contribue � Kubernetes. Nous investissons �galement dans des communaut�s open source, dans la formation des d�veloppeurs et des op�rateurs, parrainons des �v�nements et des conf�rences open source tels que ApacheCon et KubeCon, et avons r�cemment renforc� notre soutien � Apache Software Foundation. Le support marketing aide les communaut�s en augmentant le nombre d'utilisateurs finaux et de contributeurs et acc�l�re l'adoption de projets open source.

Selon lui, plusieurs raisons expliquent leur participation active aux communaut�s open source. Tout d�abord, il est important de soutenir des communaut�s saines pour que les projets continuent de se d�velopper et restent pertinents. Ensuite, la maintenance d'une version fork�e interne d'un projet entra�ne des efforts suppl�mentaires inutiles et peut retarder la publication des mises � jour des services lors de la fusion. Troisi�mement, la publication de nouvelles id�es sous forme d�open source rassemble les autres autour d'id�es pour les aider � s'int�grer. Et enfin, la collaboration open source entre entreprises et institutions universitaires a permis certaines des avanc�es les plus importantes dans des domaines tels que l'intelligence artificielle.

Pour obtenir ces avantages, les clients doivent pouvoir faire confiance au fait que les projets open source restent ouverts. Les responsables de projets open source ont la responsabilit� de maintenir la source de distribution ouverte � tous et de ne pas modifier les r�gles en cours de route. Lorsque d'importants projets Open Source dont AWS et nos clients d�pendent commencent � restreindre l'acc�s, � modifier les termes du contrat de licence ou � associer logiciels libres et logiciels propri�taires, nous nous devons d�investir pour p�renniser le projet et la communaut� Open Source. Par exemple, nos clients ont r�cemment fait part de leurs pr�occupations concernant le fait qu'Oracle cesserait de prendre en charge la version de Java sur laquelle les clients s'appuient, ou modifiait les conditions de licence, et que les clients avaient de bonnes raisons d'�tre inquiets. Nous avons r�agi en proposant le projet Corretto, une distribution gratuite, multi-plateforme et pr�te � la production d'OpenJDK d'Amazon. Nous avons investi pour assurer la coh�rence et la confiance � long terme en nous engageant � ce qu'Amazon distribue gratuitement les mises � jour de s�curit� � Corretto 8 jusqu'en juin 2023 au moins et � Corretto 11 au moins en ao�t 2024. Corretto est une distribution gratuite la communaut� peut d�sormais compter sur nous alors que, parall�lement, nous continuons � soutenir et � apporter des contributions directement � OpenJDK.

Malheureusement, il note qu�il arrive de voir d�autres exemples de mainteneurs d�open source brouiller les liens entre la communaut� open source et le code propri�taire qu�ils cr�ent pour mon�tiser l�open source : � Chez AWS, nous pensons que les responsables d'un projet open source ont la responsabilit� de s'assurer que la distribution open source principale reste ouverte et d�pourvue de code propri�taire, afin que la communaut� puisse s'appuyer librement sur le projet et que la distribution ne donne plus d�avantages � une entreprise qu�� une autre �.

Analyseur de performance, Open Distro for Elasticsearch

Il rappelle que c�est une partie de la promesse faite par le responsable lorsqu�il a gagn� la confiance des d�veloppeurs pour l�adoption du logiciel. Lorsque le logiciel open source principal est compl�tement ouvert et accessible � tous, le responsable de la maintenance (et toute autre personne) peut et doit �tre en mesure de cr�er un logiciel propri�taire pour g�n�rer des revenus. Toutefois, il convient de le s�parer de la distribution open source afin de ne pas confondre les utilisateurs en aval, de permettre � quiconque d'innover en amont du projet open source et de ne pas cr�er d'ambigu�t� dans la licence du logiciel ni limiter l'acc�s. � des classes sp�cifiques d'utilisateurs.

Si nous examinons de pr�s plusieurs projets Open Source couronn�s de succ�s, ils ont tous b�n�fici� de l�acc�s � des logiciels open source sans entraves. En fait, on peut soutenir que ces projets n'existeraient pas aujourd'hui sans une capacit� � assembler et � innover rapidement � partir de logiciels open source pr�existants. Par exemple, un moteur important pour Elasticsearch est le projet Apache Lucene, un projet de la fondation Apache Software qui pr�c�de Elasticsearch de 11 ans. Elasticsearch exploite �galement de nombreux projets open source sous licence permissive, tels que le projet d'analyse syntaxique JSON de Jackson, Netty en tant que conteneur Web et bien d'autres. Le fait est que les logiciels open source permettent aux particuliers et aux entreprises d�innover plus rapidement, et que les consommateurs en aval en d�pendent. Lorsque les responsables maintiennent la confusion sur la viabilit� � long terme de l'open source, cela affecte tous les consommateurs en aval.

M�lange de code propri�taire et de code open source, une mauvaise id�e

Et d�avancer qu�Elasticsearch a jou� un r�le cl� dans la d�mocratisation de l�analyse des donn�es g�n�r�es par machine. Il est devenu de plus en plus essentiel � la productivit� quotidienne des d�veloppeurs, des analystes de la s�curit� et des ing�nieurs d�exploitation du monde entier. Sa licence permissive Apache 2.0 lui a permis d��tre rapidement adopt�e et d�utiliser le logiciel sans restriction.

Malheureusement, depuis juin 2018, Amazon a assist� � un important m�lange de code propri�taire dans la base de code. Bien qu'un t�l�chargement sous licence Apache 2.0 soit toujours disponible, il existe un manque de clart� extr�me quant � ce que les clients qui s'int�ressent � l'open source obtiennent et sur quoi ils peuvent compter. Par exemple, ni les notes de publication ni la documentation n'indiquent clairement ce qui est open source et ce qui est propri�taire. Les d�veloppeurs d'entreprise peuvent appliquer par inadvertance un correctif ou une am�lioration au code source propri�taire. Cela est difficile � suivre et � gouverner, peut conduire � une violation de licence et � une r�siliation imm�diate des droits (pour les logiciels propri�taires et libres).

Les commits de code individuels contiennent �galement de plus en plus de code � la fois open source et propri�taire, ce qui rend tr�s difficile la t�che des d�veloppeurs qui souhaitent travailler uniquement en open source pour contribuer et participer. De plus, l�innovation n�est plus ax�e sur la distribution open source, mais sur la popularisation de la distribution propri�taire. Cela signifie que la majorit� des nouveaux utilisateurs Elasticsearch utilisent d�sormais un logiciel propri�taire.

Nous avons discut� de nos pr�occupations avec Elastic, les responsables de la maintenance d�Elasticsearch, notamment en proposant de consacrer des ressources importantes � la prise en charge d�une version non imbriqu�e d�Elasticsearch ax�e sur la communaut�. Ils ont clairement indiqu� qu'ils avaient l'intention de continuer sur leur lanc�e.

Entre-temps, les clients et les partenaires nous ont fait savoir que ces changements les concernaient �galement. Cela a cr�� une incertitude quant � la long�vit� du projet open source, car il se concentre moins sur l'innovation. Les clients veulent �galement avoir la libert� d�ex�cuter le logiciel n�importe o� et d�autoassistance � tout moment s�ils en ont besoin. Nous avons donc d�cid� de nous associer � d�autres, tels que Groupe Expedia et Netflix, pour cr�er une nouvelle distribution open source d�Elasticsearch nomm�e �Open Distro for Elasticsearch�. Open Distro for Elasticsearch est une distribution � valeur ajout�e 100% open source, qui concentrez-vous sur l'innovation avec des fonctionnalit�s � valeur ajout�e afin de garantir aux utilisateurs une option riche en fonctionnalit�s enti�rement open source.

Les objectifs

Les nouvelles fonctionnalit�s avanc�es d'Open Distro pour Elasticsearch sont toutes sous licence Apache 2.0. Avec la premi�re version, notre objectif est de traiter de nombreuses fonctionnalit�s critiques manquantes dans Elasticsearch open source, telles que la s�curit�, la surveillance et l'alerte d'�v�nements et le support SQL. Nous pensons que ces fonctionnalit�s seront passionnantes et pr�cieuses pour les d�veloppeurs et les encouragerons � t�l�charger, � collaborer et, finalement, � contribuer � la communaut�. Nous avons travaill� sur un grand nombre de ces fonctionnalit�s pour les inclure dans Amazon Elasticsearch Service. Open Distro for Elasticsearch permet aux utilisateurs d�ex�cuter la m�me distribution riche en fonctionnalit�s o� ils le souhaitent, telle que sur site, sur des ordinateurs portables ou dans le cloud.

Notre objectif pour Open Distro for Elasticsearch est de fournir aux d�veloppeurs la libert� de contribuer aux fonctionnalit�s Open Source � valeur ajout�e au-dessus du projet amont Elasticsearch sous licence Apache 2.0. Nous pr�voyons d�apporter des correctifs � la base open source Elasticsearch en amont pour le b�n�fice de tous. Open Distro for Elasticsearch invitera les d�veloppeurs et les contributeurs de l�ensemble du secteur � investir dans ces technologies importantes avec la certitude qu�elles resteront toujours open source et sous licence permissive. L'id�e de l'open source est que plusieurs utilisateurs et entreprises peuvent le mettre au travail et que tout le monde peut contribuer � son am�lioration. Open Distro for Elasticsearch s'inscrit dans notre engagement � faire les investissements n�cessaires pour que l'open source soit r�ellement ouvert et pour permettre � quiconque de b�n�ficier de nos contributions.

T�l�charger Open Distro for Elasticsearch

Sources : blog AWS

Et vous ?

Utilisez-vous Elasticsearch ?
Avez-vous d�j� �t� confront�s � des probl�mes de licence ?
Que pensez-vous d'Open Distro for Elasticsearch ? Allez-vous l'utiliser ?
Quelles sont vos premi�res impressions ?

Voir aussi :

AWS lance Amazon DocumentDB, un service de base de donn�es compatible avec MongoDB, "une mauvaise imitation" selon le PDG de Mongo
Le gestionnaire de mots de passe Blur expose les data de pr�s de 2,4 millions d'utilisateurs � cause d'une erreur de configuration d'instance AWS
Amazon propose AWS Global Accelerator pour aider ses clients � mieux g�rer le trafic dans plusieurs r�gions, et booster les performances
Microsoft Azure serait sup�rieur � Google Cloud Platform et � AWS en termes de performances r�seau, d'apr�s un rapport de ThousandEyes