L`apprentissage automatique est disponible en tant que fonctionnalité de X-Pack. Cela signifie que lorsque X-Pack est installé, les fonctionnalités d`apprentissage automatique peuvent être utilisées pour analyser les données de séries chronologiques dans Elasticsearch en temps réel. Les tâches d`apprentissage automatique sont distribuées et gérées automatiquement dans le cluster Elasticsearch de la même manière que les index et les partitions. Cela signifie également que les travaux d`apprentissage automatique sont résilients à la défaillance du nœud. Du point de vue des performances, l`intégration étroite signifie que les données n`ont jamais besoin de quitter le cluster et nous pouvons compter sur des agrégations Elasticsearch pour améliorer considérablement les performances de certains types de tâches. Un autre avantage du couplage serré est que vous pouvez créer des travaux de détection d`anomalie et voir les résultats directement de Kibana. Cependant, comme le temps passe sur ML voit que les pointes de cette magnitude sont en fait pas si inattendu. Ils se produisent assez souvent après tout. Par conséquent, ML choisit de marquer les anomalies ultérieures avec un score inférieur (puisque leur probabilité de se produire est plus élevée et plus élevée). Étant donné que les données sont analysées in situ et ne quittent jamais le cluster, cette approche offre une performance et un avantage opérationnel significatifs sur l`intégration des données Elasticsearch avec des outils de science des données externes. Au fur et à mesure que nous développons plus de technologies dans cet espace, les avantages de cette architecture deviendront encore plus prononcés. Nos fonctionnalités d`apprentissage automatique permettent de repousser les limites de ce que vous pouvez découvrir dans vos données Elasticsearch. Sachez quand une métrique spécifique, comme les demandes par seconde, commence à s`écarter de la norme.

Détectez les valeurs aberrantes dans une population en construisant le profil d`un utilisateur ou d`une machine «typique» pour savoir quand on commence à s`éloigner du Pack. Catégorisez les messages de journal pour savoir ce qui est normal pour un groupe donné et les événements rares de surface ou les types inhabituels de messages. La nouvelle fonctionnalité de machine learning X-Pack de 6,1 est la prévision à la demande. Auparavant, l`apprentissage automatique d`Elastic a été conçu pour utiliser des données historiques pour prédire la plage normale de valeurs pour «maintenant» et comparer cela aux données que nous avons effectivement vu afin qu`il puisse identifier les anomalies en temps réel. Maintenant, en 6,1, l`apprentissage automatique peut modéliser les données et prévoir plusieurs intervalles de temps dans le futur. Si vous souhaitez exclure complètement les données d`une analyse, nous recommandons toujours d`utiliser un filtre dans la requête flux. Par exemple, si vous vouliez analyser les messages d`erreur et n`étiez pas concerné par les informations et les messages de débogage, l`utilisation d`un filtre dans la requête de flux serait préférable. Cela filtre les données avant d`atteindre le moteur d`analyse de machine learning et est plus efficace car elle utilisera moins de ressources. Nous mettons en œuvre plusieurs applications ML populaires à l`aide de Litz, et montrons qu`ils peuvent évoluer rapidement pour s`adapter à la modification de la disponibilité des ressources, ainsi que la façon dont un planificateur peut tirer parti de l`élasticité pour une exécution plus rapide des tâches et une allocation des ressources plus efficace.

Enfin, nous montrons que Litz permet l`élasticité sans compromettre les performances, obtenant des performances compétitives avec des frameworks de ML non élastiques de pointe.