September 2nd, 2020

Modèles NLP avec BERT

RSS icon RSS Category: H2O Driverless AI, NLP

H2O Driverless AI 1.9 vient de sortir, et je vous propose une série d’articles sur les dernières fonctionnalités innovantes de cette solution d’Automated Machine Learning, en commençant par l’implémentation de BERT pour les tâches NLP

BERT, ou “Bidirectional Encoder Representations from Transformers” est considéré aujourd’hui comme l’état de l’art sur une série de tâches de traitement du langage naturel.

Nos experts NLP Sudalai Rajkumar (SRK)Maximilian Jeblick et Trushant Kalyanpur ont travaillé dur pour implémenter BERT dans la dernière version de DriverlessAI, ce qui permet aux data scientists d’utiliser les techniques NLP à l’état de l’art, avec une variété de modèles et de transformers BERT, directement ‘out-of-the-box’.

Sur cet exemple, ‘airline sentiment’, jeu de données Kaggle bien connu où il s’agit de déterminer le sentiment d’un tweet, négatif, neutre ou positif, les résultats parlent d’eux-mêmes : en utilisant les techniques TF-IDF, puis en utilisant les transformers natifs TensorFlow, et enfin en utilisant BERT, le score ‘logloss’ sur le jeu de test passe de 0.6093 à 0.4066 (plus le score est bas, plus précis est le modèle)

Notons la disponibilité de plusieurs modèles BERT, dont ‘DistilBERT’, plus léger et plus rapide et presque aussi performant, ou encore le modèle ‘camemBERT’ (si si !), pré-entrainé sur un corpus en français.

BERT vient compléter le scope de DriverlessAI en termes de NLP, qui utilisait déjà nativement TensorFlow et des modèles pré-entrainés pour extraire des features numériques à partir des données texte.

Et comme toujours avec DriverlessAI, les utilisateurs peuvent pousser les modèles en production simplement en utilisant les Mojo C++ ou Python, générés par la plateforme.

Pour plus d’informations sur le NLP avec Driverless AI, je vous invite à suivre ce webinar avec SRK, Trushant Kalyanpur et Maximilian Jeblick

About the Author

Badr Chentouf

Leave a Reply

+
Developing and Retaining Data Science Talent

It’s been almost a decade since the Harvard Business Review proclaimed that “Data Scientist” is

May 12, 2022 - by Jon Farland
+
The H2O.ai Wildfire Challenge Winners Blog Series – Team Too Hot Encoder

Note: this is a community blog post by Team Too Hot Encoder - one of

May 10, 2022 - by H2O.ai Team
+
The H2O.ai Wildfire Challenge Winners Blog Series – Team HTB

Note: this is a community blog post by Team HTB - one of the H2O.ai

May 10, 2022 - by H2O.ai Team
+
Bias and Debiasing

An important aspect of practicing machine learning in a responsible manner is understanding how models

April 15, 2022 - by Kim Montgomery
+
Comprehensive Guide to Image Classification using H2O Hydrogen Torch

In this article, we will learn how to build state-of-the-art models in computer vision and

March 29, 2022 - by H2O.ai Team
+
H2O Wave Snippet Plugin for PyCharm

Note: this blog post by Shamil Dilshan Prematunga was first published on Medium. What is PyCham? PyCharm

March 24, 2022 - by Shamil Prematunga

Start Your Free Trial