September 2nd, 2020

Modèles NLP avec BERT

RSS icon RSS Category: H2O Driverless AI, NLP

H2O Driverless AI 1.9 vient de sortir, et je vous propose une série d’articles sur les dernières fonctionnalités innovantes de cette solution d’Automated Machine Learning, en commençant par l’implémentation de BERT pour les tâches NLP

BERT, ou “Bidirectional Encoder Representations from Transformers” est considéré aujourd’hui comme l’état de l’art sur une série de tâches de traitement du langage naturel.

Nos experts NLP Sudalai Rajkumar (SRK)Maximilian Jeblick et Trushant Kalyanpur ont travaillé dur pour implémenter BERT dans la dernière version de DriverlessAI, ce qui permet aux data scientists d’utiliser les techniques NLP à l’état de l’art, avec une variété de modèles et de transformers BERT, directement ‘out-of-the-box’.

Sur cet exemple, ‘airline sentiment’, jeu de données Kaggle bien connu où il s’agit de déterminer le sentiment d’un tweet, négatif, neutre ou positif, les résultats parlent d’eux-mêmes : en utilisant les techniques TF-IDF, puis en utilisant les transformers natifs TensorFlow, et enfin en utilisant BERT, le score ‘logloss’ sur le jeu de test passe de 0.6093 à 0.4066 (plus le score est bas, plus précis est le modèle)

Notons la disponibilité de plusieurs modèles BERT, dont ‘DistilBERT’, plus léger et plus rapide et presque aussi performant, ou encore le modèle ‘camemBERT’ (si si !), pré-entrainé sur un corpus en français.

BERT vient compléter le scope de DriverlessAI en termes de NLP, qui utilisait déjà nativement TensorFlow et des modèles pré-entrainés pour extraire des features numériques à partir des données texte.

Et comme toujours avec DriverlessAI, les utilisateurs peuvent pousser les modèles en production simplement en utilisant les Mojo C++ ou Python, générés par la plateforme.

Pour plus d’informations sur le NLP avec Driverless AI, je vous invite à suivre ce webinar avec SRK, Trushant Kalyanpur et Maximilian Jeblick

About the Author

Badr Chentouf

Leave a Reply

+
H2O Wave joins Hacktoberfest

It’s that time of the year again. A great initiative by DigitalOcean called Hacktoberfest that aims to bring

September 29, 2022 - by Martin Turoci
+
Three Keys to Ethical Artificial Intelligence in Your Organization

There’s certainly been no shortage of examples of AI gone bad over the past few

September 23, 2022 - by H2O.ai Team
+
Using GraphQL, HTTPX, and asyncio in H2O Wave

Today, I would like to cover the most basic use case for H2O Wave, which is

September 21, 2022 - by Martin Turoci
+
머신러닝 자동화 솔루션 H2O Driveless AI를 이용한 뇌에서의 성차 예측

Predicting Gender Differences in the Brain Using Machine Learning Automation Solution H2O Driverless AI 아동기 뇌인지

August 29, 2022 - by H2O.ai Team
+
Make with H2O.ai Recap: Validation Scheme Best Practices

Data Scientist and Kaggle Grandmaster, Dmitry Gordeev, presented at the Make with H2O.ai session on

August 23, 2022 - by Blair Averett
+
Integrating VSCode editor into H2O Wave

Let’s have a look at how to provide our users with a truly amazing experience

August 18, 2022 - by Martin Turoci

Start Your Free Trial