"Les résultats montrent qu'AMALIA-DPO [Direct Preference Optimisation] obtient la meilleure performance parmi les modèles entièrement ouverts, avec une marge considérable, et même les meilleurs résultats parmi tous les modèles en lexicologie et en sémantique, ce qui démontre une solide maîtrise des compétences linguistiques spécifiques du portugais dans plusieurs catégories.

Le LLM [Large Language Model] portugais Amália est en constante évolution grâce au consortium d'universités portugaises qui en dirigent le développement.

Selon le rapport technique, dans une évaluation approfondie du portugais européen, Amália présente des avantages évidents par rapport à d'autres modèles ouverts.

Dans les examens nationaux portugais (questions à réponse longue en portugais), Amália "obtient le meilleur score de tous les modèles entièrement libres, démontrant une bonne compréhension des phrases complexes et une production de texte cohérente, avec une grammaire et un registre appropriés".

Dans ce rapport, "nous présentons un LLM qui donne la priorité à la langue portugaise européenne et à son contexte culturel", lit-on dans le document, qui précise qu'Amália utilise des données provenant d'arquivo.pt et des données de post-entraînement préparées spécifiquement pour le portugais européen.

Le document indique que le LLM a été formé en utilisant des stratégies de modélisation linguistique et d'ajustement de l'enseignement.

"Un défi fondamental dans le développement de ce modèle a été le manque de points de référence pour suivre les progrès de la performance du modèle", note le rapport.

Pour pallier cette limitation, "nous avons utilisé des examens nationaux de PT-PT, créé une référence linguistique et traduit plusieurs ensembles de données" à l'aide d'un modèle de traduction automatique (TA) de haute qualité.

"L'évaluation a montré qu'Amália surpasse tous les modèles open-source précédents en PT-PT et de nombreux modèles "open-weight" [qui partagent les poids (paramètres entraînés)]", conclut le rapport technique.

"Les expériences sur la compréhension du langage et les benchmarks d'inférence montrent des résultats de pointe ou comparables, tandis que dans les benchmarks de génération de langage, le modèle excelle dans la qualité du texte généré. Les expériences de sécurité montrent également que le modèle est conforme à l'état de l'art", peut-on lire dans le rapport.

À l'avenir, "nous explorerons d'autres méthodes d'apprentissage par renforcement et développerons de nouvelles combinaisons de données d'entraînement pour améliorer les capacités de raisonnement dans PT-PT".

En d'autres termes, dans la pratique, ces résultats indiquent qu'Amália devient un assistant fiable en portugais européen.

Le rapport a été rédigé par João Magalhães (UNL) et André Martins (IST), les coordinateurs, et une équipe d'environ 20 personnes de l'Université de Lisbonne et de l'Universidade Nova de Lisboa.

Le modèle Amalia est développé par une équipe composée de l'Universidade Nova de Lisboa, de l'Instituto Superior Técnico, de l'Universidade de Coimbra, de l'Universidade do Porto, de l'Universidade do Minho et de la Fundação para a Ciência e Tecnologia.

Le processus de création d'Amália a commencé par la collecte et le traitement de données portugaises européennes à grande échelle, qui ont été filtrées en fonction de leur pertinence et de leur qualité linguistique. Les archives du Web portugais ont été utilisées à cette fin. Le modèle a été pré-entraîné sur ces données, puis affiné sur d'autres ensembles de données pour suivre des instructions, raisonner et résoudre des problèmes.

Une infrastructure informatique à grande échelle a été utilisée pour former les modèles, à l'aide de superordinateurs nationaux (Mare Nostrum 5 et Deucalion) et européens (par le biais du réseau EuroHPC).