OpenELM, un modèle de langage open source pensé pour l'efficience par Apple
Un peu avant le grand raout de la conférence WWDC de 2024, Apple a lancé un nouveau modèle de langage pour l'entraînement des IA, OpenELM. ELM signifie Efficient Language Models et le mot Open montre bien une chose : il est open source (et disponible sur GitHub).
C'est un mouvement intéressant de la part d'Apple, quand une partie de ses concurrents n'ouvrent pas les sources de leurs modèles. OpenELM existe en quatre versions : avec 270 et 450 millions de paramètres et avec 1 ou 3 milliards de paramètres. Ce sont des valeurs qui ont l'avantage de permettre un fonctionnement en local et Apple reste donc assez loin de ce que permettent d'autres modèles comme Llama 3 et ses 8 ou 70 milliards de paramètres. Toutes les rumeurs actuelles montrent qu'Apple compte visiblement mettre en avant un fonctionnement en local pour ses fonctions liées à l'IA avec iOS 18, et ce nouveau modèle pourrait faire partie des briques des nouveautés, surtout avec le côté efficient mis en avant.
iOS 18 : les nouveautés liées à l’IA se passeraient en partie du cloud
Lors de la WWDC, ça va sûrement comparer le taux de réponses favorables / énergie dépensé (et peut-être paramètres).
Quand on voit qu’avec 70 milliards de paramètres, les réponses sont pas oufs des fois, j’espère qu’ils auront une effet waouh!!! Car Siri ne joue pas en leur faveur pour se hyper suffisamment.
très bien, mais à part écrire mes commentaires sarcastiques, ça va m'apporter quoi ?
"Efficience = capacité de rendement, performance (dans un domaine technique) : l'efficience d'un système, d'une machine, d'une entreprise. recommandation : Dans l'usage courant, non technique, préférer efficacité, notamment pour parler d'une personne"
mouais... ça passe... je vais pas crier depuis ma fenêtre à l'anglicisme...
et donc:
Oh, génial, une nouvelle tentative d'Apple pour réinventer la roue du modèle de langage open source. Parce, vous savez, le monde attendait avec impatience qu'Apple apporte sa touche magique à quelque chose qui existe déjà depuis un moment. J'imagine que cette fois-ci, leur modèle sera tellement efficace qu'il rendra tous les autres obsolètes en un clin d'œil.
et aussi:
Alors comme ça, Apple se met à pondre un modèle de langage open source pour l'efficacité ? Ça me rappelle cette fois où ils ont tenté de nous vendre un épluche-pommes high-tech à 1000 balles. Ah, ça, ils ont le sens du commerce chez Apple, même quand ils veulent nous refourguer des trucs dont on n'a pas vraiment besoin.
Vive les ZIA !
En gros : on va avoir une IA quasiment aussi conne que Siri actuellement. Génial 👍
@mssinkro
Au moins celle ci restera à sa place et ne te remplacera pas, il faut voir le bon côté des choses
@mssinkro
Au moins celle ci restera à sa place et ne te remplacera pas, il faut voir le bon côté des choses
@ mssinkro
> on va avoir une IA quasiment aussi conne que Siri
On a déjà vos commentaires.
Êtes-vous donc une IA ? 🤪
On n’a même pas accès en recherche 🤨,
à tous « les paramètres » des réglages d’iOS …
Alors qu’Appleuu y donne accès pour jouer avec,
Sous forme de tableau de bords synthétiques 🤔
Qu’elle puisse en générer pour répondre à des besoins d’actions, répondant à nos besoins 🧐
Vive le SLM (Slim Language model)
Le local c'est bien MAIS ça va une nouvelle fois leur permettre de nous annoncer que ce sera donc réservé aux modèles les plus récents car il faudra le dernier processeur amazing.
@bidibout
Perso je n’y vois rien de bien. On a quasiment tous accès à internet, là ça va juste bouffer des ressources pour un truc très moyen qui va très peu évoluer dans le temps et être rapidement à la ramasse
@armandgz123
Tu as raison, si je dis que je trouve ça bien c'est toujours dans l'idée de la confidentialité et donc faire en local est un plus.
Il me semble que OpenELM est pour l’entraînement des LLM ou de pouvoir entraîner sont propre LLM enfin pour le spécialisé dans un domaine précis
Je vois bien une API spéciale pour que les développeurs puissent jouer avec et spécialisé sont LLM par rapport au domaine de sont application 😈
C’est quoi un paramètre dans ce contexte ? J’imagine que ça n’a strictement rien à voir, mais des fois si une IA pouvait m’aider à automatiser iOS je ne serais pas contre !
j'ai testé un LLM à 1,5 milliards de paramètres, les réponses étaient complètement à coté de la plaque.
J'imagine même pas 270 millions.
Mais bon, avec Apple, on ne sait jamais.
@Dylem
Quel LLM 1,5B avez-vous testé ? Pour quel cas d’usage ? Comment l’avez-vous déployé ? Quelle quantization ? Comment était codée votre fonction pour faire l’inférence ? Quelle était votre «question» et comment était-elle formulée ? Y’avait-il un prompt-system ? Bref vous l’aurez compris tout ça n’est pas aussi simple qu’il n’y paraît. Et selon leur taille / conception / entraînement ces modèles servent à différents usages.
@jopaone
https://apps.apple.com/us/app/private-llm-local-ai-chatbot/id6448106860
;)