Bonsai 27B : l'IA open-source qui tient dans un iPhone
PrismML présente Bonsai 27B, un modèle d'IA open-source compressé à 3,9 Go capable de tourner sur un iPhone 17 Pro Max. La technologie, déjà testée par Apple, conserve 90-95% des performances du modèle original malgré une compression agressive des poids du réseau neuronal.
« PrismML CEO Babak Hassibi confirmed that Apple and other companies are testing the models for speed, power draw, and performance. » — The Decoder
Que faut-il retenir ?
- Bonsai 27B existe en deux versions : 5,9 Go pour ordinateurs portables et 3,9 Go pour iPhone.
- La compression réduit les poids du réseau neuronal à 1-2 bits contre 16 bits habituellement.
- Le modèle conserve 95% des performances sur 15 benchmarks, 90% pour la version compacte.
- Sur iPhone 17 Pro Max, le modèle génère 11 tokens/seconde et 67 000 tokens par charge complète.
Pourquoi cette nouvelle compte-t-elle ?
Cette technologie permet d'exécuter des modèles d'IA avancés directement sur appareil, réduisant les coûts cloud et améliorant la confidentialité. Les développeurs gagnent en flexibilité pour créer des assistants IA locaux. Apple pourrait intégrer cette solution pour rivaliser dans l'IA mobile.
3,9 Go pour la version iPhone de Bonsai 27B
💬 Babak Hassibi, PDG de PrismML
Public concerné : développeurs, entreprises
Comment Bonsai 27B parvient-il à réduire la taille des modèles d'IA ?
PrismML utilise une compression agressive des poids du réseau neuronal, passant de 16 bits à seulement 1-2 bits par poids. Cette technique permet de diviser par 5 la taille du modèle tout en conservant 90-95% des performances originales.
🔧 Outils mentionnés