Foundation Models : L'IA On-Device d'Apple pour les Développeurs

Avec iOS 26, Apple ouvre enfin les portes de son modèle de langage embarqué aux développeurs tiers. Le Framework Foundation Models permet d'intégrer des capacités d'intelligence artificielle directement dans vos applications, sans serveur distant, sans coût d'inférence, et avec une confidentialité totale des données utilisateur.

Ce guide explore en profondeur cette nouvelle API : de la simple génération de texte jusqu'aux architectures complexes avec Tool Calling, en passant par la génération guidée type-safe qui fait la force de ce framework.

Cet article couvre l'ensemble du Framework Foundation Models :

Le Framework Foundation Models s'appuie sur Apple Intelligence, disponible uniquement sur les appareils équipés d'une Neural Engine suffisamment puissante :

Trois conditions doivent être réunies pour utiliser le framework :

Le modèle (~3 milliards de paramètres) pèse environ 3 Go et se télécharge automatiquement après l'activation d'Apple Intelligence. Ce téléchargement s'effectue en arrière-plan et peut prendre plusieurs minutes selon la connexion.

La classe LanguageModelSession est le point d'entrée principal du framework. Elle gère la communication avec le modèle et maintient l'historique de la conversation :

Cette approche attend que le modèle génère l'intégralité de sa réponse avant de la retourner. Pour des réponses longues, l'utilisateur peut avoir l'impression que l'application ne répond plus.

Pour une expérience utilisateur fluide, utilisez streamResponse qui retourne un AsyncThrowingStream :

Le streaming permet d'afficher le texte caractère par caractère, exactement comme les interfaces de chat modernes. L'utilisateur voit la réponse se construire en temps réel.

Les instructions définissent le comportement et la personnalité du modèle pour toute la durée de la session :

Les instructions sont plus puissantes qu'un simple préfixe de prompt. Le modèle les considère comme des directives prioritaires et les applique de manière cohérente tout au long de la conversation.

La génération guidée est la fonctionnalité phare du Framework Foundation Models. Elle permet d'obtenir des réponses structurées sous forme de types Swift natifs, sans parsing JSON fragile.

Annotez vos structures avec @Generable pour que le modèle puisse les instancier directement :

Le modèle utilise le "constrained decoding" pour garantir que la sortie respecte exactement la structure définie. Pas de JSON malformé, pas de champs manquants.

Le macro @Guide permet d'affiner le comportement de génération pour chaque propriété :

Les contraintes disponibles incluent :

L'ordre de déclaration des propriétés est crucial. Le modèle génère les valeurs séquentiellement, de haut en bas :

Si vous placez summary avant mainTopics, le modèle ne pourra pas s'appuyer sur les sujets identifiés pour construire le résumé.

Combinez génération guidée et streaming pour une UX optimale :

Le type PartiallyGenerated expose chaque propriété comme optionnelle, permettant d'afficher les valeurs au fur et à mesure de leur génération.

Le modèle embarqué a une connaissance limitée (données d'entraînement jusqu'à 2023) et aucun accès aux données externes. Le Tool Calling permet de combler ces lacunes en lui donnant accès à vos APIs.

Un Tool implémente le protocole Tool avec les éléments suivants :

Le name est auto-généré depuis le nom de la struct/class et peut être omis.

Les tools sont passés à la session lors de sa création :

Voici un exemple réaliste intégrant HealthKit pour les données de santé :

Le modèle peut appeler plusieurs tools en séquence pour répondre à une requête complexe :

Le framework gère automatiquement l'insertion des résultats des tools dans le transcript de la conversation.

Le Framework Foundation Models définit des erreurs spécifiques via GenerationError :

Apple applique des filtres de sécurité stricts et non désactivables. Certains contenus déclenchent systématiquement une violation :

Ces guardrails sont parfois trop restrictifs (un article de presse sur un décès peut être bloqué). Apple travaille à améliorer ces faux positifs — signalez-les via Feedback Assistant.

Apple recommande d'éviter ces cas d'usage :

Le modèle excelle en revanche pour :

Le chargement initial du modèle prend quelques secondes. Utilisez prewarm() pour anticiper. Cette méthode est synchrone et ne lance pas d'erreur — elle retourne immédiatement et le chargement s'effectue en arrière-plan :

Appelez prewarm() dès que vous anticipez l'utilisation du modèle (ex: quand l'utilisateur ouvre l'écran de chat).

Avec ~3 Go de RAM utilisés par le modèle, surveillez l'empreinte mémoire :

Chaque propriété d'un type @Generable est générée séquentiellement. Plus il y a de propriétés, plus la génération est lente :

Concevez vos types Generable avec uniquement les propriétés que vous afficherez réellement.

Voici une implémentation complète d'un assistant conversationnel avec SwiftUI et iOS 26 :

Cette implémentation gère :

Le Framework Foundation Models ouvre des possibilités considérables pour les applications iOS. Il ne remplace pas les modèles cloud pour les tâches complexes, mais excelle pour les fonctionnalités de qualité de vie qui fonctionnent offline et respectent la vie privée.