CaptureKit

Sur les plateformes Apple, capturer de l'audio et de la vidéo semble simple en surface. En réalité, dès qu'on sort du cas trivial — microphone + fichier M4A — la fragmentation des APIs rend tout complexe. AVCaptureSession pour la caméra, AudioEngine pour le micro, ScreenCaptureKit pour l'écran sur macOS, ReplayKit sur iOS, VideoToolbox pour encoder en H.264, AudioToolbox pour AAC… Chaque composant a sa propre surface d'API, ses propres contraintes de threading, ses propres formats de buffer.

En construisant l'écosystème streaming d'Atelier Socle — HLSKit, RTMPKit, SRTKit, IcecastKit — il manquait la brique la plus fondamentale : capter le signal. Chaque transport avait besoin de buffers audio encodés, de frames vidéo compressées, d'une gestion cohérente des permissions, du monitoring de niveaux. Et chaque app devait réimplémenter la même logique de capture, avec les mêmes pièges.

CaptureKit unifie tout ça. Un seul CaptureSession orchestre sources, encodeurs et sorties. Un seul StreamingPipeline connecte la capture à n'importe quel transport via un protocole StreamingTransport. Le tout en Swift 6.2 strict — actors, AsyncStream, Sendable partout — sans Combine, sans dépendance externe, avec un support natif de macOS 14, iOS 17 et visionOS 1.

CaptureKit couvre l'ensemble du chemin de capture : de la source matérielle jusqu'à la sortie encodée. Sources audio et vidéo, encodeurs matériels, sorties fichier ou streaming, metering temps réel, découverte de périphériques, gestion des permissions — le tout dans une API unifiée.

Enregistrer le microphone en AAC vers un fichier M4A :

Via Swift Package Manager, en ajoutant la dépendance dans votre Package.swift :

Puis dans le target concerné :

CaptureKit s'organise autour de trois protocoles fondamentaux qui se composent librement. Chaque source produit un AsyncStream de buffers bruts, chaque encodeur transforme ces buffers en données compressées, et chaque sortie consomme les données encodées. Le CaptureSession orchestre le tout.

Neuf sources audio couvrent tous les cas d'usage — du microphone intégré au générateur de tonalité. Chaque source se configure avec un AudioSourceConfiguration et produit un AsyncStream<AudioBuffer>. Le MicrophoneSource expose notamment le contrôle de gain automatique, l'annulation d'écho, la suppression de bruit et l'isolation vocale.

L'AudioSourceConfiguration fournit des presets prêts à l'emploi :

Le CameraSource gère les caméras intégrées et externes avec contrôle complet — zoom, torche, mode de mise au point, exposition, balance des blancs, stabilisation, données de profondeur, et capture photo pendant l'enregistrement.

Les presets de configuration vidéo :

ScreenCaptureSource unifie trois backends sous une même API. Sur macOS, ScreenCaptureKit offre la capture d'écran, de fenêtre, d'application ou de région. Sur iOS, ReplayKit capture l'app en cours, tandis que Broadcast Extension permet la capture système complète via un App Group.

CaptureKit expose 12 codecs — 6 audio et 6 vidéo — chacun implémenté comme un actor avec des presets de configuration. Les encodeurs vidéo utilisent VideoToolbox pour l'accélération matérielle, les encodeurs audio passent par AudioToolbox.

Le FileOutput enregistre vers 7 formats de conteneur avec support de la rotation automatique par durée et/ou taille. Les métadonnées (titre, artiste, album) sont embarquées dans le fichier.

Le StreamingPipeline est la pièce maîtresse pour le live. Il orchestre la capture, l'encodage et l'envoi dans un pipeline unifié. Trois modes de fonctionnement — audio seul, vidéo seule, ou muxé audio+vidéo. En mode muxé, le pipeline attend la première keyframe vidéo, extrait les parameter sets (SPS/PPS pour H.264, VPS/SPS/PPS pour HEVC), les envoie via sendConfiguration, puis démarre le flux interleaved audio+vidéo avec une horloge monotone partagée.

Le protocole StreamingTransport est volontairement minimal — quatre méthodes à implémenter :

Les implémentations concrètes — bridges RTMP, HLS, SRT, Icecast — vivent dans l'app consommatrice, ce qui maintient CaptureKit transport-agnostic. L'app de démo inclut des bridges fonctionnels pour les quatre protocoles de l'écosystème Atelier Socle.

Un bridge RTMP connecte CaptureKit à RTMPKit pour diffuser sur Twitch, YouTube, Facebook et les autres plateformes RTMP :

Pour le streaming audio vers Icecast/SHOUTcast, le bridge IcecastKit envoie de l'AAC ou du MP3 en mode audioOnly :

L'AudioMeter fournit des niveaux audio en temps réel avec cinq modes d'analyse et des données de waveform pour la visualisation. Il accepte des buffers provenant de n'importe quelle source et expose deux AsyncStream — un pour les niveaux, un pour les waveforms.

25 presets couvrent les cas d'usage courants, des plateformes de streaming aux workflows professionnels. Chaque preset configure automatiquement le codec, le bitrate, la résolution et le frame rate.

Le DeviceDiscovery surveille les connexions et déconnexions de périphériques audio et vidéo en temps réel via un AsyncStream<DeviceChangeEvent>. Chaque périphérique expose ses capacités, son type de connexion et ses formats supportés.

Le PermissionManager unifie la vérification et la demande de permissions pour 6 types de ressources. Les changements de statut sont exposés via un AsyncStream<PermissionChange> :

Pendant la capture, la session permet de changer de source à chaud, d'ajuster les bitrates, de forcer des keyframes et de surveiller 17 types d'événements — du changement d'état aux frames perdues en passant par la qualité du transport.

Sur visionOS, le SpatialCameraSource capture en MV-HEVC (Multiview HEVC) pour produire de la vidéo spatiale stéréoscopique, visualisable nativement dans Apple Vision Pro. Le MVHEVCEncoder gère l'encodage avec les layouts appropriés.

La bibliothèque est organisée en modules clairement séparés, chacun avec une responsabilité bien définie :

La suite de tests couvre l'ensemble de la bibliothèque avec des tests unitaires, d'intégration, end-to-end et showcase. Les tests showcase illustrent les patterns d'utilisation recommandés.

La documentation DocC couvre 17 guides :

CaptureKit est la brique de capture de l'écosystème streaming d'Atelier Socle. Elle s'intègre avec les quatre bibliothèques de transport via le protocole StreamingTransport :