Le blog de l'entreprise Lattice LIFCL-40-8BG400C LIFCL-40 CrossLink-NX FPGA implémentant le pontage MIPI et l'IA en périphérie

Shenzhen Mingjiada Electronics Co., Ltd. fournit/recycle Lattice Le FPGA FPGA CrossLink-NX™ pour le pontage MIPI et l'IA en périphérie.

I. Le FPGA Vue d'ensemble du cœur : Conçu pour la vision embarquée et l'intelligence en périphérie

Le Lattice Le FPGA appartient à la série de FPGA Lattice CrossLink-NX™. Construit sur la plateforme de processus Nexus FD-SOI 28 nm, il s'agit d'une puce spécifique à la vision embarquée qui équilibre faible consommation d'énergie, taille compacte, haute fiabilité et hautes performances. Conçu pour le pontage d'interface MIPI, la fusion multi-capteurs et les scénarios d'inférence d'IA légers en périphérie, il répond parfaitement aux exigences de mise à niveau intelligente dans les secteurs de l'automobile, de la vision industrielle, de la surveillance de sécurité et de l'électronique grand public. Conditionnée dans un BGA à 400 broches, cette puce offre d'abondantes ressources logiques et des interfaces matérielles complètes. Elle permet la conversion de protocole MIPI et l'intégration de calcul d'IA en périphérie sans périphériques supplémentaires, éliminant ainsi l'architecture à double puce (« puce de pont + accélérateur IA ») trouvée dans les solutions traditionnelles. Cela réduit considérablement l'empreinte matérielle, la consommation d'énergie et le coût.

1. Paramètres matériels clés

- Ressources logiques et mémoire : Intègre 39K cellules logiques avec une mémoire sur puce allant jusqu'à 3 Mo (y compris EBR et LRAM). Son rapport mémoire/logique favorable permet une mise en cache efficace des données d'images vidéo et le stockage des poids des modèles d'IA, minimisant les accès à la mémoire externe et réduisant la latence de transmission des données.

- Puissance de calcul : Intègre 56 modules DSP multiplicateur 18x18, fournissant d'abondantes ressources de calcul pour prendre en charge efficacement l'inférence CNN légère. Cela répond aux exigences de calcul des tâches d'IA en périphérie telles que la détection d'objets, la classification d'images et la reconnaissance de défauts.

- Avantages de l'interface codée en dur : Intègre deux ensembles d'émetteurs-récepteurs codés en dur MIPI D-PHY à 4 canaux, chaque canal fonctionnant à 2,5 Gbit/s avec une bande passante agrégée PHY unique de 10 Gbit/s. Prend en charge nativement l'entrée de capteur d'image MIPI CSI-2 et la sortie d'affichage MIPI DSI, permettant une transmission de signal MIPI à haute vitesse sans consommer de ressources logiques. Prend également en charge les interfaces PCIe 5 Gbit/s, LVDS/SubLVDS/OpenLDI programmables, offrant une compatibilité exceptionnelle de conversion de protocole.

- Faible consommation d'énergie et fiabilité : Atteint une consommation d'énergie 75 % inférieure à celle des FPGA similaires, avec un courant de veille inférieur à 70 µA. Prend en charge la configuration rapide des E/S en 3 ms et le démarrage instantané du système en 8 ms. Le taux d'erreur doux est réduit de plus de 100 fois, ce qui le rend adapté aux environnements industriels et automobiles exigeants tout en répondant aux exigences d'un fonctionnement stable à long terme.

2. Avantages technologiques clés

Par rapport aux puces de pont ASIC traditionnelles et aux FPGA à usage général, le Le FPGA réalise **l'intégration sur une seule puce du pontage MIPI et de l'IA en périphérie**. Il combine la faible latence et la haute stabilité des puces de pont dédiées avec la flexibilité programmable des FPGA, permettant une adaptation rapide à divers appareils MIPI et modèles d'IA personnalisés tout en maintenant une faible consommation d'énergie et un facteur de forme compact. Cela résout les défis clés dans les scénarios de calcul en périphérie, notamment la puissance de calcul insuffisante, l'incompatibilité des interfaces, les contraintes d'alimentation et les composants surdimensionnés.

II. Fonctionnalité de pontage MIPI : Haute vitesse, flexibilité, adaptabilité multi-scénarios

MIPI CSI-2/DSI représente les interfaces haut débit grand public pour les capteurs d'image et les écrans. Cependant, les processeurs et les contrôleurs hôtes grand public souffrent souvent d'une disponibilité d'interface limitée et d'une compatibilité de protocole inadéquate. Le Le FPGA exploite son cœur matériel MIPI D-PHY natif et son architecture logique programmable pour permettre un pontage MIPI et une conversion de protocole diversifiés. Cela répond aux exigences d'intégration multi-capteurs, d'extension d'interface et de relais de signal, offrant une transmission sans compression et à faible latence de flux vidéo haute définition tout au long.

1. Architecture typique de solution de pontage MIPI

Pontage d'agrégation multi-capteurs MIPI

Pour des applications telles que les systèmes de vue panoramique automobile, l'inspection multi-caméras industrielle et la surveillance panoramique de sécurité, le Le FPGA agrège les données de jusqu'à 11 capteurs MIPI CSI-2. En utilisant la technologie de canal virtuel, il arbitre et assemble plusieurs flux de données, consolidant les données de capteurs dispersées en un seul flux de données MIPI à haute vitesse sortant vers le processeur hôte. Cela résout élégamment la limitation des interfaces MIPI insuffisantes sur le contrôleur hôte. Prenant simultanément en charge l'assemblage d'images horizontales/verticales, il exploite la mémoire sur puce et les tampons DDR externes pour produire des images panoramiques ultra haute définition, répondant aux applications de surveillance visuelle grand champ.

Conversion de protocole d'interface MIPI et hétérogène

En utilisant les E/S programmables et les ressources SERDES haut débit, cette puce facilite la conversion bidirectionnelle entre MIPI CSI-2 et des interfaces telles que PCIe, USB3.2 Gen1, LVDS et les interfaces CMOS. Par exemple, elle convertit les signaux de capteur MIPI en flux vidéo USB3.0 pour une connexion directe aux PC/contrôleurs embarqués, ou transforme les signaux d'affichage LVDS traditionnels en signaux MIPI DSI pour piloter des écrans haute définition. Cela facilite les mises à niveau intelligentes des équipements existants et l'interconnectivité des appareils multiplateformes, permettant l'adaptation de l'interface sans remplacer les contrôleurs principaux.

Répétition et division de signal MIPI

Pour les scénarios de transmission longue distance et de multiplexage multi-appareils, cela permet l'amplification de répétition de signal MIPI et la sortie un-à-plusieurs. Cela garantit l'intégrité de la transmission de signal à haute vitesse tout en fournissant simultanément un signal de capteur unique à plusieurs unités d'affichage/traitement, améliorant ainsi l'évolutivité du système. Convient aux systèmes d'infodivertissement automobile, à la liaison d'affichage industrielle et à des applications similaires.

2. Avantages clés de la mise en œuvre du pontage

- Transmission à faible latence : Un MIPI D-PHY codé en dur combiné à une architecture logique programmable permet une latence de transfert de flux vidéo inférieure à la milliseconde. Cela garantit des performances vidéo haute définition en temps réel, ce qui le rend adapté aux scénarios de surveillance dynamique et de contrôle en temps réel.

- Transmission sans perte : Prend en charge le transfert de données vidéo sans perte, préservant la qualité d'image d'origine et évitant la dégradation causée par la compression et le décodage. Cela répond aux exigences d'inspection visuelle de haute précision.

- Adaptabilité programmable : La configuration flexible du nombre de canaux MIPI, des taux de transmission et des paramètres de protocole permet une adaptation rapide à divers modèles de capteurs et d'affichage, raccourcissant les cycles de développement de produits.

III. Mise en œuvre de l'IA en périphérie : Intelligence légère, faible consommation, en temps réel sur l'appareil

Le FPGA LIFCL-40-8BG400C

exploite la pile de solutions Lattice sensAI™ et la chaîne d'outils de développement Radiant pour effectuer une inférence d'IA légère en périphérie sans dépendre de la puissance de calcul du cloud ou de contrôleurs haut de gamme. Il réalise un processus en boucle fermée complète comprenant **l'acquisition de flux vidéo MIPI – pré-traitement – inférence IA – sortie des résultats**, allégeant la pression de calcul sur le contrôleur principal et offrant une véritable intelligence en périphérie.

1. Processus de déploiement de l'IA en périphérie

Adaptation et optimisation du modèle

Adaptés aux scénarios de périphérie avec des contraintes de calcul et de stockage, des modèles légers tels que MobileNet, YOLO-tiny et CNN sont sélectionnés. La chaîne d'outils sensAI effectue l'élagage, la quantification et la compilation des modèles pour compresser les poids en vue d'une adaptation au stockage sur puce, réduisant ainsi la surcharge de calcul tout en maintenant la précision de l'inférence. Cela garantit un alignement transparent entre les modèles et les ressources matérielles de la puce.

Coordination du pré-traitement vidéo et de l'inférence

En exploitant la logique programmable de la puce, le pré-traitement d'image est exécuté de manière synchrone pendant la transmission du pontage MIPI. Cela comprend le dématriçage, la correction des couleurs, la correction gamma et le recadrage de la région d'intérêt (ROI) pour éliminer les données redondantes, réduisant ainsi la surcharge de calcul pour l'inférence d'IA. Les données d'image pré-traitées sont directement introduites dans l'unité d'accélération DSP pour effectuer des tâches d'inférence telles que la détection d'objets, la reconnaissance faciale, l'identification de défauts et les statistiques de comptage. Cette opération de pipeline de bout en bout garantit un traitement transparent sans goulots d'étranglement de données.

Sortie d'inférence et interopérabilité

Les résultats de l'inférence d'IA peuvent être sortis de manière synchrone via MIPI, GPIO, UART ou d'autres interfaces. Ces sorties peuvent être superposées au flux vidéo brut pour l'affichage ou transmises à la puce de contrôle principale pour déclencher des actions ultérieures. Cela permet une boucle fermée intelligente côté périphérie de « perception-décision-exécution » sans implication du cloud, offrant des temps de réponse plus rapides et une confidentialité des données améliorée.

2. Scénarios d'application typiques de l'IA en périphérie

- Inspection de vision industrielle : S'intègre aux caméras industrielles MIPI pour effectuer l'identification des défauts en temps réel, le comptage des pièces et la vérification des spécifications, remplaçant l'inspection manuelle tout en améliorant la précision et l'efficacité.

- Perception intelligente dans le véhicule : Agrège les données des caméras embarquées MIPI pour permettre la surveillance de la fatigue du conducteur, la détection d'obstacles et les avertissements de sortie de voie, prenant en charge les systèmes avancés d'aide à la conduite avec une faible consommation d'énergie adaptée aux environnements d'alimentation automobile.

- Surveillance de sécurité : Met en œuvre la détection de forme humaine, les alertes d'intrusion périmétrique et la reconnaissance faciale. L'inférence et l'alerte locales réduisent la charge de transmission du cloud tout en améliorant la réactivité des alertes.

- Interaction électronique grand public : Pilote les caméras et les écrans MIPI pour la reconnaissance gestuelle et le déverrouillage par reconnaissance faciale, avec un fonctionnement à faible consommation optimisé pour l'autonomie des appareils portables.

IV. Solution de convergence sur une seule puce : Avantages synergiques du pontage MIPI + IA en périphérieLe FPGA LIFCL-40-8BG400C

réalise l'intégration sur une seule puce du pontage MIPI et de l'IA en périphérie, offrant des avantages synergiques fondamentaux significatifs :

- Matériel minimaliste, facteur de forme considérablement réduit : Le remplacement sur une seule puce des solutions à double puce réduit l'espace de disposition du PCB, permettant l'adaptation aux appareils compacts et portables tout en réduisant les coûts de nomenclature et en simplifiant le débogage matériel.

- Fonctionnement à faible consommation, autonomie sans souci : La technologie de processus FD-SOI combinée à l'optimisation des cœurs matériels permet une consommation d'énergie totale du système inférieure à 1,5 W, avec une puissance de veille dans la gamme des microampères. Cela facilite le fonctionnement sur batterie dans les scénarios de périphérie sans refroidissement actif.

- Faible latence sur toute la chaîne : Élimine les retards de transmission de données inter-puces, permettant une capture vidéo, un pontage et une inférence d'IA transparents pour répondre aux exigences strictes en temps réel.

- Haute fiabilité pour les environnements difficiles : Prend en charge les plages de température industrielles/automobiles avec une résistance robuste aux interférences. La capacité de démarrage instantané garantit un démarrage rapide des appareils pour les applications industrielles et automobiles.

V. ConclusionLe FPGA LIFCL-40-8BG400C