Modèle AI Oyo Epesi Ba Appareils Ya Edge Miso Na Dos Ya Mitu Na Bango

Tableau ya ba liens

EMONANAKA TE

1 LILOBA YA EBANDELI

2 LIBOSO: DETECTION YA OBJET NA 3D OMNIDIRECTIONNEL

3 EXPERIMENT YA LIBOSO

3.1 Bobongisi ya bomekoli

3.2 Botali

3.3 Bokuse mpe mikakatano

4 LILOBA YA LIBOSO YA PANOPTICUS

5 DETECTION YA OBJET NA 3D OMNIDIRECTIONNEL MULTI-BRANCHES

5.1 Bokeli ya modèle

6 EXECUTION SPATIEL-ADAPTIVE NA LIBOSO

6.1 Bosakoli ya bosali

5.2 Bobongisi ya modèle

6.2 Manaka ya bosali

7 BOSALELI YA KOSALELA

8 BOTALELI YA KOSALELA

8.1 Esika ya komeka mpe Ensemble ya ba données

8.2 Bobongisi ya bomekoli

8.3 Bosali ya mosala

8.4 Bokasi ya bokasi

8.5 Botalisi ya biteni

8.6 Mosolo ya likolo

9 MOSALA OYO EZALI NA NTANGO

10 MASOLO MPE MOSALA OYO EZALI NA KOYA

11 BOSUKI MPE BILOKO YA KOSALELA

EMONANAKA TE

Détection ya objet 3D na ba vues omnidirectionnelles epesaka nzela na ba applications critiques ya sécurité lokola navigation ya robot mobile. Ba applications ya boye ezali kosala mingi mingi na ba appareils ya bord oyo ezali na ba ressources, ko faciliter traitement ya confiance sans soucis ya vie privée to retard ya réseau. Mpo na kopesa nzela na bopanzi sango na ntalo moke, ba caméras ezwami mingi lokola alternative ya talo moke na esika ya ba capteurs LiDAR. Kasi, charge ya mosala oyo esɛngaka kosala ba calculs mpo na kozwa performance ya likolo ya ba solutions basées na caméra etikali défi mpo na ba limitations ya calcul ya ba appareils ya bord. Na mokanda oyo, tozali kolakisa Panopticus, système oyo esalemi na bokebi mpo na détection 3D omnidirectionnelle mpe basée na caméra na ba appareils ya bord. Panopticus esalelaka schéma ya détection multi-branch adaptatif oyo e comptabiliser ba complexités spatiale. Pona ko optimiser précision na kati ya ba limite ya latence, Panopticus e ajuster dynamiquement architecture pe ba opérations ya modèle na kotalaka ba ressources ya bord oyo ezali pe ba caractéristiques spatiale. Tosalelaki Panopticus na ba appareils misato ya bord mpe tosalaki ba expériences na ba environnements ya mokili ya solo oyo esalemi na ensemble ya ba données publics auto-conduites mpe ensemble ya ba données na biso ya caméra mobile 360°. Ba résultats ya expérience elakisaki que Panopticus ebongisaka précision na 62% na moyenne soki totali objectif ya latence strict ya 33ms. Lisusu, Panopticus ekokisaka réduction ya latence ya 2,1× na moyenne soki tokokanisi yango na ba bases.

1 LILOBA YA EBANDELI

Elongo na bokóli oyo esalemi na makambo ya komona na ordinatɛrɛ mpe ya ba réseaux neuronaux profonds (DNN), koyeba biloko na 3D ekómi eloko ya ntina mingi na makambo mingi oyo basalelaka. Ndakisa, mituka oyo ekoki kosala yango moko etie motema na bososoli ya sikisiki mpe na tango ya solo ya biloko na esika mpo na kosala banzela ya bokumbi na bozangi likama [55]. Lokola biloko ekoki kopusana uta na ngámbo nyonso, ndenge emonisami na elilingi 1, ezali na ntina mingi kosala ete bato báyeba yango na nzela ya esika ya kotala (FOV) oyo ezali na 360°. Perception omnidirectionnelle ya boye esengaka traitement ya ba quantités substantielles ya ba données capteurs mpe esengaka ba appareils informatiques ya haut de gamme na ba accélérateurs AI pona traitement en temps réel [47]. Kala mingi te, bosenga ya ba applications mobiles oyo esalelaka détection omnidirectionnelle ya objet 3D ekomi mingi. Ba robots to ba drones oyo epesaka ba services personnels lokola surveillance ekoki kozwa litomba na technologie ya boye [16]. Lisusu, koyeba mikakatano oyo ezali zingazinga mpe kopesa makebisi oyo eyokamaka mpo na makama oyo ekoki kobima ekoki kosalisa bato oyo bazali na mikakatano ya komona [39, 56]. Esengeli kosala ba applications personnalisées oyo na dispositif ya bord mpo na ko minimiser ba problèmes ya vie privée ya usager to ba frais généraux ya réseau. Kasi, ata série ya sika ya NVIDIA Jetson Orin [8], oyo epesaka puissance ya calcul ya bord avancé, ezali na ba noyaux Tensor ya 6,7× à 13,5× moke mpo na accélération ya AI soki tokokanisi yango na A100 [9] ya makasi oyo esalelamaka mpo na informatique ya cloud, oyo ezali na architecture ya GPU ya sous-jacente ndenge moko. Lisusu, ba applications ya edge AI esengeli kotalela makambo ya malamu lokola ba déploiements oyo ezali na talo moke. Yango wana, milende mingi esalemi mpo na kosunga ba applications ya boye na ba caméras ya talo moke [1, 38, 42, 58]. Concrètement, ba caméras ebele to caméra mobile 360° esalemaka pona ko faciliter perception omnidirectionnelle

Ba services ya Edge AI ezali na spectre ya monene ya ba exigences ya précision na latence. Atako bokóli oyo euti kosalema kala mingi te, misala ya liboso ezali na ndelo mpo na kosunga ezala efficacité mpe précision na ba appareils ya bord oyo ezali na ba ressources moke. DeepMix [18] e déchargeaki ba tâches complexes ya détection ya objet basé na DNN na serveur ya cloud pona ko réduire kilo ya calcul na dispositif ya bord. Ko décharger ba tâches ya perception omnidirectionnelle, cependant, ekoki kosala latence ya communication ya edge-cloud ya monene mpo na transmission ya ba données massive. PointSplit [37] esungaka fonctionnement parallélisé na GPU ya bord na NPU, kasi schéma ezali optimisé pona pipeline spécifique ya détection 3D en utilisant un capteur RGB-D na FOV limité. Pendant ce temps, ba méthodes ndenge na ndenge [1, 31, 34, 38] ematisaki précision ya ba solutions basées na caméra, oyo epesaka ba difficultés inhérentes mpo na absence ya information ya profondeur 3D. Molongo ya misala [29, 30, 52] etali mingi kosala ba DNN pona kotombola bosakoli ya bozindo uta na bilili ya RGB. Lisusu, bondimi ya ba DNN ya monene, lokola mikuwa ya mokɔngɔ ya kobimisa makambo na kosalelaka bilili ya haute résolution, ezali na ntina mingi mpo na kobongisa bosikisiki [51]. Kasi, kosala misala mingi ya DNN oyo esɛngaka kosala ba calculs mingi na ba entrées omnidirectionnelles etie masengi ya calcul ya monene na ba dispositifs ya bord oyo ezali na ba ressources.

Na mokanda oyo, tozali ko proposer Panopticus, système oyo e maximiser précision ya détection omnidirectionnelle ya objet 3D tout en répondre na ba exigences ya latence na ba appareils ya bord. Tomoni liboso ete ba détecteurs 3D oyo esalemi na caméra ezali na makoki ya bomoni ekeseni engebene na bizaleli ya esika, oyo ezwami na makambo ndenge na ndenge lokola motango to botamboli ya biloko. Likanisi ya ntina ya Panopticus ezali ya ko traité vue ya caméra moko na moko na ndenge ya malamu na kotalaka bososoli ya dynamique ya court terme na distribution spatiale. Ndakisa, botali ya kamera oyo ezali na mwa biloko ya statique mpe ya penepene ekoki kosalama na configuration ya inférence ya poids léger mpo na kokitisa latence na perte ya précision moke. Na sima marge ya latence oyo ebombami ekoki kosalelama pona kopesa configuration ya inférence ya performance ya likolo na vue complexe esika biloko ezali kotambola mbangu to na esika ya mosika, ndenge elakisami na figure 1

Mikakatano mingi ezali na ndenge oyo Panopticus esalemaki. Ya liboso, ba modèles ya détection 3D ya liboso elongi te kopesa schéma ya inférence efficace mpe dynamique oyo ekoki ko différencier configuration ya inférence mpo na vue moko na moko ya caméra na cadre vidéo moko, lokola capacité ya mokuwa ya mokɔngɔ to kosalela estimation ya profondeur améliorée. En plus, architecture ya modèle esengeli ezala réglable pona ko accueillir ba contraintes ndenge na ndenge, lokola ba exigences ya latence, na appareil moko donnée. Ya mibale, mpo na ko maximiser précision na kati ya ba exigences ya latence, esengeli ko décider configuration ya inférence optimale pona chaque vue ya caméra. Yango esengi analyse ya temps d’exécution ya ba changements nionso mibale na distribution spatiale pe performance oyo ezelamaki ya ba configurations ya inférence.

Pona ko permettre ba ajustements architecturaux na opérationnels ya modèle, to kotisi modèle ya détection ya objet 3D omnidirectionnel na ba branches d’inférence multiples. Modèle e traité vue moko na moko na kosalelaka moko ya ba branches oyo ezali na ba capacités ya détection ekeseni, ko permettre utilisation fine-graine ya ba ressources ya informatique ya bord. Architecture ya modèle esalemi mpo na kozala modulaire, ko permettre ba déploiements flexibles en détacher branche oyo e violer ba contraintes données. Mpo na mokakatano ya mibale ya ko maximiser précision na kati ya ba limite ya latence, to kotisi schéma ya exécution spatiale-adaptive. Na tango ya kosala, schéma esakolaka performance ya branche moko moko na kotalaka distribution spatiale oyo ezelamaki ya biloko oyo ezali zinga zinga. Ba combinaisons optimales ya ba branches na ba vues ya caméra, oyo e maximiser précision estimée globale tout en répondre na but ya latence, na sima eponami pona inférence. To mettre en œuvre Panopticus na ba appareils misato ya bord oyo ezalaki na ba capacités informatiques différentes. Système yango etalemaki na bisika ndenge na ndenge ya mokili ya solo, lokola banzela ya bingumba mpe balabala, na kosalelaka ensemble ya ba données ya conduite autonome public mpe testbed na biso ya caméra mobile 360° personnalisé. Ba expériences ya minene elakisaki que Panopticus elekaki ba bases na yango na ba scénarios ndenge na ndenge na oyo etali ezala précision ya détection mpe efficacité.

Mabonza ya ntina ya mosala na biso ezali boye : • .

Na boyebi na biso, Panopticus ezali système ya liboso ya détection ya objet 3D omnidirectionnel mpe basé na caméra oyo ekokisaka ezala précision mpe optimisation ya latence na ba appareils ya bord oyo ezali na ba ressources.

• Tosalaki boyekoli ya mozindo mpo na koluka makoki ndenge na ndenge ya ba détecteurs 3D oyo euti kosalema kala mingi te oyo esimbami na bizaleli ndenge na ndenge ya biloko mpe bisika. Panopticus epesaka contrôle ya grain fine na perception omnidirectionnelle pe utilisation ya ba ressources ya bord, ko s’adapter na ba complexités spatiale variées na ba environnements dynamiques.

• Tosalelaki mobimba Panopticus lokola système informatique ya bord ya suka na suka oyo esalelaka nionso mibale auto-conduite public

dataset mpe testbed na biso ya caméra mobile 360°, kolakisa adaptabilité na yango na ba contraintes ya ressources ya ba appareils ya bord na kati ya gamme ya ba conditions ya mokili ya solo