Localization and classification of space objects using EfficientDet detector for space situational awareness توطين وتصنيف الأجسام الفضائية باستخدام كاشف EfficientDet للوعي بالحالة الفضائية Localisation et classification des objets spatiaux à l'aide du détecteur EfficientDet pour la connaissance de la situation spatiale Localización y clasificación de objetos espaciales utilizando el detector EfficientDet para el conocimiento de la situación espacial

Abstract Space situational awareness (SSA) systems play a significant role in space navigation missions. One of the most essential tasks of this system is to recognize space objects such as spacecrafts and debris for various purposes including active debris removal, on-orbit servicing, and satellite formation. The complexity of object recognition in space is due to several sensing conditions, including the variety of object sizes with high contrast, low signal-to-noise ratio, noisy backgrounds, and several orbital scenarios. Existing methods have targeted the classification of images containing space objects with complex backgrounds using various convolutional neural networks. These methods sometimes lose attention on the objects in these images, which leads to misclassification and low accuracy. This paper proposes a decision fusion method that involves training an EfficientDet model with an EfficientNet-v2 backbone to detect space objects. Furthermore, the detected objects were augmented by blurring and by adding noise, and were then passed into the EfficientNet-B4 model for training. The decisions from both models were fused to find the final category among 11 categories. The experiments were conducted by utilizing a recently developed space object dataset (SPARK) generated from realistic space simulation environments. The dataset consists of 11 categories of objects with 150,000 RGB images and 150,000 depth images. The proposed object detection solution yielded superior performance and its feasibility for use in real-world SSA systems was demonstrated. Results show significant improvement in accuracy (94%), and performance metric (1.9223%) for object classification and in mean precision (78.45%) and mean recall (92.00%) for object detection. تلعب أنظمة الوعي الظرفي الفضائي (SSA) دورًا مهمًا في بعثات الملاحة الفضائية. تتمثل إحدى أهم مهام هذا النظام في التعرف على الأجسام الفضائية مثل المركبات الفضائية والحطام لأغراض مختلفة بما في ذلك الإزالة النشطة للحطام، والخدمة في المدار، وتشكيل الأقمار الصناعية. يرجع تعقيد التعرف على الأجسام في الفضاء إلى العديد من ظروف الاستشعار، بما في ذلك مجموعة متنوعة من أحجام الأجسام ذات التباين العالي، ونسبة الإشارة إلى الضوضاء المنخفضة، والخلفيات الصاخبة، والعديد من السيناريوهات المدارية. استهدفت الطرق الحالية تصنيف الصور التي تحتوي على أجسام فضائية ذات خلفيات معقدة باستخدام شبكات عصبية التفافية مختلفة. تفقد هذه الأساليب في بعض الأحيان الانتباه إلى الأشياء الموجودة في هذه الصور، مما يؤدي إلى سوء التصنيف وانخفاض الدقة. تقترح هذه الورقة طريقة دمج القرار التي تتضمن تدريب نموذج EfficientDet مع العمود الفقري EfficientNet - v2 للكشف عن الأجسام الفضائية. علاوة على ذلك، تم زيادة الأجسام المكتشفة عن طريق التشويش وإضافة الضوضاء، ثم تم تمريرها إلى نموذج EfficientNet - B4 للتدريب. تم دمج القرارات من كلا النموذجين للعثور على الفئة النهائية من بين 11 فئة. أجريت التجارب باستخدام مجموعة بيانات الأجسام الفضائية التي تم تطويرها مؤخرًا (سبارك) والتي تم إنشاؤها من بيئات محاكاة الفضاء الواقعية. تتكون مجموعة البيانات من 11 فئة من الكائنات مع 150,000 صورة RGB و 150,000 صورة بعمق. أسفر حل الكشف عن الأجسام المقترح عن أداء متفوق وتم توضيح جدواه للاستخدام في أنظمة SSA في العالم الحقيقي. تظهر النتائج تحسنًا كبيرًا في الدقة (94 ٪)، ومقياس الأداء (1.9223 ٪) لتصنيف الأجسام وفي متوسط الدقة (78.45 ٪) ومتوسط الاستدعاء (92.00 ٪) للكشف عن الأجسام. Résumé Les systèmes de conscience de la situation spatiale (SSA) jouent un rôle important dans les missions de navigation spatiale. L'une des tâches les plus essentielles de ce système est de reconnaître les objets spatiaux tels que les engins spatiaux et les débris à diverses fins, notamment l'enlèvement actif des débris, l'entretien en orbite et la formation de satellites. La complexité de la reconnaissance d'objets dans l'espace est due à plusieurs conditions de détection, y compris la variété des tailles d'objets avec un contraste élevé, un faible rapport signal/bruit, des arrière-plans bruyants et plusieurs scénarios orbitaux. Les méthodes existantes ont ciblé la classification d'images contenant des objets spatiaux avec des arrière-plans complexes en utilisant divers réseaux de neurones convolutionnels. Ces méthodes perdent parfois de l'attention sur les objets de ces images, ce qui conduit à une mauvaise classification et à une faible précision. Cet article propose une méthode de fusion de décision qui implique la formation d'un modèle EfficientDet avec une colonne vertébrale EfficientNet-v2 pour détecter les objets spatiaux. En outre, les objets détectés ont été augmentés en floutant et en ajoutant du bruit, puis ont été passés dans le modèle EfficientNet-B4 pour l'entraînement. Les décisions des deux modèles ont été fusionnées pour trouver la catégorie finale parmi 11 catégories. Les expériences ont été menées en utilisant un ensemble de données d'objets spatiaux récemment développé (SPARK) généré à partir d'environnements de simulation spatiale réalistes. L'ensemble de données se compose de 11 catégories d'objets avec 150 000 images RVB et 150 000 images de profondeur. La solution de détection d'objets proposée a donné des performances supérieures et sa faisabilité pour une utilisation dans des systèmes SSA du monde réel a été démontrée. Les résultats montrent une amélioration significative de la précision (94 %) et de la métrique de performance (1,9223 %) pour la classification des objets et de la précision moyenne (78,45 %) et du rappel moyen (92,00 %) pour la détection des objets. Resumen Los sistemas de conciencia situacional espacial (SSA) desempeñan un papel importante en las misiones de navegación espacial. Una de las tareas más esenciales de este sistema es reconocer objetos espaciales como naves espaciales y escombros para diversos fines, incluida la eliminación activa de escombros, el servicio en órbita y la formación de satélites. La complejidad del reconocimiento de objetos en el espacio se debe a varias condiciones de detección, incluida la variedad de tamaños de objetos con alto contraste, baja relación señal/ruido, fondos ruidosos y varios escenarios orbitales. Los métodos existentes se han dirigido a la clasificación de imágenes que contienen objetos espaciales con fondos complejos utilizando varias redes neuronales convolucionales. Estos métodos a veces pierden la atención en los objetos de estas imágenes, lo que conduce a una clasificación errónea y una baja precisión. Este trabajo propone un método de fusión por decisión que implica entrenar un modelo EfficientDet con una red troncal EfficientNet-v2 para detectar objetos espaciales. Además, los objetos detectados se aumentaron difuminando y añadiendo ruido, y luego se pasaron al modelo EfficientNet-B4 para el entrenamiento. Las decisiones de ambos modelos se fusionaron para encontrar la categoría final entre 11 categorías. Los experimentos se llevaron a cabo utilizando un conjunto de datos de objetos espaciales recientemente desarrollado (SPARK) generado a partir de entornos de simulación espacial realistas. El conjunto de datos consta de 11 categorías de objetos con 150.000 imágenes RGB y 150.000 imágenes de profundidad. La solución de detección de objetos propuesta produjo un rendimiento superior y se demostró su viabilidad para su uso en sistemas SSA del mundo real. Los resultados muestran una mejora significativa en la precisión (94%) y la métrica de rendimiento (1.9223%) para la clasificación de objetos y en la precisión media (78.45%) y la recuperación media (92.00%) para la detección de objetos.