Adaptive Storage Optimization Scheme for Blockchain-IIoT Applications Using Deep Reinforcement Learning نظام تحسين التخزين التكيفي لتطبيقات Blockchain - IIoT باستخدام تعلم التعزيز العميق Schéma d'optimisation du stockage adaptatif pour les applications Blockchain-IIoT utilisant l'apprentissage par renforcement profond Esquema de optimización de almacenamiento adaptativo para aplicaciones Blockchain-IIoT que utilizan aprendizaje de refuerzo profundo

Blockchain-IIoT integration into industrial processes promises greater security, transparency, and traceability. However, this advancement faces significant storage and scalability issues with existing blockchain technologies. Each peer in the blockchain network maintains a full copy of the ledger which is updated through consensus. This full replication approach places a burden on the storage space of the peers and would quickly outstrip the storage capacity of resource-constrained IIoT devices. Various solutions utilizing compression, summarization or different storage schemes have been proposed in literature. The use of cloud resources for blockchain storage has been extensively studied in recent years. Nonetheless, block selection remains a substantial challenge associated with cloud resources and blockchain integration. This paper proposes a deep reinforcement learning (DRL) approach as an alternative to solving the block selection problem, which involves identifying the blocks to be transferred to the cloud. We propose a DRL approach to solve our problem by converting the multi-objective optimization of block selection into a Markov decision process (MDP). We design a simulated blockchain environment for training and testing our proposed DRL approach. We utilize two DRL algorithms, Advantage Actor-Critic (A2C), and Proximal Policy Optimization (PPO) to solve the block selection problem and analyze their performance gains. PPO and A2C achieve 47.8% and 42.9% storage reduction on the blockchain peer compared to the full replication approach of conventional blockchain systems. The slowest DRL algorithm, A2C, achieves a run-time 7.2 times shorter than the benchmark evolutionary algorithms used in earlier works, which validates the gains introduced by the DRL algorithms. The simulation results further show that our DRL algorithms provide an adaptive and dynamic solution to the time-sensitive blockchain-IIoT environment. يعد دمج Blockchain - IIoT في العمليات الصناعية بمزيد من الأمان والشفافية والتتبع. ومع ذلك، يواجه هذا التقدم مشكلات كبيرة في التخزين وقابلية التوسع مع تقنيات البلوك تشين الحالية. يحتفظ كل نظير في شبكة البلوك تشين بنسخة كاملة من دفتر الأستاذ الذي يتم تحديثه من خلال الإجماع. يضع نهج النسخ المتماثل الكامل هذا عبئًا على مساحة التخزين للأقران وسيفوق بسرعة سعة التخزين لأجهزة إنترنت الأشياء الصناعية IIoT المحدودة الموارد. تم اقتراح حلول مختلفة تستخدم الضغط أو التلخيص أو مخططات التخزين المختلفة في الأدبيات. تمت دراسة استخدام الموارد السحابية لتخزين البلوك تشين على نطاق واسع في السنوات الأخيرة. ومع ذلك، لا يزال اختيار الكتلة يمثل تحديًا كبيرًا مرتبطًا بالموارد السحابية وتكامل البلوك تشين. تقترح هذه الورقة نهجًا للتعلم المعزز العميق (DRL) كبديل لحل مشكلة اختيار الكتلة، والتي تتضمن تحديد الكتل التي سيتم نقلها إلى السحابة. نقترح نهج DRL لحل مشكلتنا من خلال تحويل التحسين متعدد الأهداف لاختيار الكتلة إلى عملية قرار ماركوف (MDP). نقوم بتصميم بيئة محاكاة للبلوك تشين للتدريب واختبار نهج DRL المقترح. نستخدم خوارزميتي DRL، Advantage Actor - Critic (A2C)، و Proximal Policy Optimization (PPO) لحل مشكلة اختيار الكتلة وتحليل مكاسب أدائها. يحقق PPO و A2C انخفاضًا في التخزين بنسبة 47.8 ٪ و 42.9 ٪ على نظير البلوك تشين مقارنة بنهج النسخ المتماثل الكامل لأنظمة البلوك تشين التقليدية. تحقق أبطأ خوارزمية DRL، A2C، وقت تشغيل أقصر 7.2 مرة من الخوارزميات التطورية المعيارية المستخدمة في الأعمال السابقة، والتي تتحقق من المكاسب التي أدخلتها خوارزميات DRL. تُظهر نتائج المحاكاة كذلك أن خوارزميات DRL الخاصة بنا توفر حلاً تكيفيًا وديناميكيًا لبيئة blockchain - IIoT الحساسة للوقت. L'intégration de Blockchain-IIoT dans les processus industriels promet une plus grande sécurité, transparence et traçabilité. Cependant, cette avancée est confrontée à d'importants problèmes de stockage et d'évolutivité avec les technologies blockchain existantes. Chaque homologue du réseau blockchain conserve une copie complète du registre qui est mise à jour par consensus. Cette approche de réplication complète impose une charge sur l'espace de stockage des pairs et dépasserait rapidement la capacité de stockage des périphériques IIoT à ressources limitées. Diverses solutions utilisant la compression, la synthèse ou différents schémas de stockage ont été proposées dans la littérature. L'utilisation des ressources cloud pour le stockage blockchain a été largement étudiée ces dernières années. Néanmoins, la sélection des blocs reste un défi important associé aux ressources cloud et à l'intégration de la blockchain. Cet article propose une approche d'apprentissage par renforcement profond (DRL) comme alternative à la résolution du problème de sélection de blocs, qui consiste à identifier les blocs à transférer dans le cloud. Nous proposons une approche DRL pour résoudre notre problème en convertissant l'optimisation multi-objectifs de la sélection de blocs en un processus de décision de Markov (MDP). Nous concevons un environnement de blockchain simulé pour la formation et le test de notre approche DRL proposée. Nous utilisons deux algorithmes DRL, Advantage Actor-Critic (A2C) et Proximal Policy Optimization (PPO) pour résoudre le problème de sélection de blocs et analyser leurs gains de performance. PPO et A2C atteignent 47,8 % et 42,9 % de réduction de stockage sur le pair blockchain par rapport à l'approche de réplication complète des systèmes blockchain conventionnels. L'algorithme DRL le plus lent, A2C, atteint un temps d'exécution 7,2 fois plus court que les algorithmes évolutifs de référence utilisés dans les travaux antérieurs, ce qui valide les gains introduits par les algorithmes DRL. Les résultats de la simulation montrent en outre que nos algorithmes DRL fournissent une solution adaptative et dynamique à l'environnement blockchain-IIoT sensible au temps. La integración de Blockchain-IIoT en los procesos industriales promete una mayor seguridad, transparencia y trazabilidad. Sin embargo, este avance enfrenta importantes problemas de almacenamiento y escalabilidad con las tecnologías blockchain existentes. Cada par en la red blockchain mantiene una copia completa del libro mayor que se actualiza por consenso. Este enfoque de replicación completa supone una carga para el espacio de almacenamiento de los pares y superaría rápidamente la capacidad de almacenamiento de los dispositivos IIoT con recursos limitados. En la literatura se han propuesto varias soluciones que utilizan compresión, resumen o diferentes esquemas de almacenamiento. El uso de recursos en la nube para el almacenamiento de cadenas de bloques se ha estudiado ampliamente en los últimos años. No obstante, la selección de bloques sigue siendo un desafío sustancial asociado con los recursos en la nube y la integración de blockchain. Este trabajo propone un enfoque de aprendizaje por refuerzo profundo (DRL) como alternativa a la resolución del problema de selección de bloques, que consiste en identificar los bloques a transferir a la nube. Proponemos un enfoque DRL para resolver nuestro problema convirtiendo la optimización multiobjetivo de la selección de bloques en un proceso de decisión de Markov (MDP). Diseñamos un entorno blockchain simulado para entrenar y probar nuestro enfoque DRL propuesto. Utilizamos dos algoritmos DRL, Advantage Actor-Critic (A2C) y Proximal Policy Optimization (PPO) para resolver el problema de selección de bloques y analizar sus ganancias de rendimiento. PPO y A2c logran una reducción de almacenamiento del 47.8% y 42.9% en el par de blockchain en comparación con el enfoque de replicación completa de los sistemas de blockchain convencionales. El algoritmo DRL más lento, A2C, logra un tiempo de ejecución 7,2 veces más corto que los algoritmos evolutivos de referencia utilizados en trabajos anteriores, lo que valida las ganancias introducidas por los algoritmos DRL. Los resultados de la simulación muestran además que nuestros algoritmos DRL proporcionan una solución adaptativa y dinámica al entorno blockchain-IIoT sensible al tiempo.