S4-Tuning: A Simple Cross-lingual Sub-network Tuning Method-Tuning: A Simple Cross-lingual Sub-network Tuning Method S4 - Tuning: طريقة ضبط بسيطة عبر الشبكة الفرعية اللغوية: طريقة ضبط بسيطة عبر الشبكة الفرعية اللغوية S4-Tuning : A Simple Cross-lingual Sub-network Tuning Method-Tuning : A Simple Cross-lingual Sub-network Tuning Method S4-Tuning: A Simple Cross-lingual Sub-network Tuning Method-Tuning: A Simple Cross-lingual Sub-network Tuning Method

The emergence of multilingual pre-trained language models makes it possible to adapt to target languages with only few labeled examples.However, vanilla fine-tuning tends to achieve degenerated and unstable results, owing to the Language Interference among different languages, and Parameter Overload under the few-sample transfer learning scenarios.To address two problems elegantly, we propose S 4 -Tuning, a Simple CroSS-lingual Sub-network Tuning method.S 4 -Tuning first detects the most essential sub-network for each target language, and only updates it during fine-tuning.In this way, the language sub-networks lower the scale of trainable parameters, and hence better suit the low-resource scenarios.Meanwhile, the commonality and characteristics across languages are modeled by the overlapping and non-overlapping parts to ease the interference among languages.Simple but effective, S 4 -Tuning gains consistent improvements over vanilla fine-tuning on three multilingual tasks involving 37 different languages in total (XNLI, PAWS-X, and Tatoeba). إن ظهور نماذج لغوية متعددة اللغات مدربة مسبقًا يجعل من الممكن التكيف مع اللغات المستهدفة مع أمثلة قليلة فقط. ومع ذلك، فإن الضبط الدقيق للفانيليا يميل إلى تحقيق نتائج متدهورة وغير مستقرة، بسبب التداخل اللغوي بين اللغات المختلفة، والحمل الزائد للمعلمات في ظل سيناريوهات تعلم النقل ذات العينات القليلة. لمعالجة مشكلتين بأناقة، نقترح S 4 - Tuning، وهي طريقة ضبط شبكة فرعية بسيطة من CroSS - language.S 4 - يكتشف الضبط أولاً الشبكة الفرعية الأكثر أهمية لكل لغة مستهدفة، ويقوم بتحديثها فقط أثناء الضبط الدقيق. وبهذه الطريقة، تقلل الشبكات الفرعية للغة من حجم المعلمات القابلة للتدريب، وبالتالي تتناسب بشكل أفضل مع السيناريوهات منخفضة الموارد. وفي الوقت نفسه، يتم نمذجة القواسم والخصائص عبر اللغات من خلال الأجزاء المتداخلة وغير المتداخلة لتخفيف التداخل بين اللغات. بسيطة ولكنها فعالة، S 4 - Tuning المكاسب المتسقة على الضبط الدقيق للفان في ثلاث مهام متعددة اللغات تتضمن 37 لغة مختلفة (XLI و PAWNX و Toeba). L'émergence de modèles linguistiques multilingues pré-entraînés permet de s'adapter aux langues cibles avec seulement quelques exemples étiquetés. Cependant, le réglage fin de la vanille tend à obtenir des résultats dégénérés et instables, en raison de l'interférence de la langue entre les différentes langues et de la surcharge de paramètres dans les scénarios d'apprentissage par transfert de quelques échantillons. Pour résoudre élégamment deux problèmes, nous proposons S 4 -Tuning, une méthode simple de réglage de sous-réseau CroSS-lingual.S 4 -Tuning détecte d'abord le sous-réseau le plus essentiel pour chaque langue cible et ne le met à jour que lors du réglage fin. De cette manière, les sous-réseaux de langue abaissent l'échelle des paramètres pouvant être entraînés et conviennent donc mieux aux scénarios de faible ressource. En attendant, la similitude et les caractéristiques entre les langues sont modélisées par les parties qui se chevauchent et ne se chevauchent pas pour faciliter l'interférence entre les langues. Simples mais efficaces, S 4 -Tuning gagne des améliorations constantes par rapport au réglage fin de la vanille sur trois tâches multilingues impliquant 37 langues différentes au total (XNLI, PAWS-X et Tatoeba). La aparición de modelos lingüísticos multilingües preentrenados permite adaptarse a las lenguas de destino con solo unos pocos ejemplos etiquetados. Sin embargo, el ajuste fino de vainilla tiende a lograr resultados degenerados e inestables, debido a la interferencia lingüística entre diferentes idiomas y la sobrecarga de parámetros en los escenarios de aprendizaje de transferencia de pocas muestras. Para abordar dos problemas con elegancia, proponemos S 4 -Tuning, un método de ajuste de subred simple CroSS-lingual. S 4 -Tuning primero detecta la subred más esencial para cada lengua de destino y solo la actualiza durante el ajuste fino. De esta manera, las subredes lingüísticas reducen la escala de parámetros entrenables y, por lo tanto, se adaptan mejor a los escenarios de bajos recursos. Mientras tanto, la comunalidad y las características entre las lenguas se modelan mediante las partes superpuestas y no superpuestas para facilitar la interferencia entre las lenguas. Simples pero efectivas, S 4 -Tuning obtiene mejoras consistentes sobre el ajuste fino de vainilla en tres tareas multilingües que involucran 37 lenguas diferentes en total (XNLI, PAWS-X y Tatoeba).