الترجمة الآلية

ترجمة بتصرف لمقال: Machine Translation

ترجمة: منال وليد

ستزودك هذه الصفحة بمعلومات عامة عن كل من التقنيات الأساسية التي تقوم عليها الترجمة الآلية بالإضافة إلى حل ميكروسوفت في هذا المجال.

– ما هي الترجمة الآلية؟
– ما هو مترجم ميكروسوفت؟
– مترجم النصوص من ميكروسوفت API
– مترجم الصوت من ميكروسوفت API
– كيف تعمل الترجمة النصية؟
– الترجمة الآلية الإحصائية
– ترجمة الشبكة العصبية
– كيف تعمل الترجمة الصوتية؟

ما هي الترجمة الآلية ؟

أنظمة الترجمة الآلية هي تطبيقات أو خدمات عبر الإنترنت التي تستخدم تقنيات التعلم الآلي لترجمة كميات كبيرة من النصوص و إلى أي من اللغات المدعومة. والخدمة تترجم نص “المصدر” من لغه إلى لغة “مستهدفة” مختلفة.

على الرغم من أن المفاهيم الكامنة وراء تكنولوجيا الترجمة الآلية والواجهات لاستخدامها هي بسيطة نسبيا، والعلوم والتقنيات وراءها معقدة للغاية، وتم جمع العديد من التقنيات المتطورة، خصوصًا التعلم العميق (الذكاء الاصطناعي)، والبيانات الكبيرة، وعلم اللغة، والحوسبة السحابية، API على الويب.

منذ أوائل 2010، قد سمحت تكنولوجيا الذكاء الاصطناعي الجديدة، والشبكات العصبية العميقة (وتعرف أيضا باسم التعلم العميق) لتكنولوجيا التّعرف على الصوت للوصول إلى مستوى الجودة التي سمحت لفريق مترجم ميكروسوفت للجمع بين التعرف على الصوت مع تكنولوجيا الترجمة النصية الأساسية لإطلاق تكنولوجيا الترجمة الصوتية الجديدة.

تاريخيا، كانت تقنية التعلم الآلي الرئيسية المستخدمة في الصناعة هي الترجمة الآلية الإحصائية. و تستخدم الترجمة الآلية الإحصائية لتحليل الإحصائي المتقدم لتقدير أفضل الترجمات الممكنة لكلمة نظراً إلى سياق بضع كلمات. وقد استخدمت الترجمة الآلية الاحصائية منذ منتصف 2000 من قبل جميع مقدمي خدمات الترجمة الرئيسية، بما في ذلك ميكروسوفت.

وقد أدى ظهور الترجمة القائمة على الشبكة العصبية العميقة إلى حدوث تحول جذري في تكنولوجيا الترجمة، مما أدى إلى ترجمة نوعية أعلى بكثير. بدأت تقنية الترجمة هذه في النشر للمستخدمين والمطورين في الجزء الأخير من عام 2016.

تحتوي كل من تقنيات الترجمة على عنصرين مشتركين:

– كلاهما يتطلب كميات كبيرة من المحتوى المترجم من قبل الإنسان (تصل إلى الملايين من الجمل المترجمة) لتدريب النظم.

– لا تعمل كقواميس ثنائية اللغة، وتترجم الكلمات استنادًا إلى قائمة من الترجمات المحتملة، ولكن تترجم استنادًا إلى سياق الكلمة المستخدمة في الجملة.

ما هو مترجم ميكروسوفت؟

How it works

مترجم النصوص و الصوت API من ميكروسوفت يعد جزء من مجموعة الخدمات المعرفية لـ API، وهي خدمة الترجمة الآلية من ميكروسوفت.

مترجم النصوص من ميكروسوفت API:

قد استخدمت ميكروسوفت ترجمة النصوص API من قبل مجموعتهم منذ عام 2007 ومتاح للعملاء منذ عام 2011. ويستخدم على نطاق واسع داخل ميكروسوفت. وهي مدرجة عبر توطين المنتج والدعم وفرق الاتصال عبر الإنترنت (على سبيل المثال، مدونة Windows). هذه الخدمة نفسها يمكن الوصول إليها أيضا دون أي تكلفة إضافية، من داخل منتجات مايكروسوفت المألوفة مثل ( Bingو Cortanaو Microsoft Edgeو Officeو SharePoint وSkype وYammer)

يمكن استخدام مترجم ميكروسوفت في تطبيقات الويب أو العميل على أي نظام أساسي للجهاز ومع أي نظام تشغيل لإجراء ترجمة اللغة والعمليات الأخرى المتعلقة باللغات مثل اكتشاف اللغة أو تحويل النص إلى صوت أو قاموس.

الاستفادة من صناعة التكنولوجيا REST القياسية المطوره يرسل النص المصدر (أو الصوت ) إلى الخدمة التي تشير إلى لغة الهدف، ثم يرسل النص المترجم للعميل أو التطبيق على شبكة الإنترنت لاستخدامه.

خدمة الترجمة من ميكروسوفت هي خدمة Azure مستضافة بمراكز البيانات في ميكروسوفت وامكانية الاستفادة من الأمان وقابلية التوسع والإتاحة بدون توقف التي تتلقى خدمات ميكروسوفت السحابية الأخرى أيضا.

ترجمة الصوت من ميكروسوفت:

تم إطلاق شركة المترجم من ميكروسوفت بتقنية ترجمة الصوت في أواخر عام 2014 بدءا من مترجم سكايب وهي متاحة كـ API وايضاً مفتوحة للعملاء منذ أوائل عام 2016. ومدمجة في ميزة مترجم ميكروسوفت المباشر، سكايب، بث اجتماع سكايب، وتطبيقات مترجم ميكروسوفت لنظام التشغيل Androidو IOS و .Windows

كيف تعمل الترجمة النصية؟

هناك تقنيتان رئيسيتان تستخدمان للترجمة النصية: الترجمة القديمة وهي الترجمة الآلية الإحصائية ، وتكنولوجيا الجيل الجديد وهي ترجمة الشبكات العصبية.

الترجمة الآلية الإحصائية:

تم بناء تطبيق مترجم ميكروسوفت للترجمة الآلية الإحصائية على أكثر من عقد من البحث باللغة الطبيعية في ميكروسوفت. وبدلا من كتابة قواعد يدوية للترجمة بين اللغات، فإن نظم الترجمة الحديثة تقترب من الترجمة باعتبارها مشكلة في تعلم تحويل النص بين اللغات من الترجمات البشرية القائمة والاستفادة من التطورات الحديثة في الإحصاءات التطبيقية والتعلم الآلي.

ما يسمى “المجاميع الموازي” يعمل كحجر Hساس حديث بنسب كبيرة، من خلال توفير كلمة أو عبارة، والترجمة الاصطلاحية في سياق العديد من أزواج اللغات والمجالات. تساعد تقنيات النمذجة الإحصائية والخوارزميات الفعالة الكمبيوتر على معالجة مشكلة فك التشفير (الكشف عن المراسلات بين المصدر واللغة المستهدفة في بيانات التدريب) وفك التشفير (إيجاد أفضل ترجمة للجمل الجديدة). مترجم مايكروسوفت يوحد قوة الأساليب الإحصائية مع المعلومات اللغوية لإنتاج النماذج بشكل أفضل ويؤدي إلى ترجمة أكثر مفهومة.

بسبب هذا النهج، والتي لا تعتمد على القواميس أو القواعد النحوية، فإنه يوفر أفضل الترجمات من العبارات حيث يمكن استخدام السياق حول كلمة معينة مقابل محاولة لأداء ترجمة كلمة واحدة. لترجمة الكلمات المفردة، تم تطوير القاموس ثنائي اللغة ويمكن الوصول إليه من خلال www.bing.com/translator.

ترجمة الشبكة العصبية

التحسينات المستمرة للترجمة مهمة. ومع ذلك، فقد استقرت تحسينات في الأداء مع التكنولوجيا منذ منتصف 2010. من خلال الاستفادة من حجم وقوة الحاسوب الفائق لمنظمة العفو الدولية ل ميكروسوفت، وتحديدا مجموعة أدوات ميكروسوفت الإدراكية، يقدم مترجم ميكروسوفت الآن شبكة الشبكة العصبية (LSTM) الترجمة التي تمكن عقدا جديدا من تحسين جودة الترجمة.

تتوفر هذه النماذج الشبكة العصبية لجميع لغات الصوتية من خلال API لترجمه الصوتيات من ميكروسوفت في محاولة ومقارنة الموقع http://translator.microsoft.com ومن خلال النص باستخدام معرف الفئة ‘GENERALNN’.

وتختلف ترجمات الشبكة العصبية اختلافًا جوهريًا في كيفية تنفيذها مقارنةً بالترجمه التقليدية.

الرسوم المتحركة التالية يصور الخطوات المختلفة ترجمة الشبكة العصبية تمر من خلال ترجمة جملة. وبسبب هذا النهج، فإن الترجمة تأخذ في سياق الجملة الكاملة، مقابل بضع كلمات فقط التي تستخدم تكنولوجيا الترجمة الالية الاحصائية لتنتج ترجمة أكثر مرونة وانسانية.

استنادًا إلى التدريب على الشبكة العصبية، يتم ترميز كل كلمة على طول متجه 500 الأبعاد (أ) يمثل خصائصه الفريدة داخل زوج لغة معينه (على سبيل المثال الإنجليزية والصينية). واستنادًا إلى أزواج اللغة المستخدمة للتدريب، فإن الشبكة العصبية سوف تحدد ذاتيا ما هي هذه الأبعاد. يمكن أن ترميز مفاهيم بسيطة مثل الجنس (المؤنث، المذكر، محايد)، مستوى التأدب (عامية، عارضة، مكتوبة، رسمية، وما إلى ذلك)، نوع الكلمة (الفعل، اسم، الخ)، ولكن أيضا أي خصائص أخرى غير واضحة كما هو مستمد من البيانات.

تمر خطوات ترجمة الشبكات العصبية من خلال ما يلي:

1) كل كلمة، أو بشكل أكثر تحديدا متجه 500 البعد تمثل ذلك، يذهب من خلال الطبقة الأولى من “الخلايا العصبية” التي من شأنها أن صياغته في ناقلات 1000 البعد (ب) يمثل كلمة ضمن سياق بعبارة أخرى في الجملة.

2) بمجرد أن يتم ترميز كل الكلمات مرة واحدة في هذه النواقل 1000 البعد، وتكرر العملية عدة مرات، كل طبقة تسمح أفضل صقل هذا التمثيل 1000 البعد للكلمة في سياق الجملة الكاملة (على عكس تكنولوجيا سمت التي يمكن أن تأخذ فقط في الاعتبار 3 إلى 5 كلمات نافذة)

3) تستخدم مصفوفة النواتج النهائية بواسطة طبقة الاهتمام (أي خوارزمية برمجيات) التي ستستخدم كلا من مصفوفة الانتاج النهائية هذه ونتائج الكلمات المترجمة سابقا لتحديد الكلمة التي ينبغي ترجمتها من الجملة المصدر. وسوف تستخدم أيضا هذه الحسابات إلى احتمال إسقاط الكلمات غير الضرورية في اللغة الهدف.

4) وترجم طبقة فك التشفير (الترجمة) الكلمة المحددة (أو بشكل أكثر تحديدا ناقلات البعد 1000 التي تمثل هذه الكلمة في سياق الجملة الكاملة) في أنسب ما يعادلها من لغة الهدف. ثم يتم تغذية ناتج هذه الطبقة الأخيرة (ج) مرة أخرى إلى طبقة الاهتمام لحساب الكلمة التالية من الجملة المصدر يجب ترجمتها.

في المثال الموضح في الرسوم المتحركة، فإن نموذج 1000-البعد علم السياق “لام التعريف” ترميز أن الاسم (منزل) هي كلمة أنثوية في الفرنسية (la maison). وهذا سوف يسمح للترجمة المناسبة ل “لام التعريف” ليكون “la” وليس “le” (المفرد، ذكر) أو “les” (الجمع) بمجرد أن تصل إلى طبقة فك ترميز (الترجمة) .

كما ستحسب خوارزمية الانتباه، استنادا إلى الكلمات التي ترجمت سابقا (في هذه الحالة “ال”)، أن تكون الكلمة التالية المترجمة هي الموضوع (“المنزل”) وليس صفة (“أزرق”) . فيمكن تحقيق ذلك لأن النظام يعلم أن اللغة الإنجليزية والفرنسية عكس ترتيب هذه الكلمات في جمل. ومن المفترض أيضا أنه إذا كانت الصفة “كبيرة” بدلا من لون، فإنه لا ينبغي أن نقلبها (“البيت الكبير” => “la grande maison”).

وبفضل هذا النهج، يكون الناتج النهائي، في معظم الحالات، أكثر إتقانا وأقرب إلى الترجمة البشرية من أي وقت مضى.

DNN explained

كيف تعمل الترجمة الصوتية؟

مترجم مايكروسوفت أيضا قادر على ترجمة الصوت. وتكشف هذه التقنية ميزة الترجمة الحية (http://translate.it)، وترجمة التطبيقات ، و مترجم سكايب المتاحة فقط من خلال ميزة مترجم سكايب وفي تطبيقات الترجمه من مايكروسوفت على نظام IOS و نظام Android ، وهذه الوظيفة متاحة الآن للمطورين مع أحدث إصدار من خلال REST-based API المتاحة على موقع Azure.

على الرغم من أنه قد يبدو وكأنه عملية على التوالي إلى الأمام في أول وهلة لبناء تكنولوجيا الترجمة الصوتية من بداية التكنولوجيا الحالية، فإنه يتطلب الكثير من العمل من مجرد توصيل “الترجمة التقليدية” من بشري الي ترجمة الية التعرف على الصوت و تحويله إلى نص مترجم.

لترجمة الصوت “المصدر” بشكل صحيح من لغة إلى لغة “هدف” مختلفة، يمر النظام بعملية مكونة من أربع خطوات.

1) التعرف على الصوت، لتحويله إلى نص.
2) النص المصدق: تقنية ميكروسوفت تقوم بتطبيع النص لجعله أكثر ملائمة للترجمة.
3) الترجمة من خلال محرك ترجمة النص المذكورة أعلاه ولكن على نماذج الترجمة التي وضعت خصيصا للمحادثات الواقعية.
4) تحويل النص إلى صوت،عند الضرورة، لإنتاج الصوت المترجم.

How it worksا

لتعرف التلقائي على الصوت:

يتم التعرف التلقائي على الصوت باستخدام الشبكة العصبية المدربة على تحليل آلاف الساعات الواردة من الكلام الصوتي. يتم تدريب هذا النموذج على التفاعلات البشرية بدلا من الأوامر من الإنسان إلى الآلة، وإنتاج التعرف على الصوت هو الأمثل للمحادثات العادية. ولتحقيق ذلك، هناك حاجة إلى المزيد من بيانات DNN أكبر من ASRS التقليدية من الإنسان إلى آلة.

النص المصدق:

كبشر يناجي غيره من البشر، نحن لا نتكلم على نحو تام او بوضوح أو بدقة ونحن غالبا ما نعتقد ذلك. مع تكنولوجيا النص المصدق، يتم تحويل النص الحرفي لتعكس بشكل وثيق نية المستخدم عن طريق إزالة الكلمات (كالحشو)، مثل “أم”، “آه” “و” و التعتعة، و التكرار. لكي يصبح النص أكثر قابلية للقراءة والترجمة عن طريق إضافة فواصل الجملة، وعلامات الترقيم المناسبة. لتحقيق هذه النتائج، عملنا عقوداً على تقنيات اللغة و قمنا بتطويرها من المترجم لإنشاء النص المصدق.

الرسم التوضيحي التالي يوضح، من خلال واقع الحياة على سبيل المثال، تعمل على تطبيع هذا النص الحرفي.

Speech APIالترجمة:

النص بعد ذلك يترجم إلى أي من اللغات 60+ بدعم من مترجم ميكروسوفت.

الترجمة باستخدام API (كمطور) أو في تطبيق ترجمة الصوت أو خدمة لها فهو مدعوم مع أحدث ترجمات الشبكة العصبية لجميع اللغات. وقد بنيت هذه النماذج أيضا من خلال توسيع نماذج الترجمة المدربة حاليا، ومعظمها من النص المكتوب، مع المزيد من النص المنطوق لبناء نموذج أفضل لنطق المحادثة من الترجمات. هذه النماذج متوفرة أيضا من خلال “الصوت” الفئة القياسية للAPI ترجمة النصوص التقليدية.

للحصول على أي من اللغات غير الصوتيه ، يتم تنفيذ ترجمة SMT التقليدية ما لم ينص على خلاف ذلك هنا.

من نص الى صوت:

إذا كانت اللغة المستهدفة هي واحدة من 18 لغة التي تدعم تحويل النص إلى صوت، وفي حالة استخدامه يتطلب إخراج الصوت، ثم يتم تحويل النص إلى صوت باستخدام تركيب او تحليل الكلام. هذه المرحلة يتم حذفها في الترجمة من صوت الى نص.

المصدر:

https://www.microsoft.com/en-us/translator/mt.aspx

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *