بيرت (بالإنجليزية: BERT) أو تمثيلات المشفر ثنائية الاتجاه من المحولات هو نموذج لغوي قدمه باحثون في جوجل في أكتوبر 2018. يتعلم تمثيل النص كسلسلة من المتجهات باستخدام التعلم الذاتي. يستخدم بنية المحول المشفر فقط. يشتهر بتحسينه الكبير مقارنة بالنماذج السابقة الحديثة، وكمثال مبكر على نموذج لغوي كبير. اعتبارًا من عام 2020، أصبح بيرت معيارًا أساسيًا في تجارب معالجة اللغات الطبيعية (NLP).
يتم تدريب بيرت عن طريق التنبؤ بالرموز المقنعة والتنبؤ بالجملة التالية. نتيجة لعملية التدريب هذه، يتعلم بيرت تمثيلات سياقية كامنة للرموز في سياقها، على غرار ELMo والمحول المولد مسبق التدريب 2. وجد تطبيقات للعديد من مهام معالجة اللغات الطبيعية، مثل حل الإحالة المرجعية وحل الاشتراك اللفظي. يُعد خطوة تطورية مقارنة بـ ELMo، وأدى إلى دراسة "علم بيرت"، الذي يحاول تفسير ما يتعلمه بيرت.
تم تنفيذ بيرت في الأصل باللغة الإنجليزية بحجمين للنموذج، BERTBASE (110 مليون معلمة) و BERTLARGE (340 مليون معلمة). تم تدريب كلاهما على مجموعة تورنتو للكتب (800 مليون كلمة) و ويكيبيديا الإنجليزية (2500 مليون كلمة) تم إصدار الأوزان على غيت هاب. في 11 مارس 2020، تم إصدار 24 نموذجًا أصغر، أصغرها BERTTINY مع 4 ملايين معلمة فقط.