Transformer یک مشکل پیچیده در ترجمه‌ی ماشینی را حل می‌کند

یادگیری ماشین برای اینکه ابزار مفیدی برای ترجمه باشد تولید شده است اما دارای چندین نقطه ضعف است. یکی از این مشکلات که منجر به خطاهای جدی می‌شود، همانا ترجمه‌ی کلمه به کلمه‌ی این مدل‌های ترجمه است. Google در پست جالبی بر روی وبلاگ تحقیقاتی‌اش ماهیت این مشکل و راه حل آن را با جزئیات توضیح داد. این مشکل توسط Jakob Uszkoreit، در بخش پردازش زبان طبیعی به خوبی توضیح داده شده است.
راه حل گوگل، چیزی که به مکانیسم توجه معروف است، در داخل سیستمی که Transformer نامیده می‌شود، ساخته شده است. در این سیستم هر کلمه با کلمات دیگر در داخل جمله مقایسه می‌شود تا مشخص شود که آیا هر کدام از آن‌ها یکی دیگر را متأثر می‌سازد و یا خیر. به عنوان مثال برای دیدن اینکه آیا مثلا "He" یا "She" در حال صحبت است و یا اینکه یک کلمه مانند "Bank" به معنایی خاص است.  هنگامیکه یک جمله در حال ترجمه است، این مکانیسم هر کلمه را با اضافه کردن به کلمه‌ای دیگر مقایسه می‌کند.