Недавно узнала интересный факт: русский для нейросетей буквально дороже английского. Нейросеть не читает текст…

Недавно узнала интересный факт: русский для нейросетей буквально дороже английского. Нейросеть не читает текст словами, она режет его на токены, маленькие кусочки. И платим мы именно за токены. С английским всё аккуратно: одно слово - один-два токена. С русским беда: морфология с приставками, суффиксами и окончаниями разлетается на три-четыре кусочка, а какая-нибудь "интернационализация" и восовсе на горсть обрывков. По итогу, один и тот же запрос на русском стоит в 2-3 раза дороже, работает медленнее и в контекстное окно влезает меньше. Разработчики иногда даже переводят тексты на английский перед отправкой в модель, так дешевле. Так что требование "английский B2" в вакансиях, теперь официально cost-saving мера. 🇬🇧 Если ждали знак заняться языком, то вот он. Пруф на Хабре: https://habr.com/ru/articles/1032610/