✔Kandinsky научили генерировать изображения с текстом на русском - «Новости мира Интернет»

Сбер представил обновленную нейросеть Kandinsky, которая теперь может генерировать изображения с надписями на русском языке.

Текст в создаваемом изображении не просто накладывается поверх, а вписывается в контекст. К примеру, можно сгенерировать картинку, где текст органично сочетается с окружением, материалами или освещением, например, начерчен на спине, выпилен из дерева, отлит из металла и так далее.

Prompt: Шикарный толстый пушистый кот в вязаном свитере на котором написано ИГРИСТОЕ. Источник: блог Сбера (здесь и далее)

Чтобы обучить ИИ, разработчики собрали для обучения датасет из более 10 миллионов изображений с русским текстом, написанным разными способами. Благодаря этому модель научилась распознавать печатные, прописные и другие буквы. Обучение проводилось нативно, без использования дополнительных модулей. Затем было организовано дополнительное обучение на экспертном датасете, проверенном и отобранном дизайнерами и художниками.

Prompt: Милая улыбающаяся сиба-ину на насыщенном желтом фоне в розовой футболке на которой зеркальными пайетками вышито СЛАДКАЯ БУЛОЧКА

Пока создатели продолжают работать над стабильностью нейросети и заявляют о некоторых нюансах в ее работе. Например, она может не с первого раза сгенерировать длинные надписи, текст со смесью кириллицы и латиницы, подробное описание сущности или фона. Короткие запросы без указания фона, масштаба и ракурса получаются быстрее и качественнее, но модель в этом случае фантазирует сама.

Чтобы добиться лучшего результата, рекомендуется указать текстуру, освещение, тип букв (рельефные, объемные и так далее). Для прозрачных фактур рекомендуют указать в запросе «контровой свет», «контражур», тогда буквы станут полупрозрачными.

Prompt: На солнечном свету сверкают яркие прозрачные леденцы в виде букв, которые складываются в слово Витаминка. Свет проходит сквозь леденцовые буквы, как сквозь витражи, и оставляет разноцветные отражения на белой глянцевой поверхности. Высокая детализация

Протестировать модель уже могут все желающие в Telegram-боте Kandinsky, во всех ботах GigaChat (Telegram, ВКонтакте, Одноклассники, Max) и в веб-версии.