Нейросеть от Google научили новым трюкам

Разработчики из Google научили нейросеть Imagic редактировать фото по текстовому описанию.

-

Созданный алгоритм не требует никаких самостоятельных редакторских манипуляций и работает только по текстовому описанию правок. Например, исследователи использовали изображение сидящей собаки. Нейросеть попросили исправить фотографию так, чтобы животное стояло, при этом не затрагивая остальных элементов. Компьютер применяет для этого дифузионный метод, постепенно улучшая кадр на протяжении десятков стадий.

Основное нововведение заключается в работе алгоритма с «прекурсорами». В этом случае текст попадает на генеративную нейросеть не сразу. Сначала он подается на кодировщик, который превращает его в сжатое векторное представление (эмбеддинг), кодирующее идею так, что похожие по смыслу предложения содержат аналогичные эмбеддинги. Нейросеть изменяет не сам кадр, а работает конкретно с текстовыми эмбеддингами.

Ещё кое-что из новостей прогресса:

• В погоне за скоростью: учёные смогли передать 1 800 000 Гбит информации за секунду
• Звучит слишком уж фантастично: российские научились управлять дронами силой мысли

По инф. lenta.ru