Каскадный · Стандартный · [ Линейный ] Нейросети

[Shadowserg]

Тема для обсуждения такого явления как нейросети.

[FrankLekard]

Я тут опробовал хайповую нейросеть Suno AI, которая песни сочиняет.

Ничего-ничего.
70-е, 80-е: интересно, как там в будущем? Через 50-40 лет наверное в космос далеко полетим, или уже будем планеты осваивать...
Будущее:
https://youtu.be/nQ2NBadFZGc?si=8lQdVz5d2g9zdPcC

[Shadowserg]

Мне страшно. Мы не знаем, что это, если бы мы знали, что это...

Тоже самое. Мне теперь во всех современных книгах, фильмах, музыке, сюжетах игр мерещится "а не нейросеть ли это писала?".

[Ящер]

Я вам тут хит про Сегу принёс

https://suno.com/song/aad254de-6bf7-4ee5-a61d-cf75549bce6a

[Ghost]

Я вам тут хит про Сегу принёс  

https://suno.com/song/aad254de-6bf7-4ee5-a61d-cf75549bce6a

Там реально сгенерировать что-то на подобии музыки из Симфонии Ночи или прочих треков Мичиру? Что-то Кастлеванское. Я пока попробовал, не получилось.

Наброски: https://suno.com/playlist/7801651b-6abf-45a...f-a34c3eb4e973/

[Ящер]

Там реально сгенерировать что-то на подобии музыки из Симфонии Ночи или прочих треков Мичиру? Что-то Кастлеванское. Я пока попробовал, не получилось.

Наброски: https://suno.com/playlist/7801651b-6abf-45a...f-a34c3eb4e973/

Эта шайтан-машина нацелена именно на создание песен, а не инструментальной музыки.

[Ящер]

Сделал полноценную версию баллады на свой текст.

https://disk.yandex.ru/d/Y62HPWlx6ZV-Gg

[Krusnik777]

Я тут опробовал хайповую нейросеть Suno AI, которая песни сочиняет.

Тоже потыкал. Действительно пугает.
Скромные первые эксперименты.
Пока что так и не пойму, как заставить нейронку завершать мелодии без обрыва и без бесконечных удлинений (в надежде, что вот в следующем будет конец) там, где надо мне, а не там, где надо нейронке (слова End и Outro не особо помогают).

------------------------

Ну и в продолжении темы.
Уже некоторое время там и сям тыкаю/изучаю Stable Diffusion. Поигравшие в мой Брандиш-лайк даже могли увидеть и оценить некоторые результаты этого самого тыкания: иконки предметов, портрет единственного персонажа, задник магазина и изображение в меню паузы (оно только было еще дополнительно и существенно обработано мной) сгенерированы с помощью этой нейронки. Создание иконок предметов было вообще настоящим приключением, хочу я вам сказать.
Ну и, собственно, давно залежались некоторые модели, которые хотелось опробовать и посмотреть, что они выдадут, но никак руки не доходили. Захотелось поделиться результатами, если кому интересно.

Некоторое предисловие (больше для тех, кто не особо в теме, если таковые есть, и в довольно упрощенном ключе).

Базовое.
Не раз и не два буду упоминать такие словосочетания как базовая модель (Checkpoint-модели) и дополнительная модель.
Дело в том, что Stable Diffusion имеет огромное множество разнообразных и по-разному натренированных моделей и следовательно с разной специализацией/стилем: какие-то модели генерируют изображения в стиле реальных фотографий, какие-то - рисунки с 3D-закосом, какие-то - всякое рисованное типа аниме, иллюстраций и так далее, какие-то умеют и там, и сям (есть даже модели, которые копируют/пытаются копировать стиль/работу Midjourney). Эти модели, можно сказать, задают датасет (обычно из очень большого количества изображений) и правила того, как нейронка будет что-то понимать и как рисовать. Говоря простым языком, базовая модель - это и есть нейронка, так как без базовой модели ничего не нарисуется о слова вообще.

Тут вытекает ожидаемая проблема. Такие модели обычно тренируются очень долго, на довольно крупных датасетах и следовательно имеют сравнительно большие размеры. Однако стилей рисования может быть много разных даже в рамках одного типа, потому что сколько художников столько и стилей. Модель, которая натренирована рисовать изображения в стиле художественных живописных картин разных стилей, может быть сложна в управлении, когда потребуется задать стиль именно определенного автора (или в рамках тренировки стиль именно этого автора слишком расплылся). Конечно, можно натренирововать модель именно под этого выбранного автора, а потом натренировать модель еще под одного и еще под одного и так далее, но вспоминаем, что надо много времени и большие датасеты, когда требуется получить что-то более-менее внятное (конечно, там еще очень много нюансов в тренировке моделей), не говоря о том, что десятка таких моделей отъест приличное количество гигов на жестком диске. Да и зачем плодить кучу разных моделей одного типа, если ты знаешь, что принципы их работы должны быть одинаковы?

Поэтому было придумано более простое решение - дополнительные модели (меньше датасеты, тренируются быстрее и имеют сравнительно малые размеры), которые помогают контролировать базовые модели. Их типов довольно много, но в данном случае я буду затрагивать только вспомогательные типы (LoRA/LyCORIS/LoCon), которые практически напрямую "вторгаются" в работу базовых моделей и направляют их в нужное русло. Например, заставить модель рисовать в таком-то стиле, нарисовать такого-то человека/персонажа, попытаться сделать такую-то сцену/такой-то концепт и так далее.

Проблемы или то, с чем, так и не может справится нейронка.
Все они и так знаю и в моих примерах даже их можно будет увидеть.
1. Руки, ноги, количество конечностей, пальцев, их некая скрученность/деформация и так далее. В основном, проблема в количествах пальцев и иногда появлении лишних рук/ног (но это гораздо реже чем с пальцами). И даже уже якобы существуют разные способы решения этих проблем, но до опробования некоторых из них я так и не добрался. Один из таких способов - это, например, использование корректирующей картинки (лучше всего работают Depth Maps) при генерации или сразу задавать в запросе скрытие рук (за границы картинки, в карманы, за спину/за голову и так далее).
2. Нейронка плохо справляется со сложными концептами.
2.1 Оружие, мечи, пушки и как персонаж должен их держать. Существуют дополнительные модели, которые немного стабилизируют это дело, но полностью не лишает проблемы. Хотя использование корректирующей картинки, как и с пальцами/конечностями, при генерации очень поможет.
2.2 Несколько персонажей на одной картинке и их взаимодействие. Нет, она их нарисует (иногда, правда и в сиамских близнецов), но обязательно перемешает все, что можно, если были заданы четкие параметры того, как кто и как должен выглядеть и что делать. Есть инструмент, который позволяет разделять запрос на регионы и стабилизировать это дело, но опять же полностью от проблем не защитит.
2.3 Текст - это совсем неподвластная тема. Я и не пробовал, честно говоря.
3. Модели могут быть натренированых под генерацию в четко определенном формате. Вылезешь за рамки - готовься к тому, что может родиться что-то страшное.

Перейдем к делу (все картинки кликабельны и переводят на страницу с большим вариантом картинки; также имеются варианты картинок совсем огромного разрешения в формате png, если кому надо, обращайтесь).

Стили

Стиль современного Falcom
А-ля Кондо может сокращать художников.


Стиль Dragon's Crown
Нормально генерирует только в четком формате изображения. Пробовал еще иную модель, клонирующий стиль всех игр Vanillaware, но там швах полный.


Стиль Акихико Ёсиды (NieR: Automata/Bravely Default/Vagrant Story/Tactics Ogre)
Слишком сильная модель и, похоже, натренирована больше на NieR: Automata, так как в базовом виде чаще рисует в общем-то барышен в стиле 2B и игнорирует запрашиваемые параметры, то есть надо копать глубже - регулировать вес модели и смотреть, когда лучше/хуже.


Стиль напиштимсовских Исов (Стиль Raka)
Отличная модель, которая работает более-менее нормально сразу в базовом ключе. Из плюсов можно отметить еще то, что модель также имеет простую возможность сгенерировать именно персонажей из игры буквально одним словом.




Стиль Гагхарв (The Legend of Heroes 3-4-5)
Отличная модель, которая работает более-менее нормально сразу в базовом ключе. Еще отлично рисует стариканов.




Стиль Кацуми Энами (В основном стиль из Kiseki)
Тоже отлично работает в базовом виде. Но часто ломает руки и пальцы.



Стиль Аями Кодзимы
Я даже не фанат старых Кастлеваний и конкретно Аями Кодзимы (и даже оценить, похоже или не похоже, не могу), но зачем-то сюда полез.
Моделей, копирующих стиль Аями Кодзимы большое количество, но из тех, что попробовал (почти все), ни одна в базовом виде нормально не работает (то есть надо копать глубже и сильнее регулировать). Одна вообще рисует одного и того же мальчика, похожего на девочку, и двух девочек, одна из которых подозрительно похожа на этого мальчика...







Персонажи

Райза (Atelier Ryza 3)
Отлично рисуется да еще и в стиле игры, что также и минус: полностью заглушает стиль базовой модели, а значит требует регуляции, если потребуется иной стиль рисовки.


Сэрри (Atelier Ryza 2)
Тоже все хорошо, хотя иногда бывают проблемы с цветом глаз и ногами/руками.



Лаксия (Ys VIII)
Плюс-минус стабильно.

А вот совместные варианты с Даной в большинстве своем полностью провальны, вот наиболее удачные (но и в них перепуталась одежда, скосились прически, и с руками ужасы):


Мириам (Bloodstained: Ritual of the Night)
В основном стабильно, прыгает только тату туда-сюда и перчатка на правой (?) руке то исчезает, то появляется непонятно где.



Данте и Вергилий (Devil May Cry 3/5)
Качество прыгает. Данте постоянно с руками из четырех пальцев. Тут как раз можно увидеть, как плохо нейронка работает с оружием.

Также провал совсестного изображения:

Вергилий на другой модели и другой базовой модели:

Потом стал пробовать Данте тоже на других моделях. Все было плохо, рисовали какого-то Данте-хлюпика, а в какой-то момент вообще стали рисовать женскую версию Данте, о чем я не просил. Поэтому я психанул и ушел к моделям другого стиля:

Тут порегулировал изображения оружия с помощью корректирующих картинок:


Пока что хватит.
Продолжение следует (или нет).

[Secret Boss]

Стиль напиштимсовских Исов

Вот эти пикчи чертовски хороши по стилистике и исполнению.

Стиль Аями Кодзимы

А вот тут попадание слабое. Аями пишет маслом, что визуально выражается характерными мазками кисти. А у нейронки всё сглажено до неприличия.

[Krusnik777]

Аями пишет маслом, что визуально выражается характерными мазками кисти. А у нейронки всё сглажено до неприличия.

Скорее всего, исправимо. У нейронки при генерации изображений на многое еще влияет выбранный "семплер" (какие-то изображения делает четче, а какие-то как раз, наоборот, смазывает - с ними я еще маловато игрался), не говоря уже о том, что через запрос еще можно попробовать указать, чтоб дело больше походило на картины и подобное.
Поиграюсь с моделями по этому стилю еще, наверное.

[FrankLekard]

Krusnik777
О, привет, с возвращением!
Кстати, Сэри 1 в 1 на модельку Эолы похожа, из Геншина. Просто почти точно совпадение.
А так очень круто вышло, но некоторые модели (рисовку) я прям могу узнать, искал по ним арты на некоторых персонажей...
Рано еще увольнять художников, но чувствую, что скоро их время в основной своей массе кончится, что грустно.

[Ящер]

Хм, больше всего поразили огромные сись...эм грудные части и огромные ж....эм, задние части, изображённых персонажей женского пола. Тут хентай-кроссовер напрашивается.