2 142 просмотров

Про нейросети - личные впечатления и примеры

Здравствуйте, друзья!

Поговорим сегодня о нейросетях. Вообще сложно обойти эту тему на сегодняшний день т.к. она страшно распиарена, количество обучающих курсов которые выходят просто сумасшедшее. Давайте оценим реальную полезность нейросетей для фотографов и прочих смежных областей деятельности. Давно слежу за развитием нейросетей, подписан на соответствующие каналы и пользуюсь ими в своей деятельности где уместно. Решил поделиться впечатлениями и размышлениями об их роли в будущем.


Дмитрий Евтифеев

автор статьи - Дмитрий Евтифеев

к содержанию ↑

Художественные тексты сгенерированные нейросетями

Во-первых, текстовые модели типа ChatGPT. Я пользовался моделью ChatGPT3 в текстовой игре AI dungeon. Выглядит это как старинная ходилка-бродилка где ты пишешь текстом что ты делаешь, а игра также текстом тебе отвечает что происходит. В итоге на ранних стадиях игры мне удавалось вести игру по своему сценарию. Но чем дальше обновлялась игра, тем больше ограничений возникало и стало очевидно что по сути ты уже играешь не с нейронной сетью, а с разработчиками, которые сделали её по "текущей повестке". Т.е. если сначала было интересно и можно вести сюжет почти как с человеком (и это весьма впечатляет), то потом народ стал использовать игру для своих фантазий, многие из которых не понравились разработчикам и они ввели цензуру. В результате игра стала очень выхолощенной. Привожу этот случай как пример того что нейронки сразу попадают под строгий контроль общества. Вот так еще цензуру можно увидеть..

Про нейросети - личные впечатления и примеры

Вторая текстовая модель, которую я пробовал - ChatGPT3.5. На сегодняшний день это реальная рабочая модель, в отличие от ChatGPT4, который в полной мере еще не работает. ChatGPT4 предполагается что есть в поисковике от Майкрософт Bing, но это не точно. С помощью встроенного ChatGPT Майкрософт пытается оживить почивший Edge и попытаться как-то конкурировать с Google на поле браузеров и поиска (Microsoft инвестировал в компанию OpenAI, которая занимается развитием нейросетей ChatGPT и имеет лицензию на использование в своих продуктах).

Если вы читаете мой блог давно, то представляете как я пишу и что я имею представление о писательском творчестве. Так вот про ChatGPT3.5 можно сказать что пишет она скучно. На первый взгляд это выглядит как будто написал человек, но только на первый взгляд. Когда начинаешь читать такие тексты, то очень быстро становится скучно. За текстом не видно личности автора и текст не увлекает. Не знаю, смогут ли они это поправить в будущем, как "перенос стиля" на фотографиях. Плюс сразу заметно что текст является синтезом каких-то предшествующих произведений.

Про нейросети - личные впечатления и примеры

И, с одной стороны, мозг человека работает аналогично (и это пугает!), но на входе результат отличается. Когда пишет человек, то даже бездарный текст имеет на себе печать личности автора, а тут - нет. Учитывая контроль общества за развитием нейронных сетей - они изначально будут с психическими дефектами. Надежда только на какие-то open source проекты.

к содержанию ↑

Вопросы к нейросетям

ChatGPT можно задавать простые вопросы и отвечает она на них очень хорошо.

Про нейросети - личные впечатления и примеры

Про нейросети - личные впечатления и примеры

Про нейросети - личные впечатления и примеры

Но сложные вопросы ей задавать бесполезно, особенно если на них еще никто не отвечал. Надо понимать, что своего мозга у нейросети нет и она не может вменяемо создать ответ. Она пользуется уже готовыми результатами. Кстати, про готовые результаты..

Про нейросети - личные впечатления и примеры

Большинство нейросетей работают без использования интернета по заранее готовой модели, составленной на основе миллиардов слов. Например, для Chat GPT3.5 это 225 млрд слов из книг, сайтов и википедии. Не некоторые нейросети используют и актуальную информацию. Например, поисковик от Microsoft - Bing.

к содержанию ↑

Нейросети для иллюстрации статей

Очень интересное направление развития нейросетей и, похоже, здесь они себя полностью реализуют. Когда пишешь статью у тебя не всегда находятся подходящие случаю иллюстрации, а нейросеть может сгенерировать совершенно фантастические сюжеты за минуту и даже не понадобится со стула вставать.

Про нейросети - личные впечатления и примеры

Это удачный пример иллюстрации для статьи. А сколько было неудачных.. Просто тьма.

Про нейросети - личные впечатления и примеры

Про нейросети - личные впечатления и примеры

Где-то проблема с пальцами, которые завиваются как змеи и всегда в неправильном количестве, где-то микрофон оказывается вмонтирован в людей, а где-то наушники на головах, которые я не заказывал и было очень непросто добиться чтобы наушников в сюжете не было.
Понравившиеся картинки можно дорабатывать, но зачастую это оказывается невозможно, нейросеть не понимает в чем проблема.

Про нейросети - личные впечатления и примеры

Более того, даже микрофон не всегда похож на микрофон. Ниже пример где мне удалось получить и картинку подходящую и микрофон похожий на микрофон, но зачастую приходилось монтировать из нескольких.

Обзор микрофонов Saramonic: Soundbird T3, Vmic 5 pro, Vmic pro mini

Еще один пример ниже - это иллюстрация работы микрофона в шумных условиях. Картинка вышла удачная, я только пальцы поправил.

А вот абстрактные портреты выходят замечательно.

Про нейросети - личные впечатления и примеры

Только непонятно какой от них толк. Особенно учитывая, что большинство персонажей на картинках имеют много общего во внешности. Потому более одной такой картинки на статью не вставить.

Резюмировать я это могу так.. В иллюстрации статей нейросети себя обязательно проявят. Я уже сейчас вижу кучу сайтов полностью сгенерированных нейросетями. Причем и текст и фото. Это ужасно, конечно, потому что они не несут никакой информации, а просто засоряют интернет. Т.е. опять инструмент данный людям во благо превращается в генератор мусора. Но это не отменяет его полезности, конечно.

к содержанию ↑

Нейросети и программирование

Пошёл слух, что и программистов скоро отменят. Программисты заволновались. Вот так случилось, что одни программисты копали яму другим. Так что же реально может нейросеть? Я в далёком прошлом тоже программист и в течение жизни пришлось изучить кучу языков программирования, потому проверка не составила труда. Пробовал я на актуальных для меня примерах. Мой сын 9 лет сейчас программирует на Maxscript, это скрипт встроенный в пакет для 3D моделирования 3D Max. Кроме того, он пишет на Python. Я его иногда прошу переписать какой-то устаревший плагин для программы или исправить его, чтобы плагин работал в новой версии программы. Дело это нудное, так что у нас был большой энтузиазм, что исправление плагинов и их переписывание можно будет поручить нейросети.

Сначала попросили написать простейшие скрипты.

Про нейросети - личные впечатления и примеры

С этим нейросеть справилась что в 3D Max, что в Maya. Пробовали разные вариации простых скриптов, в основном получается. Но как только усложнили задание, то сразу фиаско. Всего лишь попросили сделать скрипт где геометрические фигуры распределятся в определенном объеме.

Про нейросети - личные впечатления и примеры

С исправлением скрипта под новую версию программы нейросеть тоже не справилась. Хотя пробовала много раз, извинялась, экспериментировала и находила всё новые ошибки. Интересно, что в итоге ошибки все пропали, но скрипт так и не заработал 🙂 Пришлось всё-таки исправление поручить сыну.

Заодно узнал на каком языке основан Maxscript 🙂

Про нейросети - личные впечатления и примеры

Резюмируя.. Для программистов нейросети будут очень полезным инструментом, который позволяет отлавливать мелкие, но очень частые и раздражающие ошибки в виде опечаток в операторах, буквах в разном регистре и т.п.

Про нейросети - личные впечатления и примеры

Кроме того, большую роль играет популярность языка программировная. Например, ChatGPT намного лучше исправлял Python, чем Maxscript по которому очень мало примеров в открытом доступе. Переписать одно в другое он, само собой, тоже не может "по взмаху волшебной палочки".

Для серьезного кода нейросети пока не применимы. Не уверен ли будут ли применимы в будущем. Есть ощущение что ChatGPT более-менее хорошо ориентируется на уже решенных задачах, на которые его тренировали и совсем не может делать что-то что напрямую к ним не относится. Также не получается комбинировать скрипты, чтобы получить готовый результат. Физически они соединяются в один код без ошибок, но смысл полностью теряется 🙂 Получается просто мешанина кода. Посмотрим, как будет развиваться это направление.

к содержанию ↑

Нейросети для ретуширования фотографий

Одна из весьма интересных областей где нейросеть себя может проявить в полной мере. Ведь у фотографии нет такого чёткого критерия качества, как у кода программы. Значит можно допускать какие-то ошибки и отходить от первоначального запроса ибо может и так результат понравится?

Первое что вам, наверное, придёт в голову - это Adobe Photoshop.

Про нейросети - личные впечатления и примеры

Причем в версии Beta т.к. полноценной версии фотошопа с нейросетью еще пока нет. Встроена там нейросеть Adobe Firefly, которая требует наличия связи по интернету с сервером Adobe. Думаете это необходимо нейросети? Нет, конечно. Но это не должно позволить пиратить фотошоп.

Самая интересная функция в нейросети фотошопа это Generative fill, т.е. заполнение выбранного места сгенерированным содержимым. И есть раньше было Content-aware Fill, который заполнял с учетом текстур, которые окружают выделенное место, то теперь заливка заполняет с учетом СМЫСЛА окружающего пространства. Смысл, правда, пишите вы сами. Можно попробовать не писать, но в угадайку нейросеть играет намного хуже. А так - выделяете место где нужны новые объекты и пишите что вы хотите. Я, например, удалял машины, которые оказывались на фотографии в том месте где лучше бы их не было. И провода с неба.

Про нейросети - личные впечатления и примеры

Здесь я просто машину убрал с переднего плана.

Польза от такого инструмента несомненна. Хотя насколько я экспериментировал - в плане генерации интересных картинок эта нейросеть работает куда хуже, чем Midjourney. Её удел - ретушь.

В фотошопе еще есть нейронные фильтры (neural fulters).

Про нейросети - личные впечатления и примеры

Среди прочего там есть перенос стиля и цветовой гаммы. С цветом они работают неплохо, но в целом, на мой взгляд, бесполезный набор фильтров. Так что от них я как раз легко отказался. Ради них не стоило включать выход в интернет и входить в Adobe ID.

Гораздо интереснее, чем Photoshop со своими нейрофильтрами выглядит бесплатная программа Lama-cleaner на основе нейросети SOTA AI

Провода я убрал грубо, за 5мин. Если делать аккуратно и потратить минут 15, то можно убрать их идеально. Простота такой ретуши впечатляет и очень актуальна!

Ниже представляю примерный процесс ретуширования городских фотографий.

к содержанию ↑

Как попробовать нейросети самостоятельно уже сейчас

к содержанию ↑

Если вы хотите генерировать картинки

Про нейросети - личные впечатления и примеры

Midjourney

Во-первых, вы можете зарегистрироваться на Discord.com и зайти в официальный канал Midjourney. Но сейчас наплыв людей большой и не всегда она даёт нормально попробовать.
Пишет что триал-версия временно недоступна. Хотя еще пару месяцев назад можно было бесплатно генерировать без проблем. Также можно зарегистрироваться, создать канал и добавить туда бота Midjourney чтобы все картинки были в одном месте, а не в общественном чате.
И третий вариант - платить 20 долларов в месяц и делать всё без проблем и ограничений.

Во-вторых, можно установить Adobe Photoshop 24.5.0 (Beta) и там использовать нейронные фильтры или Generative fill.

Про нейросети - личные впечатления и примеры

Остальные варианты я не пробовал, хотя есть функция Stable Diffusion и в программе Lama Cleaner и в других бесплатных программах.

Кроме того, на нейронных сетях работают многие продукты Topaz, например, Topaz Gigapixel, которая увеличивает картинки. И в том же ряду Topaz Sharpener и Denoiser.

Также вы можете использовать совершенно бесплатную нейросеть Stable Diffusion самостоятельно. Установите её отсюда и пользуйтесь. Для этого вам нужен установленный Python, желательно версии 3.10 (но у меня и на 3.11 работало)

Про нейросети - личные впечатления и примеры

Эта нейросеть может работать в ОЗУ вашего компьютера и будет работать медленно, а может в памяти вашей видеокарты. И вот тут интересный момент, я покупал Geforce RTX 3080 12Gb год назад и думал, что 12 Гб это весьма много, но, как оказалось, для генерации картинок это мало. Мой удел это 512х512 пикс или около того, иначе выходит за объем имеющейся на видеокарте памяти. Посоветовался с коллегами, оказывается для более серьезных картинок они покупают Geforce RTX 4090 с 24 Гб "на борту". На ОЗУ нейросеть работает раза в 4 медленнее, но зато там она памятью особо не ограничена, современная средняя материнская плата позволяет поставить до 128 Гб памяти.

к содержанию ↑

Если вы хотите генерировать текст

Заходите на https://chat.openai.com/, регистрируйтесь и получите свой API код.

Про нейросети - личные впечатления и примеры

С его помощью сможете работать и на сайте Open AI и встраивать в свои приложения.

Есть, конечно, и другие варианты попробовать нейронные сети, я написал самые простые и те которые пробовал сам.

к содержанию ↑

Видеообзор о нейросетях

к содержанию ↑

Итоги

В связи с растущей популярностью нейросетей для генерации текстов и картинок людям придётся задуматься так ли уж они креативны. Может именно потому бастуют сценаристы и актеры в США (там где что-то реально делается, а не в странах где только делают вид что есть кинематограф). Их прекрасно заменяет нейросеть. Чтобы писать такие ужасные бездарные сценарии и так плохо играть в кино не нужны специальные сценаристы-люди и знаменитые актёры. Сценарий напишет нейросеть, чтобы сделать еще 100 сиквелов по одному известному фильму, причем сделает это за минуты. А сыграет обычный статист за зарплату дворника, где дипфейком ему заменят лицо в постпродакшен на известного актёра. И всё.

Бастуют художники, потому что нейросеть прекрасно рисует избитые сюжеты и может даже использовать какой-то конкретный стиль известного художника. А человеку нужны дни, недели, месяцы.. А на выходе не всегда вообще что-то хорошее. Т.е. художникам стоит задуматься об идее своих картин и о вкусе своих клиентов. Люди сами загнали себя в эту ловушку.

Настаёт очередь фотографов. Зачем мне себя снимать в парке, если я могу загрузить свою произвольную фотографию в нейросеть и попросить сделать парк за спиной, а себя омолодить лет на 10? Кто виноват, что у клиента возникает такая мысль? А не бездарные ли фотографы генерировали кучу говна все эти годы в парках, приучая клиента к низкому качеству? Последнее время и от предметного фото уже тошнило. Его вешали в метро и можно было встретить на билбордах. Клиент на этом свой вкус воспитывал. Значит так можно и это нормально. А теперь вы можете загрузить фото своего товара сделанное на телефон и попросить нейросеть обработать и на выходе получите примерно тоже что видели ранее в плохом качестве. Вот не хуже. Да, такое же безыдейное и низкокачественное, но так и вариант сделанный человеком был не ахти.

Про нейросети — личные впечатления и примеры

ретро смартфон

Заволновались и программисты. Нейросеть оказалось может писать простой код. Пока что простой, но многие из них на этом и жили. Писали простой код для клиентов кто вообще в программировании не понимал. И теперь такой работы не будет, клиент сам сгенерирует то что ему надо, а программисты из компаний, которые делают сети помогут ему с интерфейсом, чтобы не нужно было знать вообще ничего о программировании.

Казалось бы, одни из самых незаменимых это 3D моделлеры, к коим я и себя частично отношу. Но недавно выпустили несколько обновлений и в том же DAZ3D появилась генерация персонажа. Эту тему я пока изучаю и отпишусь по ней отдельно.

В сухом остатке то что нужно быть более креативными, иначе машины вас заменят. И эта проблема уже перестает быть проблемой отдалённого будущего, всё начинается прямо сейчас. Удачи вам и надеюсь человечество само себя не изживёт, ведь оно очень старается себя прикончить или хотя бы осложнить жизнь :)) Казалось бы, столько придумано инструментов чтобы облегчить человеку жизнь, а итоге всё возвращается к тому что ему всё сложнее выживать. И просто поохотиться 3 часа в день и поесть уже недостаточно.. Будет интересно узнать в комментариях что вы об этом думаете.

Про нейросети - личные впечатления и примеры: 4 комментария

  1. Как зарегистрироваться в Open AI? При попытке регистрации, система выдает, что сервисы ресурса недоступны в моей стране (РФ).

    Attached image:

    • Используйте VPN. Желательно платный, они лучше работают (должно сработать). Я пользуюсь VyprVPN для доступа на российские сайты сейчас. Но можете попробовать сначала Browsec - это расширение для браузера Chrome, он бесплатный. Там вроде три страны на пробу, Нидерланды - самый быстрый вариант.

Добавить комментарий