Искусственный интеллект

Всем привет. Это вторая часть обзора работы нейросетей. Если интересно, то можно для начала почитать первую часть, А если лень читать, то можно посмотреть видео, в котором все три части сразу.

Принцип работы искусственных нейросетей инженеры не выдумали с нуля. Что бы заново не изобретать велосипед, программисты решили взять метод опробованный природой. Нагло слизать принцип работы мозга у живых существ. Искусственные нейроны в виртуальности работают ровно так же как и нейроны в головном мозге в реальной жизни. Давайте разбираться.

Посмотрите на рисунок, это не печеночный сосальщик, как многие подумали. Это схематичное изображение нейрона. Нейрон – это клетка нашего с вами организма, например. Те самые нервы которые «не восстанавливаются». Принцип его работы, как и всё гениальное довольно прост. На входы нейрона, которые называются дендритами, приходят сигналы с других нейронов. Эти сигналы обрабатываются в теле нейрона, которое называется «сома». Обработанный сигнал передаётся на выход нейрона, который называется «аксон». Вот и всё. У каждого нейрона как естественного, так и искусственного может быть множество входов, но только один выход. Место соединения дендрита и аксона называется синапс. Нейроны и дендриты принято называет серым веществом, а аксоны – белым. Если сравнивать с компьютером, то серое вещество это процессор, жесткий диск и, например, видеокарта. А белое вещество это провода и электропроводящие цепи на материнской плате. Известно что не только количество нейронов (серого вещества) влияют на интеллектуальные способности особи, но и количество синапсов, а так же взаимное расположение синапсов относительно друг друга. Т.е. способ организации нейронов между собой.

Вот мы плавно подошли к термину из заголовка - нейросеть. Множество нейронов соединённых между собой и называют нейронной сетью. Если мы написали программу, в которой сымитировали работу биологического нейрона, то это будет искусственная нейросеть. Большинство средств разработки классических приложений, не имеют каких либо специальных методов для работы с нейросетями. И нейрон написанный на языке c# может выглядеть например вот так:

Не нужно сейчас думать что всё это означает. Просто вы должны понимать что для написания нейросетей вам не потребуется какой-нибудь супер-компьютер или специальное программное обеспечение. Достаточно вашего компа и экселя. Многие кстати не знают, что данное средство работы с таблицами имеет встроенный компилятор (среду разработки программ).

А теперь давайте разберём строение и работу искусственного нейрона. У него как мы уже знаем есть вход, он может быть один или их может быть несколько. На вход приходит некий сигнал, от другого нейрона или из датчика это не важно. Сигнал представляет собой некое число, чаще всего это число должно имеет значения от 0 до 1. Для этого все значения, которые прилетают на входы предварительно нормируют. Это означает что все они будут причёсаны под одну гребёнку. Допустим на нейрон управления шарниром робота, приходят несколько значений. В том числе градус поворота предыдущего шарнира α=31, и масса топлива m=57. Нормировать мы можем следующим образом. Нужно знать максимальное значение угла поворота шарнира, и максимальный запас топлива. Предположим, они будут αMax=45, mMax=80. Мы можем придумать очень простое правило нормирования, разделив текущее значение на максимальное. И получим на первом входе In1=31/45=0.69, а на втором In2=57/80=0.71. Заметьте, что значения на входах при таком способе нормировки никогда не будут выходить за пределы от нуля до единицы. Если нам не известны максимальные значения, мы можем просто единицу разделить на сумму входящего значения и единички, и так же получим нормированное значение от нуля до одного. Оба этих варианта работают для входящих значений больше либо равных нулю. Говоря в общем, можно юзать нейросети и не нормируя входящие параметры, но если вы точно уверены, что всё будет работать и так. Если не уверены, или лень над этим думать – нормируйте.

Далее нормированный сигнал умножается на очень волшебное число, которое чаще всего называют весом данного входа. Мы к нему неоднократно вернёмся, ибо он является главным механизмом обучения нейросети. Итак мы перемножаем значения входов на веса каждого входа. Опять же для примера возьмём вес на первом входе 0,5, на втором 0,25. Получаем

In1*W1=0.69*0.5=0.35, In2*W2=0.71*0.25=0.18.

Эти два значения придут в сому нейрона, или как её ещё называют функция активации. А дальше функция активации уже будет решать что делать с этими числами. Самый простой пример функции активации – это шаговая или пороговая функция. Если сумма всех значений пришедших с каждого входа, больше чем некое число, то на аксон (выход нейрона) улетит единица, в противном случае нолик. Давайте от балды назначим шаговую функцию с порогом 0,5. Это значит что если сумма со всех входов будет больше чем 0,5, то на выходе будет 1. Рассчитаем для нашего примера.

0,35+0,18=0,53

Это больше чем 0,5, результат работы этого нейрона будет равен 1. Если вы только начали изучать нейросети, то вам более чем достаточно данной функции активации. Она очень проста и её выполнение процессор производит очень быстро. Но в большинстве прикладных нейросетей используют знаменитую сигмоиду. Она всем хороша, и нормирует и сглаживает, и даже работает с отрицательными значениями на входах. Единственный минус, она довольно трудозатратна для компа, особенно при высоких значениях суммы со всех входов. Вот вам ссылочка на сигмоиду и другие функции активации.

Так же я не сказал, что чаще всего на один из входов приходит одно особенное значение, всегда равное единичке помноженной на вес этого входа. Это значение называется нейрон смещения. Для чего оно немного позже.

В целом это всё. Придумайте процедуру для соединений нейронов, придумайте схему их соединения и получите нейросеть.

Простейшая нейросеть может иметь на пример вот такой вид:

Зелёные – входные нейроны, голубые нейроны скрытого слоя, жёлтый выходной нейрон. Количество нейронов для каждой конкретной нейросети разумеется будет меняться. У каждого из нейронов любого слоя буду свои входы и выходы. Количество входов и функция активации, выбирается из конкретной задачи.

Давайте на примере рассмотрим, на мой взгляд, самую простую и понятную нейросеть. Она будет определять какую цифру мы написали. Я могу нарисовать двойку разными способами, и каждый из вас поймет, что это именно двойка, но вот для компьютера работающего только на классических алгоритмах, понять это почти непосильная задача. Поэтому мы и воспользуемся нейросетью. Каждая картинка имеет разрешение 16х16 пикселей, значит всего у нас будет 256 пикселей. Это число и будет ровняться количеству входных нейронов в нашу нейросеть. Сигнал от каждого пикселя будет связан со входным нейроном. Если пиксель будет закрашен, то результат работы входного нейрона будет единичка, в противном случае нолик.

Давайте для примера возьмём три случайных пикселя. В двух из них цвета нет, значит входные нейроны этих пикселей выдадут нолики, а один из пикселей закрашен, значит результат работы входного нейрона будет единичка. Ещё раз замечу, я случайно выбрал три входа, общее их количество 256, с каждого пикселя на каждый из 256-ти входных нейронов придёт или единичка или нолик.

.

Далее добавим 10 нейронов следующего слоя, для них выходы входного слоя превратятся во входы. Получим 10 нейронов у каждого из которых 256 входов. Каждый из добавленных нейронов будет пытаться найти свою цифру. Нейрон №0 попытается определить 0 на картинке, нейрон №1, будет отвечать за цифру один, и так далее.

Посмотрите внимательно на организацию нейросети. Каждый входной нейрон (зелёный кружок) передаёт одинаковый сигнал, на каждый вход для нейрона следующего слоя (синий кружок). Но у каждого из синих нейронов будет разный вес на его конкретном входе. Например, на первом входе у первого нейрона может быть вес 0,1, а на первом входе второго нейрона вес может быть 0,9. Следовательно, каждый из десяти нейронов после переработки сигналов входа и переваривания их в функции активации, выдаст свой уникальный результат, при совершенно одинаковых значениях на каждом из 256-ти на входных нейронах.

И ещё раз. Функция активации у каждого нейрона будет одинаковая, а вот веса на входах будут разные. Напомню что вес входа это число, на которое умножается сигнал со входа. Т.е. отличаться нейроны будут исключительно этими весами. На этом этапе, встаёт вполне разумный вопрос. Как изначально заполнить веса нейронов? А вот как. Веса для каждого входа каждого нейрона заполним от балды. Вы не ослышались, мы просто заполним их случайными числами, и это не мой бзик, поверьте так делают и настоящие гуру мира нейросетей.

Всё, наша нейросеть готова.

Далее мы с вами будем показывать нейросети картинки с разными цифрами. Она будет перемножать суммировать и бог знает, что ещё делать с циферками пришедшими на входы, и каждый из десяти нейронов выплюнет в результате некое число. Мы найдём среди них самое большое (не забываем что в данном случае шаговая функции активации уже не сработает). Номер нейрона выдавший самое большое число, а следовательно победившего в этой схватке, и будет ответом на вопрос «какое число на картинке». Ведь помните у нас, как раз 10 нейронов, и каждый отвечает за некое число. Скорее всего ответ будет неверный.

В конкретном примере, максимальный результат выдал нейрон отвечающий за цифру один, хотя должен был победить нейрон 2. В случае если нейросеть не узнала число, мы правим веса на нейроне победителе, чтобы он не лез куда его не просят, а так же на том нейроне который должен был победить, чтобы он стал поактивней. Как именно мы правим веса нейронов немного позже. Так мы будем нянчится с нейросетью довольно долго. Ну или просто сбагрим её другой программе, которая знает ответы на вопросы и сделает всё за пару секунд, в любом случае рано или поздно мы обучим нашу нейросеть. И для проверки покажем ей такой рисунок, которого она никогда не видела ранее в процессе обучения, на котором тоже изображена циферка. Если нейросеть угадала, то она считается обученной, если нет, отправляем все веса в утиль и учим заново.

Вот и всё. Согласитесь это совсем не сложно. Проблема в том что ни одна нейросеть не будет работать сразу после создания. Вообще ни одна. Всё дело в том что любую сеть нужно сперва обучить. Обучением нейросети называется подгонка этих самых волшебных весов на входах нейрона к нужным значениям. И способов обучения существует довольно много. Чтобы не раздувать и без того большую статью, я расскажу о способах обучения как-нибудь в другой раз.

Продолжение, в котором мы приступим к практике, следует. Ну или просто посмотрите ролик)))

Помните, как в детстве мы по три раза за неделю заявляли учителю алгебры: «Зачем мы это учим?! В жизни всё равно не пригодится!»? Как выяснилось, пригодиться бы могло, а некоторым уже пригодилось. А те, кто увлекался большой математикой, сегодня на наших глазах меняют мир.

Львиную долю современных высоких технологий можно описать всего двумя словами: «математическая модель». А кто-то обходится и одним – «нейросети», подразумевая под этим словом многоуровневое глубокое обучение и программно-аппаратный комплекс для реализации соответствующей математической модели.

Сегодня нейросети буквально меняют привычный нам мир. Можно банально вспомнить про подножку уходящего поезда, но дело в том, что он ещё не ушёл. Мир меняется настолько быстро, что нужно учиться не использовать новые технологии, а жить среди них, находя своё место. Актёры, писатели, бухгалтеры, охранники, музыканты, композиторы, звукорежиссёры, вахтёры, маркетологи, аналитики, инженеры по охране труда – под пятой математиков большинство из нас может внезапно оказаться под угрозой вымирания. Вот несколько конкретных примеров.

Уши

Главная проблема видеоблогеров – выбрать подходящую музыку, не нарушающую ничьих прав. Хочется вот подложить какую-нибудь Queen – а нельзя, канал ведь заблокируют. На помощь приходят нейросети.

AIVA, например, создаёт мелодии в соответствии с заданными критериями пользователя. Сервис активно развивается, и в ближайшем обновлении пользователи сами смогут загружать композиции для её обучения, но зачастую требует денег за подписку.

Ещё большие аппетиты у проекта с российскими корнями Endel. Эта нейросеть генерирует музыку для расслабления, медитации или сна настолько успешно, что её создатель Олег Ставицкий уже пополнил портфолио контрактом с Warner Music.

Для тех, кто не гонится за шедеврами, подойдёт нейросеть попроще. Amper умеет выдавать на гора 30-секундную композицию в любом из предложенных стилей и не повторяться. В версии Pro получится редактировать этот результат как полностью, так и частично, если вам, например, не понравилось вступление.

Самые простые (читай: быстрые) нейросети вообще работают с midi-файлами. Например, MuseNet от илонмасковского Open AI создаёт треки, ориентируясь на творчество классиков от Моцарта и Битлз до Lady Gaga и всё тех же Queen. Нужны 4 минуты уникального музыкального фона? Пожалуйста. Без регистрации и SMS.

Работают нейросети и с чистыми звуками. Нейросети от NVidia уже чистят аудиозаписи от посторонних шумов, а алгоритм от учёных из CSAIL небезызвестного MIT, наоборот, добавляет foley-шумы в соответствии с происходящим в кадре. Стоит отметить и нейросеть NSynth (аббревиатура от Neural Synthesizer), которая в состоянии генерировать новые звуки, используя звучание уже существующих вещей и явлений. Другими словами, теперь у любого космического монстра в фильмах или компьютерных играх будет свой уникальный голос. А профессиональные композиторы, музыканты и звуковики могут подвинуться.

Глаза

Когда мы говорим о машинном зрении, на ум первыми приходит распознавание лиц. В 2019 году самым известным игроком на рынке стал российский Macroscop, со своим модулем Complete серьёзно потеснивший неповоротливых ребят из NtechLab с их FindFace и VisionLabs с комплексом Luna. Complete может распознавать до 100 лиц в кадре, уведомлять по почте или в мессенджерах о появлении персоны из «чёрного списка», приветливо открывать двери в подъезд, ворота и шлагбаумы. В общем, распознавание лиц стало синонимом автоматизации, угрожающей рабочим местам охранников, вахтёров и прочих милиционеров. Кстати, именно Complete сейчас используется в знаменитых «Пятёрочках» для борьбы с шоплифтерами. И именно система распознавания лиц в ближайшем будущем заменит кондукторов и контроллёров в общественном транспорте. К примеру, в Перми, если верить обещаниям местной власти, это произойдёт уже в следующем году. Программа платная, но проверить всё же получится – тестовую версию, кажется, ещё можно получить бесплатно.

Распознавание лиц используется и в знаменитой DeepFake – нейросети, ушедшей под радары из-за волны негодования. Погорев на поддельных порнороликах со звёздами, сегодня эта технология используется в музейном деле, заменяя экскурсоводов, и в мобильных приложениях, состязаясь в остроумии с карикатуристами.

Здесь-то мы и подошли вплотную к пост-смертным концертам звёзд и молодым уиллсмитам в фильмах. «Благодаря» нейросетям и CGI профессия актёра может стать совсем не нужной. Мало того, такие сети как, например, Veravoice или Voices by Headliner позволяют озвучивать фальшивых актёров знакомыми потребителю голосами. Признайтесь, вам ведь уже звонил Дима Билан с предложением купить бижутерию? То-то и оно.

Руки

Стоит напрячься и представителям других профессий. С каждым днём технологии машинного зрения и нейросети выполняют всё больше полезных функций. Математики и разработчики, например, создали «стукача», который способен штрафовать тех работников, которые не носят защитные приспособления, положенные по технике безопасности. Официально называемая «детектором отсутствия касок» программа вселяет в петровичей страх там, где штраф за отсутствие каски грозит штрафами самой компании-работодателю.

Не пригодятся руки и в автомобилях. Подавляющее большинство компаний сегодня нацелено на создание беспилотного транспорта. На слуху, конечно, в первую очередь такси, но кроме таксистов стоит напрячься и профессиональным дальнобойщикам. И не надо думать, что речь о загнивающем Западе – в России и Казахстане уже вовсю развернулись испытания беспилотников от КамАЗа и Ralient.

Вместо вывода

Нейросети от ленивых математиков пишут сценарии для фильмов и картины, обрабатывают изображения и создают новые, ищут акул в море, контролируют работу кассиров и офисного планктона. ROSS на базе системы Watson от IBM уже работает адвокатом и брокером. Вера занимается хедхантингом и автодозвонами. Julie заменила секретаря. Скрипящих зубами гуманитариев скоро вытеснят даже из-за свободных касс «Макдоналдса». И только одни математики довольно почёсывают ленивые пузья – это их мир, это их век, где физики однозначно победили лириков в их вечной борьбе за место под солнцем.

Отсюда

На фото выше - технический чертёж портрета в Autocad для экспорта в G-код на станок с ЧПУ, так представляет себе образ ИИ робота-художника, а воплощение его на холсте уже дело механических манипуляторов.

Своим двум подписчикам я обещал совершить революцию и вот пожалуйста, признаюсь: занимаюсь этим с 2008 года, упорото упорно развивая технологию. Уже готов блок "художественного мышления" и исполнительные механизмы для рисования.

Искусственный интеллект по заданному образу представляет как ему расположить штрихи на рисунке с оптимальной длиной и углом наклона, на выходе - векторный чертёж портрета для рисования на станке с ЧПУ.

Видео с таймлапсом работы рисования размещено первым постом в моём Инстаграм: @lyanguzov.ru там же фото творческих работ робота-художника. И в Фейсбук есть.

Изначально он рисовал портреты, но всё развивается, и вот уже взяв старую картонку, гелевую пасту и фрезерный станок - получаем пейзаж.

Я потратил на это 11 лет своей жизни, а мой гараж больше напоминает музей ущербной робототехники с пыльными прототипами, замысловатыми механизмами дозирования и нанесения краски, барабанными механизмами с шприцами, насосами, сервоприводами...

Я показал рисунки на бумаге, но холст, кисти и масло - это реальность.

Есть у меня цель, можете считать это попыткой постебаться или наоборот, расшатать замшелые устои искусства, но когда-нибудь мой механизм пополнит ряды членов союза художников. Очень хочется посмотреть в их лица в момент, когда они узнают, что картины пишет не человек.

Поддержите, Пикабушники.

Всем добрый день, думаю некоторые из пользователей Пикабу, слышали, что Гугл недавно выложил в открытый доступ нейросеть, которую пользователи могут научить тому, что сами захотят, а потом использовать эту нейросеть в своих проектах.

Ссылка на нее вот: https://teachablemachine.withgoogle.com

Я давно думал над тем, чтобы сделать определитель птиц на базе нейросетей, но в силу отсутствия специальных знаний, не мог эту идею реализовать. Теперь, когда ребята из Гугла дали возможность обучать нейросети без навыков программирования, моя мечта становится реализуемой.

Интерфейс такой

Всего-то и нужно сделать, что скормить нейросети пару десятков тысяч изображений птиц, делов-то!

Но я столкнулся с некоторой проблемой: картинки-то я беру большей части из Гугла и Яндекса, там классные фотографии, художественные, никаких смазанных и кривых кадров, все птицы выглядят супер. А это не совсем то, что мне нужно.

Основная идея, которую я преследую - возможность распознавать птицу даже, если фотография темна и полна ужасов, птица выглядит нечеткой, повернута не той стороной или видно только часть птицы, или она вообще мертва, больна, без крыла или глаза, ну, вы поняли.

Таких фоток мало, потому что кто будет выкладывать такое?

Собственно, я хочу обратиться к Силе Пикабу, ребята, если у вас есть фотки птиц, где вы точно знаете, что это за птица, но не стали бы выкладывать это в интернет, отправьте эти фотке мне, плиз. Или, если вы знаете, где достать такие фотографии, подскажите. Мне нужно ОЧЕНЬ много фотографий.

Фотки можно кидать на почту: kolodkinmv@yandex.ru

На данный момент я использовал 3500 фотографий, нейросеть знает 30 видов птиц, поиграться с ней можно тут: https://teachablemachine.withgoogle.com/models/Td7tfvks/

Список известных видов видно там же. Определяет она иногда хорошо, иногда не очень. Причины: использовано маловато изображений и маловато именно "не очень качественных" изображений.

В ближайшем будущем хочу добавить всех воробьинообразных, потому что их больше всего, потом возьмусь за остальные.

Комментарии, критика и пожелания приветствуются :)