Искусственный интеллект

Проект здания школы, расчитанной на 3000 учеников. Проект создан с помощью нейросети AttnGAN (Attention Generative Adversarial Network), которая преобразует словесные описания в визуальные образы. Результат, полученный после работы нейросети, подвергли минимальной обработке и ярко раскрасили вручную.

Источник

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференцииEMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

В новой работе Гэдди и Кляйн использовали более точный подход и решили обучать алгоритм на всех трех типах данных: запись слышимой речи и активность мышц во время слышимой и неслышимой речи. В основе их метода лежит преобразование исходных сигналов (звука и электромиографии) в представление в пространстве признаков. Создать преобразователь из пространства признаков в сигнал для данных, полученных при слышимой речи, относительно легко, потому что оба сигнала согласованы по времени и их можно использовать как пары для обучения. Для беззвучной речи это сделать не так легко, потому что парой для электромиографического сигнала будет беззвучная запись.

Разработчики решили эту проблему, создав алгоритм, который принимает все три сигнала (две электромиограммы и слышимую речь). На первом этапе он с помощью алгоритма динамической трансформации временной шкалы находит оптимальное соответствие между двумя сигналами: другими словами, он позволяет взять фрагмент из первой последовательности и найти его во второй. На втором этапе алгоритм, используя полученное соответствие, создает из аудиозаписи слышимой речи аудиозапись речи из электромиограммы неслышимой.

Этот алгоритм нужен не сам по себе, а в качестве учителя для нейросети, которая делает то же самое, получая на вход не три вида сигнала, а всего один (электромиограмму неслышимой речи). Исследователи использовали рекуррентную нейросеть с долгой краткосрочной памятью (LSTM). Затем данные из пространства признаков, полученные на выходе из нейросети, подаются на нейросеть WaveNet, декодирующую их в аудиозапись человеческого голоса.

Исследователи собрали собственный датасет для обучения алгоритма. Он состоит из 20 часов записи слышимой и беззвучной речи одного добровольца, представленной в виде трех типов данных (звук-две электромиограммы). Обучив нейросеть, авторы проверили понятность генерируемых записей речи. Обычно при проверке новых алгоритмов их результаты сравнивают с результатом лучшего на данный момент алгоритма для этой задачи (state of art). Поскольку ранее никто напрямую не переносил речь из электромиограммы беззвучной речи в звук, авторы решили сравнить полноценную нейросеть с ней же, но обученной на данных с электромиограммы слышимой речи.

Тесты проходили на закрытом словаре (человек зачитывал простые фразы типа даты) и на открытом (отрывки из книг). В качестве метрики авторы использовали стандартную пословную вероятность ошибки (WER): сумма измененных, отсутствующих и лишних слов, поделенная на общую длину текста. На закрытом словаре вероятность ошибки для полноценной нейросети составила 3,6, а для той, которую обучали только на слышимой речи, она составила 88,8. На открытом словаре разница была не такой большой: 74,8 к 95,1 при проверке человеком и 68 к 91,2 при проверке системой распознавания речи Mozilla DeepSpeech.

Исследователи опубликовали код алгоритмов и датасет на GitHub. Кроме того, на сайте конференции опубликован доклад одного из авторов, в котором, помимо прочего, можно услышать результаты работы нейросети (в конце ролика).

Современные алгоритмы умеют распознавать и другую неслышимую речь. Например, в прошлом году китайские и американские инженеры научили нейросеть читать речь по губам.

https://nplus1.ru/news/2020/11/26/silent-voice

Нет, это не безделушка из серии «муха в янтаре». Группе учёных из университета Висконсина, Массачусетского технологического и Колумбийского университетов удалось реализовать искусственную нейронную сеть, распознающую цифры, в виде микроскопической стеклянной пластинки. Для работы ей не требуется ни электропитание, ни подключение к каким-либо другим устройствам — фактически это автономный аналоговый компьютер, который будет работать до тех пор, пока сохраняется его целостность.

Искусственные нейросети состоят из множества синтетических нейронов, которые активируются, если совокупная величина сигналов на их входах превышает некое пороговое значение. Нейроны соединены между собой связями, имеющими определённые весовые коэффициенты (т. е. вклад одних сигналов в срабатывание функции активации — больше, а других — меньше).

Чтобы создать аналогичную структуру в стекле, в него добавили инородные включения — частицы графена и пузырьки воздуха. Расположение и форма этих включений эквивалентны функциям активации и весовым коэффициентам связей. Так, графен — материал с нелинейными оптическими свойствами — начинает пропускать свет только после того, как его интенсивность достигает определённой величины, а до этого остаётся непрозрачным.

Нейросеть изначально была обучена на компьютере и лишь затем воплощена в стекле. Но учёные отмечают, что есть технологии, позволяющие реализовать обучение прямо на месте, за счёт использования оптических материалов с изменяемыми свойствами.

Для подачи на вход нейросети двухмерное изображение рукописной цифры размером 20 × 20 пикселей заменяют на одномерное (фактически колонки пикселей выстраивают в линию). Включения в стекле преобразуют фронт световой волны таким образом, что энергия концентрируется в одной из десяти областей, соответствующих цифрам.

Нейросеть, обученная на пяти тысячах изображений, корректно распознаёт цифры в 79 случаях из 100. Авторы статьи утверждают, что могли бы добиться лучшего результата, если бы не ограничения, связанные с процессом изготовления стекла.

Физический размер пластинки — 80λ на 20λ, где λ — длина волны света, используемой для представления информации. Теоретически на распространение волны может влиять каждый атом, хотя на практике вряд ли удастся использовать включения размером меньше 10 нм. Но даже при таком масштабе потенциальное количество весов превышает 10 миллиардов на квадратный миллиметр.

Учёные предполагают, что быстрые и миниатюрные нейросетевые вычислители, которым для работы достаточно света, могут быть использованы в «широком спектре информационных устройств». Учитывая, что исследование финансировалось DARPA, нельзя исключать и военное применение технологии.

Источник

P. S. Это экспериментальный пост. Я работаю научным консультантом в Политехническом музее, и в мои обязанности входит изучение научных новостей в своей области (компьютерные технологии). По итогам я выбираю наиболее любопытную новость и делаю короткий доклад на внутримузейном научном семинаре. Этот пост был создан на основе одного из таких докладов. Если затея вам понравится, я буду периодически публиковать интересные новости из мира IT (а может, и не только).

Про искусственный интеллект сегодня говорят все кому не лень. Хотите привлечь внимание — добавьте всего два слова: искусственный интеллект.
Нам также очень интересно было узнать что же это такое. Чтобы не быть голословными мы решили задать вопросы научному сотруднику канадского университета.
Ринат — ученый родом из России. Предлагаем чуть подробнее окунуться в область его научных изысканий: искусственный интеллект. Что такое искусственный интеллект, захватят ли нас роботы — ищи ответы в нашей новой статье.

Сейчас про искусственный интеллект говорят буквально везде. Но многие до сих пор так и не поняли, что он собой представляет. Расскажи, что же всё-таки это такое?
У искусственного интеллекта (далее ИИ) есть несколько определений. Давайте воспользуемся одним из современных определений, можно сказать, что ИИ это системы способные корректно интерпретировать внешние данные, обучаться на их основе и использовать свои знания для достижения определенных целей и решения задач через гибкую адаптацию.

Если рассматривать вопрос с точки зрения науки, то можно сказать, что ИИ — это научная дисциплина, цели и задачи которой смоделировать разумное поведение, свойственное живым организмам, и, главное, человеку. Вот тут как раз и возникают путаница и проблемы.
Один из самых главных и нерешенных вопросов: что же такое интеллект в принципе? Как его измерить? Чем он характеризуется? Как сравнить два интеллекта? И множество других вопросов, над которыми до сих пор бьются множество светлых умов.
Главное, следует помнить, что часто ученые, специалисты в ИИ, но чаще маркетологи, упоминая термин ИИ, подразумевают набор методов, «умных алгоритмов», программных пакетов, конечных решений и т.п. и т.д. с помощью которых можно моделировать функции, которые мы как люди может выполнять после определенной тренировки. Благодаря им компьютер способен решать те же задачи, что и люди.

Самые, пожалуй, популярные области применения ИИ на сегодняшний день: reinforcement learning (обучение с подкреплением), компьютерное зрение, распознавание изображений, образов, символов, а также анализ, интерпретация речи (привет голосовым ассистентам наподобие Google Home, Amazon Echo, Siri, Cortana, и др. менее популярным). Существуют так же системы ИИ способные «осмысливать» распознанную информацию, однако на данный момент это все на очень начальных стадиях.

Есть классы алгоритмов, которые способны обучаться, взаимодействуя с некоторой заданной средой. Самый популярный подкласс данного класса, как уже было сказано ранее — reinforcement learning. Другими словами, используя весь спектр современных алгоритмов из ИИ, можно решить практически любую задачу, которую способен делать человек. Где-то лучше, где-то хуже. Даже можно написать и обучить алгоритм или искусственную нейронную сеть самой принимать решение, о том, какую задачу лучше решать в данный момент. Однако проблема создания человекоподобного ИИ пока не решена.

Вероятно, вы слышали такие термины как машинное обучение (machine learning), глубинное обучение (deep learning), нейронные сети (neural networks). Всё это подобласти ИИ. Однако часть ученых рассматривает их как отдельные полноценные научные дисциплины, коими они всегда в принципе и являлись. Все зависит от того какой философской школы вы придерживаетесь. Шучу:) Зависит от того какой классификацией пользоваться.
Другими словами, методы машинного обучения, нейронных сетей и т. д. можно использовать для создания ИИ систем. Но их можно рассмотреть и как части научной области ИИ, и как отдельные независимые научные области.

Некоторые могли слышать про Софию, робота с ИИ. Если сильно утрировать, это просто продвинутый чат-бот, а не полноценная симуляция работы мозга человека. Уверен, что там используют объединенные в одну систему алгоритмы распознавания образов и речи, методы обучения с подкреплением (reinforcement learning), возможно даже с включенным «режимом» постоянного обучения, а также методы (возможно даже нейронные сети) контроля механических частей — ног, рук, лицевых мышц.

Несомненно, это сложный и невероятно интересный проект. Но пока это очень-очень-очень далеко от полноценной симуляции работы человеческого мозга. Сегодня мы даже не понимаем, как работает человеческий мозг. А пытаться симулировать то, что не понимаешь, задача сложная.Так что расстраиваться или радоваться (что скайнет наступит еще нескоро), решать только вам.

Какие мифы и заблуждения об ИИ стоит развенчать?
Мифов про ИИ накопилось достаточно много. Перечислю несколько.
Миф №1: ИИ, способный полностью смоделировать человеческий мозг, уже существует.
Это неправда, до такого еще далеко. В реальности человеческий мозг куда сложнее, чем просто модель, основанная на алгоритмах. ИИ алгоритм обучается с помощью методов оптимизации на основе модели и массивов данных. Или в некоторой искусственно обозначенной среды (хотя она может быть и вполне реальной — нашим миром).

Миф №2: ИИ и машинное обучение — это одно и то же.
На самом деле, машинное обучение — это и часть научной области ИИ, и сама по себе отдельная область научных исследований.
Миф №3: для решения сложной задачи всегда нужны сложные алгоритмы, придуманные умнейшими учеными планеты.
На самом деле есть интересный момент. Гипотетически, если есть огромное количество «хороших» данных, то часть важных задач можно решить, используя простейшие алгоритмы из теории машинного обучения и нейронных сетей. Правда, зачастую это не так. И тогда уже нужны более продвинутые модели.

Миф №4: все устройства, алгоритмы, где используются ИИ постоянно самообучаются и самосовершенствуются.

На практике же таких алгоритмов в отрасли сейчас меньшинство. Большинство алгоритмов после обучения запускаются в работу и прекращают обучение. Если появляются новые данные, разработчик заново переобучает всю систему или же дообучает существующую. Однако сейчас в коммерческих продуктах все чаще ставят системы способные в какой-то степени получать обратную связь и дообучаться «на лету».

Продолжение в следующем посте...