Нейросети проникают в нашу жизнь быстро и неумолимо. Можно их отрицать, можно им не верить, а можно пользоваться при случае.

В этом небольшом посте я покажу, как использовать нейросеть Google для распознавания объектов на фото, начать поиск информации по ним в интернете или как сделать мгновенный перевод текста с фотографии.

В примере я буду использовать обычную картинку, которую увидел в статье во время чтения. В качестве нейросети будет использован известный сервис Google Lens, или как он называется в русскоязычных сборках Android - "Объектив".

Как распознать объект и текст на фотографии с помощью Google Lens

Для тех, кто не хочет смотреть видео, оставлю текстовую инструкцию.

• В примере я буду использовать браузер Chrome, но вообще подойдёт любое приложение, которое может делиться изображениями.

• Предположим, вы просматривали веб-сайт через браузер и увидели фотографию, на которой вас заинтересовал какой-то предмет. Это может быть что угодно: новый телефон, какая-то шапка, обувь, автомобиль и даже порода собаки.

• Нажмите на фотографию и дождитесь появления контекстного меню, в котором нажмите на команду "Поделиться", или как в случае с браузером Chrome "Поделиться изображением".

• Во всплывающем меню найдите "Объектив", или "Google Lens", если используете английский язык операционной системы.

• Фото автоматически будет перенесено в приложение "Объектив", в котором нейросеть его распознает и предложит несколько команд: "Поиск" и "Перевод".

• Если выбрать "Поиск", Google покажет результат поиска по заданному предмету фотографии. Или, если нейросеть поймёт, что именно показано на фото, даст прямой короткий ответ.

• Если выбрать "Перевод", то нейроесть распознает текст, после чего определит язык и переведёт его на русский или любой иной, если вы того пожелаете. Удобно, что текст переводится прямо на фотографии, а не отдельно. Так вы сможете видеть контекст и правильно понять содержание.

Надеюсь, теперь вы будете пользоваться нейросетью гораздо чаще, она значительно облегчает повседневную жизнь.

Если по необычайному стечению обстоятельств вам стало любопытно, есть ли ещё подобные лайфхаки для смартфонов Xiaomi - добро пожаловать на MetaMi.

Некоторое время назад Google представил новую функцию Circle to Search, которая делает поиск объектным, контекстным и более удобным для реальной жизни.

Что такое Circle to Search?

Если не уподобляться маркетологам корпорации Google, которые будут десять раз приговаривать "Amazing", "Exciting" и "based on artificial intelligence" - это способ выделить объект на фотографии, или активном экране, который будет распознан и отправлен в сервис Google Lens для поиска.

Думаю, вы знакомы с Google Lens. Это приложение в телефонах с русской прошивкой называется "Объектив".

Суть в том, что Lens пытается понять, что изображено и дать контекстный результат.

Если вы ищите товар, Google покажет ссылки на его технические характеристики, отзывы, обзоры и цену.

Если вы ищите рецепт, Google покажет ингредиенты, методы приготовления.

Circle to Search - это улучшенный Lens в плане взаимодействия с активным приложением.

Если раньше вам необходимо было включать камеру и наводить её на объект, чтобы Lens его распознал, или дать ему готовую фотографию, то в случае с Circle to Search достаточно вызвать специальный инструмент и в любом приложении обвести тот объект, поиск по которому вы хотите совершить.

Это можно сделать внутри игры, браузера, чата - где угодно.

Но, как это водится в Google - новинка доступна не всем. Ниже я перечислю модели смартфонов, которые на текущий момент, и ближайшее будущее, поддерживают функцию Circle to Search.

Модели смартфонов Android поддерживающие Circle to Search

Google

• Pixel 8a

• Pixel 8

• Pixel 8 Pro

• Pixel 7a

• Pixel 7

• Pixel 7 Pro

• Pixel 6a

• Pixel 6

• Pixel 6 Pro

• Pixel Fold

Samsung

• Galaxy S24

• Galaxy S24+

• Galaxy S24 Ultra

• Galaxy S23 FE

• Galaxy S23

• Galaxy S23+

• Galaxy S23 Ultra

• Galaxy Tab S9 series

• Galaxy Z Fold 5

• Galaxy Z Flip 5

• Galaxy S22 series

• Galaxy Z Fold 4

• Galaxy Z Flip 4

• Galaxy S21 series

• Galaxy Z Fold 3

• Galaxy Z Flip 3

Официальных заявлений от представителей других популярных брендов, например Xiaomi или OnePlus о внедрении поддержки Circle to Search я в сети не встретил.

А что вы думаете о Circle to Search? Стоит ждать, или это очередная пустышка от Google?

Доп ирония в том, что, зная про эту функцию, я ей не пользовался. Только для записи видео с экрана запустил. Но теперь благодаря маркетологам мы будем удивляться, как же мы без такой полезной штуки жили-то. Но онлайн-продажи сами себя не поднимут, а поэтому, ничего удивительного, что ее активно показывают юзерам для дальнейшего стимулирования продаж товаров в Сети.

Помимо этого, на этом же устройстве из 2019го с этим же набором софта, без всяких кастомных прошивок, точно так же доступно в стандартном самсунговском приложении галереи удаление выделенных объектов с фото, удаление теней и отражений. Не спорю, что на новых моделях устройств алгоритмы этих функций редактирования изображений могут работать получше, побыстрее и поэнерегоэффективнее. Но это требует проверки через сравнение лоб в лоб. Единственное, чего нет в столь "древнем" устройстве, это функции заполнения пустого пространства на фото при исправлении заваленного горизонта.

Удаление отражения с кружки

Удаление теней

Фокус с исчезновением С100. Отдельно стоит отметить корректное выделение объекта по тапу.

Кто-то скажет, что я подобрал примеры работы опций полегче: однородный фон на кружке, простая тень на бумаге и не самой сложной формы объект для удаления по тапу (фон, кстати, не такой уж простой). А я скажу: "Ну и что?")

Фичу с замедлением видео в 2 раза по удержанию тапа с генерацией промежуточных кадров вообще не понял.

Зато фичи, снимающие языковые барьеры и работающие оффлайн - это уже зачет. Правда, качество их работы пока под вопросом.

Фича с формированием краткого содержания текста тоже выглядит полезной.

Итого: половина "нейро-фич" оказалась не новыми, какие-то вообще нефункциональны, но за некоторые плюсик в карму.

Ещё сообщают, что нейро-фичи в этой линейке будут доступны бесплатно до конца 2025 года. А потом по подписке. А вы бы согласились оплачивать функции, которые реально представляют для вас ценность и облегчают жизнь? Или лучше включать стоимость, например, двух лет подписки в стоимость смартфона? А что если в случае с этой линейкой стоимость подписки на два года уже была включена в стоимость аппарата? В общем, вопросов много)

Функция будет встроена в Google Lens и найдёт нужные лекарства по фотографии рецепта

На своей ежегодном конференции, которая прошла в Индии, компания Google анонсировала очень полезную разработку, которая, если она действительно будет реализована, позволит справиться с давно назревшей проблемой и даже (кто знает!) спасти человеческие жизни. Речь идёт о переводчике с врачебного на человеческий, другими словами, функция позволит расшифровывать рецепты, написанные неразборчивым почерком врачей. Такая проблема существует, по меньшей мере, несколько десятилетий и, как предполагается, связана с тем, что врачи нередко выписывают рецепты в спешке. В результате пациенты не всегда могут понять, какие именно лекарства им следует купить.

Новая функция, над которой сейчас работает Google совместно с фармацевтами, будет встроена в сервис Google Lens (Google Объектив). Она позволит сфотографировать рецепт или загрузить его из галереи изображений, а система распознает и покажет пользователю упомянутые в рецепте медицинские препараты. Исполнительный директор Google в Индии продемонстрировал на конференции работу этого сервиса. О конкретных сроках запуска этой, зачастую, жизненно необходимой функции Google пока умалчивает, заявляя, что «предстоит проделать большую работу, чтобы такая возможность стала доступной для всех». Не ясно пока и то, какие языки будет поддерживать такой «переводчик», остается очень надеяться, что русский в их числе тоже будет.

Источник: https://www.ixbt.com/news/2022/12/19/nakonecto-google-rabotaet-nad-sistemoj-raspoznavanija-pocherka-vrachej.html

P.S. Орфография источника на русском оставлена без изменений, только выделил самые корявости. :)

Источники на английском: 1) https://techcrunch.com/2022/12/18/google-can-now-decode-doctors-bad-handwriting/?utm_source=ixbtcom

2) https://9to5google.com/2022/12/19/google-lens-will-soon-be-able-to-decipher-prescriptions-from-your-doctors-bad-handwriting/