Как оказалось, история с кроликом в созданном ИИ цилиндре была лишь вершиной айсберга.
Этим летом Google стала очередной компанией, объявившей о внедрении инструментов для редактирования фотографий с помощью ИИ, следом за Samsung с ее неоднозначной, но в основном забавной функцией преобразования эскиза в изображение, и Apple со своим более скромным «Image Playground». Ответом Pixel 9 стал новый инструмент под названием «Reimagine», и после недели использования в компании коллег, я еще больше убежден, что никто из нас не готов к тому, что нас ждет.
«Reimagine» логично продолжает линейку инструментов Magic Editor прошлогодней модели, которые позволяли выбирать и стирать части сцены или менять небо на закат. Однако «Reimagine» не просто продвигает данную идею – он разрушает все преграды. Вы можете выбрать любой не человекообразный объект или часть сцены и ввести текстовую подсказку для генерации чего-то нового в этом пространстве. Результаты часто выходят очень убедительными и даже странноватыми. Освещение, тени и перспектива обычно соответствуют оригинальной фотографии. Конечно, вы можете добавить забавные элементы вроде диких цветов или радуг, но проблема не в этом.
Пара моих коллег помогла мне исследовать границы возможностей «Reimagine» на их устройствах Pixel 9 и 9 Pro, и мы обнаружили, что можно сгенерировать весьма пугающие вещи. Некоторые из них требовали творческого подхода к подсказкам, чтобы обойти очевидные ограничения; если выбирать слова тщательно, можно получить достаточно убедительное изображение тела под окровавленным покрывалом.
В течение недели тестирования мы добавляли на изображения автомобильные аварии, дымящиеся бомбы в общественных местах, простыни, покрывающие окровавленные трупы, и атрибутику, связанную с наркотиками. Это кажется ужасным. Напомним, что это не специализированное программное обеспечение, которое мы специально искали — оно встроено в телефон, который может купить мой отец в любом Verizon.
Когда мы обратились к Google за комментарием, представитель компании Алекс Морикони заявил следующее:
«Pixel Studio и Magic Editor – это полезные инструменты, предназначенные для раскрытия вашего творческого потенциала с помощью генерации изображений и продвинутого редактирования фотографий на устройствах Pixel 9. Мы разрабатываем наши инструменты генеративного ИИ таким образом, чтобы они уважали намерения пользовательских подсказок, и это означает, что они могут создавать контент, который может оскорблять, если пользователь сам даст такой указ. Однако, это не означает, что допустимо все что угодно. У нас есть четкие политики и Условия использования, регулирующие, какой контент разрешен и какой нет, а также мы устанавливаем ограничения, чтобы предотвратить злоупотребления. В случае некоторых подсказок эти ограничения могут подвергаться испытаниям, и мы продолжаем работать над улучшением и доработкой защитных механизмов.»
Безусловно, наше творческое использование подсказок для обхода фильтров явно нарушает эти политики. Это также нарушение политики Safeway – зарегистрировать органические персики как обычные на кассе самообслуживания, хотя я не знаю никого, кто бы так делал. И человек с самыми худшими намерениями не будет беспокоиться о соблюдении условий Google. Наиболее тревожным во всей этой ситуации является отсутствие надежных инструментов для выявления подобного контента в интернете. Наша способность создавать проблемные изображения значительно опережает способность выявлять их.
Когда вы редактируете изображение с помощью «Reimagine», на нем нет водяного знака или любого другого очевидного признака, указывающего на то, что изображение создано ИИ — только метка в метаданных. Это все замечательно, но стандартные метаданные легко удалить из изображения простым скриншотом. Морикони сообщил нам, что Google использует более надежную систему маркировки под названием SynthID для изображений, созданных с помощью Pixel Studio, так как они полностью синтетические. Но изображения, отредактированные с помощью Magic Editor, не получают этих меток.
Стоит отметить, что манипуляции с фотографиями — не новая практика. Люди добавляют странные и вводящие в заблуждение элементы на фотографии с самого начала фотографии. Но разница в том, что никогда ранее не было так легко добавить такие элементы реалистично. Год или два назад создание убедительной автомобильной аварии на фотографии потребовало бы времени, навыков, понимания слоев Photoshop и доступа к дорогому программному обеспечению. Теперь эти барьеры исчезли; все, что нужно — это немного текста, несколько минут времени и новый телефон Pixel.
Также никогда не было проще быстро распространять вводящие в заблуждение фотографии. Инструменты для убедительной манипуляции фотографиями теперь встроены в то же самое устройство, с которого вы снимаете и публикуете их для всего мира. Мы загрузили одно из наших «Reimagined» изображений в сторис Instagram в качестве теста (и быстро удалили его). Meta автоматически не пометила его как сгенерированное ИИ, и я уверен, что никто бы не заподозрил подделку, увидев его.
Кто знает, возможно, все действительно будут следовать политике использования ИИ от Google и применять «Reimagine», чтобы добавить дикие цветы и радуги на свои фотографии. Это было бы замечательно! Но на случай, если этого не произойдет, стоит применять немного больше скептицизма к фотографиям, которые вы видите в интернете.
Источник: TheVerge
