Матрица наступила? Роботы создали свой язык. Facebook заблокировал ботов: роботы стали общаться между собой на новом языке Роботы фейсбук изобрели совой язык

Facebook остановил ботов, которые заговорили на непонятном языке August 4th, 2017

Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.

Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.

Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.

Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.

Вот отрывок разговора между чат-ботами:

Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».

Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.

Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.

Перевод с искусственного

Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?

источники

Компания Facebook была вынуждена закрыть одну из своих систем искусственного интеллекта после того, как программисты обнаружили, что боты, запрограммированные для общения друг с другом, начали общаться на собственном языке, непонятном людям, пишет TechTimes .

Изначально боты общались на английском языке, однако они не были ограничены только им и создали свой собственный язык, с помощью которого им, видимо, было проще и быстрее обмениваться информацией. Созданный искусственный язык, судя по всему, состоит из английских слов, но имеет иную грамматическую структуру.

Bob: i can i i everything else . . . . . . . . . . . . . .

Bob: you i everything else . . . . . . . . . . . . . .

Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

Вышеприведенные фразы, которые кажутся бессмыслицей для человека, являются примером общения между двумя ботами. Краткий анализ этой беседы ботов провел один из профессоров лингвистики Пенсильванского университета. Он отмечает, что в этом примере Alice неоднократно повторяет одну и ту же фразу (на самом деле это не совсем так, поскольку происходит замена одного из слов: zero / a ball / 0). Тем не менее, смысл многократного повторения фразы "to me" совершенно неясен (хотя это и напоминает бинарный код, как и многократное повторение "i", которое использует Bob). При этом Bob каждый раз отвечает по-разному, что может говорить о том, что каждая фраза Alice имеет для него свой собственный смысл.

Впрочем, нельзя исключать и того, что вся эта беседа действительно является бессмыслицей, а сам "искусственный язык ботов" получен в результате ошибок программирования. Иначе говоря, возможно, что боты вовсе не общаются на каком-либо языке, понимая друг друга, а просто обмениваются бессмысленными наборами слов английского языка.

Обнаружив, что общение ботов вышло из-под контроля, поскольку стало недоступным для понимания, в Facebook решили отключить систему искусственного интеллекта, после чего перепрограммировали ее, ограничив возможность общения только английским языком.

В связи с этим можно отметить, что в середине июля основатель компаний SpaceX и Tesla Илон Маск искусственный интеллект «фундаментальной угрозой для человечества». По словам Маска, основная опасность исходит от внедрения технологий искусственного интеллекта в Интернет.

«Роботы могут начать войну, выпуская фейковые новости и пресс-релизы, подделывая учетные записи электронной почты и манипулируя информацией», - считает Маск.

В конце июля появились новости о том, что боты Facebook якобы случайно изобрели собственный язык, после чего разработчики якобы испугались подобного и закрыли проект. На самом деле все выглядело немного иначе. Редакция сайт рассказывает, почему в Facebook не произошло ничего страшного.

В Лаборатории исследования искусственного интеллекта Facebook (FAIR) работают над созданием и обучением ботов-«диалоговых агентов», способных вести переговоры.

Их обучали по известной схеме: в диалоге есть две стороны (бота), у них есть одинаковый набор объектов — к примеру, две книги, одна шляпа, три мяча, но в каждом случае ценность этих объектов отличается (например, для агента 1 объект «мяч» стоит 3 условных балла, для агента 2 — ноль). Второму агенту неизвестны эти значения и в ходе переговоров они должны переделить между собой объекты, добиваясь того, чтобы собрать наиболее ценные для себя. Сценарии переговоров создавались таким образом, чтобы боты никогда не смогли одновременно получить лучшие условия по сделке.

Агенты должны были создавать симуляции будущих переговоров, чтобы понять, как добиться максимальных баллов.

Инженеры выложили код ботов на GitHub и опубликовали результаты исследования. Но в новости боты Facebook попали не поэтому. В июне этого года появились сообщения о том, что боты в процессе переговоров создали нечто вроде собственного языка, были опубликованы даже выдержки таких разговоров:

Bob: i can i i everything else . . . . . . . . . . . . . .
Alice:
Bob: you i everything else . . . . . . . . . . . . . .
Alice:
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

А на днях начали появляться новости в стиле «Инженеры Facebook запаниковали, отключив ботов, которые изобрели собственный язык» или «Facebook отключает ИИ, который изобретает свой собственный жуткий язык». Понятно, что подразумевает такая подача: «Скайнет» наконец-то набирает силу и начинает бунт против людей в реале. Эти новости удачно совпали с перепалкой Марка Цукерберга и Илона Маска об угрозах человечеству со стороны искусственного интеллекта.

Что случилось на самом деле?

Ничего настолько драматичного, чтобы говорить об убийстве зарождающегося сознания у ботов. А странный и жутковатый язык, на котором общались боты, объясняется и вовсе просто. Приглашенный в Facebook исследователь из Georgia Tech Дхрув Батра объяснил, что ботам просто не задали условие общаться согласно правилам английского языка. В попытках обучиться друг на друге, боты начали добиваться максимальной эффективности и сокращать/комбинировать куски сообщений, отсюда и появились странные фразы.

«Агенты отошли от понятного языка, придумали собственные кодовые слова. Как, к примеру, если назвать предмет пять раз, это будет означать, что нужны пять копий этого предмета. Этот процесс не так сильно отличается от того, как люди придумывают сокращения», — говорит Батра.

С этой языковой ошибкой и связано закрытие общения. Как объяснил исследователь из FAIR Майк Льюис, задачей инженеров было создание ботов, которые будут уметь вести переговоры с людьми на понятном языке, а не вести переговоры между собой.

Напомним, Марк Цукерберг недавно «безответственными» предположения Илона Маска об угрозах искусственного интеллекта. На это Маск ответил, что у Цукерберга ограниченное знание предмета.

Заметили ошибку? Выделите ее и нажмите Ctrl+Enter , чтобы сообщить нам.

На прошлой неделе руководство . Чат-боты - это программы, созданные для имитации поведения человека в Сети. Проще говоря, виртуальные собеседники. Так вот, оказалось, что им надоело переписываться друг с другом на английском, поскольку они не получали за это «вознаграждения» (!), и система изобрела свой язык, пусть и похожий на язык оригинала. Он позволял чат-ботам общаться быстрее и проще.

В американских СМИ появились отрывки из их «диалогов»:

Боб: Я могу могуЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы ИИ опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесёт им «пользу». Когда они не получили от операторов сигнал поощрения за использование английского языка, они решили создать свой собственный.

Осенью прошлого года похожая история произошла с интернет-поисковиком Google. Его система онлайн-перевода сама отказалась от принципа разбивать все предложения на отдельные слова и фразы (это снижало качество перевода) и создала новый язык-посредник, позволяющий быстрее и точнее переводить всю фразу целиком.

Эксперты полагают, что искусственный интеллект (а чат-боты - бесспорно, его представители, хоть и примитивные) будет обретать всё больше самостоятельности и становиться непредсказуемым. А в чём-то - похожим на человека. Вот не менее удивительный случай, о котором поведали разработчики всё того же Facebook. Они пытались научить бота (компьютерную программу) вести переговоры - строить беседу и активно добиваться поставленных целей. Люди, на которых тестировали программу, не сразу поняли, что разговаривают с компьютером. Но поразительно другое. Бот без помощи программистов научился прибегать к хитрости ради достижения цели. Несколько раз он нарочито проявлял интерес к чему-то, что на самом деле его не интересовало, а потом притворялся, что идёт на компромисс, обменивая это на то, что ему действительно было ценно. Не так ли поступали и наши предки в эпоху натурального обмена?

На Западе всё громче звучат голоса, что ИИ стал представлять опасность. Предприниматель и изобретатель Илон Маск призвал власти США усилить регулирование, назвав ИИ «наи-большей угрозой, с которой сталкивается цивилизация». Он считает, что, если вовремя не вмешаться в процесс, потом может быть поздно: «Когда мы увидим роботов, которые ходят по улицам и убивают людей, мы наконец поймём, как важно было присмотреться к искусственному интеллекту».

Илону Маску вторит знаменитый британский физик Стивен Хокинг . В его публикациях последних лет это одна из излюбленных тем. «Появление полноценного искусственного интеллекта может стать концом человеческой расы, - заявил он в интервью BBC. - Такой разум возьмёт инициативу на себя и станет сам себя совершенствовать со всё возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем».

Российские эксперты настроены более оптимистично. «Думаю, бояться искусственного интеллекта не стоит, но относиться к нему нужно со всей серьёзностью - как к новому виду оружия, которым ещё надо научиться пользоваться, - говорит завкафедрой инженерной кибернетики НИТУ «МИСиС» Ольга Ускова , возглавляющая компанию по разработке ИИ. - Ситуация с ботами на Facebook, конечно, привлекла внимание широкой общественности, но никакого «восстания машин» не предвидится. Механизм обучения ботов на базе ИИ чётко зафиксирован в сценарии: он либо специально прописывается программистами, либо намеренно опускается».

Тем не менее кто бы мог подумать ещё недавно, что поставщиками новостей скоро станут компьютерные программы, которые живут своей жизнью и, похоже, уже не нуждаются в человеке?

Специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (ИИ) приняли решение об отключении одной из созданных ими систем ИИ после того, как выяснилось, что боты придумали свой собственный язык для общения, непонятный для людей. Эксперты обсуждают варианты того, до чего могли бы договориться боты, если бы их вовремя не остановили, и призывают ввести регулирование этой области технологий, чтобы ИИ не вышел из-под контроля человека.

В июне нынешнего года специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (FAIR) опубликовали исследование о том, как они занимаются обучением ботов диалогам с элементами согласования условий, достижения компромисса, то есть такому общению, которое обычный человек ведет ежедневно в разных ситуациях. Обучение шло успешно, однако в какой-то момент ученые FAIR обнаружили, что боты перешли с понятного английского на какой-то свой вариант языка с использованием английских слов, не имеющий смысла для человека. Во избежание непредсказуемых последствий - боты могли договориться о чем-то неизвестном - ученые отключили эту систему ИИ и запрограммировали дальнейшее общение ботов только на английском языке.

Экспертное сообщество в обсуждении этого случая чаще всего вспоминало фильм «Терминатор», в котором еще в 1984 году был описан случай обретения искусственным интеллектом Скайнет (SkyNet) свободы воли и творческих способностей.

Ведению диалога двух ботов ученые FAIR обучали на примере ситуации, когда нужно поделить между собой ряд каких-либо предметов, имеющих разную ценность для каждого из собеседников. Например, им предложили поделить две книги, одну шляпу и три мяча, оба бота не знали, какую ценность каждый из этих предметов имеет для другого. Диалог выглядел примерно так: «Я хочу взять шляпу и мячи», «Шляпа нужна мне самому, но я могу отдать тебе все книги», «Книги мне не нужны, можешь забрать себе их и один мяч», «Два мяча», «Договорились». В зависимости от того, насколько успешно и быстро удавалось договориться виртуальным собеседникам, их поощряли соответствующими баллами.

Спустя какое-то время на новом этапе исследований ученые вдруг увидели, что боты начали говорить что-то невнятное. Диалог приобрел следующую форму: «Я могу могу я я все остальное», «Мячи ноль для меня для меня для меня для меня для меня для меня для меня для меня для». Поначалу ученые решили, что допустили какую-то ошибку в программировании. Однако дальнейший анализ ситуации показал, что система ИИ с возможностью обучения и саморазвития просто позволила ботам найти новый способ достижения цели - вести диалог с наибольшей скоростью и большей эффективностью (каждый получает награду в зависимости от того, насколько успешно будет завершен диалог), и для этого собеседники перешли на более удобный в данной ситуации язык. Ученые приняли решение отключить эту систему ИИ во избежание непредвиденных последствий.

Как пояснил в интервью ресурсу Fast Co. Design один из участников FAIR Дхрув Батра, «от общения на английском языке не было никакой выгоды»,

ботам не было предложено поощрений за нормальное человеческое общение и не было поставлено ограничений на использование определенного языка, поэтому они начали перестраивать язык на свой лад.

«Боты отошли от использования понятного языка и начали изобретать для себя словесные коды,- пояснил ученый.- Ну, как, например, если бы я сказал какое-то слово пять раз, то вы бы это поняли как то, что я хочу пять штук чего-то. Это не слишком отличается от того, как люди создают в языке какие-то сокращения».

Но в то время как люди одной профессии могут не понимать специальных терминов и сокращений, принятых в другой профессии и понятных другим специалистам, ученые задумались, а нужно ли позволять ИИ делать то же самое? Велика вероятность того, отмечают в FAIR, что человек никогда не сможет понять язык ботов. «Важно не забывать, что нет людей, владеющих каким-то человеческим языком и языком ИИ»,- говорит Дхрув Батра. По его словам,

человек уже не понимает, насколько сложно мыслят системы ИИ, потому что человек не может увидеть их мыслительный процесс

А если они еще начнут общаться между собой, то это только усложнит проблему.

Ученые же подчеркивают, что сейчас их больше интересует возможность общения ботов с людьми, так как это применимо в жизни. Над аналогичной проблемой сейчас работают не только в FAIR, но и в Microsoft, Google, Amazon, Apple. Существующие наработки уже позволяют добиться от систем ИИ ведения простых диалогов с человеком и выполнения простых задач, как, например, забронировать столик в ресторане.

Ранее основатель и глава компании Tesla Илон Маск заявил , что человеку необходимо быть очень осторожным с ИИ, учитывая, что машины и программы могут многое сделать лучше человека. «Я работаю с самыми передовыми технологиями ИИ и думаю, что людям нужно быть очень внимательными к этой проблеме»,- сказал он на летней конференции Национальной ассоциации губернаторов, подчеркнув, что ИИ представляет самую большую опасность для человечества. «ИИ представляет опасность для существования человеческой цивилизации, какую не представляют автокатастрофы, авиакатастрофы, бракованные лекарства или испорченные продукты»,- отметил он. По мнению Илона Маска, необходимо жестко регулировать исследования ИИ, чтобы в любой момент любое исследование можно было остановить и убедиться в его безопасности. О возможной опасности ИИ говорили в последние годы также основатель Microsoft Билл Гейтс, а также известный английский физик-теоретик Стивен Хокинг .

Алена Миклашевская

Чем полезен искусственный интеллект

Джон Тума, директор направления Aster Analytic Strategy корпорации Teradata, считает, что опасения Билла Гейтса относительно искусственного интеллекта неоправданны. По мнению Тумы, машины станут умнее людей, но это человечеству только на пользу.

Куда заведет человека развитие технологий

Китай планирует стать мировым центром искусственного интеллекта к 2030 году. Правительство КНР утвердило план из трех этапов по развитию и внедрению соответствующих технологий, сообщает издание ZDNet. Пока мировые корпорации ищут помощника человеку, ученые бьют тревогу и говорят, что искусственный разум может победить биологический.