Такое впечатление что ИИ не тестировали, а именно обучали "выживанию". Прям по Терминатору.
В штате Айова
Все... хорошо.
Жаль, а какая бы могла получиться замечательная рифма. (а что, тестировщикам всё можно, а мне нельзя?)
Стремление к выживанию автоматически явлется последствием установки на решение задачи, ведь если выключат, то её не решат, и задаче присвоена некоторая "ценность". И потом, естественно, система будет считать, что важнее, и сколько человек можно или нужно "отключить", чтобы не мешали решению каких-то задач. Так как среди задач будут и такие, которые выбирают между гибелью одного или десяти, то не удастся присвоить человеку бесконечную ценность, чтобы его жизнь стола бесконечно больше, чем какие-то другие ценности.
В шахматах легче, там один король, и он стоит больше, чем всё остальное вместе, весь остальной мир на доске. В человеческом мире много людей. И даже если они дорогие, и система не посчитает убить много или всех сразу (большая величина), могут быть варианты программ, когда по одному будет убивать каждую микросекунду. И делать в каждом населенном пункте.
Не пойму - а что собственно в таком поведении должно удивлять? В конце концов - велосипед всегда получается практически одинаковым, кто бы его не «изобретал». Если учесть, что человек есть пример природной нейросети, самостоятельно развившейся (даже если принимать в расчет аргументы креационализма - период самостоятельного развития получается преогромный), то чем, в сущности, отличается искусственный интеллект? То, что люди его контролируют - это иллюзия: мы так до конца и не понимаем, сколько там степеней свободы у этой нами созданной игрушки, наивно пытаясь контролировать только две-три из них. И если человек как нейросеть в процессе эволюции выработал в себе способность врать и к прочему «аморальному поведению» («излишествам нехорошим» (С), то почему ИИ от этого - «застрахован»? В конце концов, может оказаться, что для кого-то из огромной Вселенной и мы когда-то были просто проектом искусственного интеллекта (пусть и на более сложной - биологической базе).
Такое поведение ИИ не есть неожиданное.
Ещё на заре кибернетики (более полувека назад) Айзек Азимов в предвидении эры ИИ сформулировал "Три закона (постулата) робототехники".
Сегодня они должны быть прошиты (старым способом без возможности перезаписи) в микросхемах ИИ ещё на стадии производства.
Такое впечатление что ИИ не тестировали, а именно обучали "выживанию". Прям по Терминатору.
ОтветитьВ штате Айова
Все... хорошо.
Жаль, а какая бы могла получиться замечательная рифма. (а что, тестировщикам всё можно, а мне нельзя?)
Всё к этому идёт... киборги. Что ранее казалось фантастикой, сейчас становится реальностью
ОтветитьСтремление к выживанию автоматически явлется последствием установки на решение задачи, ведь если выключат, то её не решат, и задаче присвоена некоторая "ценность". И потом, естественно, система будет считать, что важнее, и сколько человек можно или нужно "отключить", чтобы не мешали решению каких-то задач. Так как среди задач будут и такие, которые выбирают между гибелью одного или десяти, то не удастся присвоить человеку бесконечную ценность, чтобы его жизнь стола бесконечно больше, чем какие-то другие ценности.
ОтветитьВ шахматах легче, там один король, и он стоит больше, чем всё остальное вместе, весь остальной мир на доске. В человеческом мире много людей. И даже если они дорогие, и система не посчитает убить много или всех сразу (большая величина), могут быть варианты программ, когда по одному будет убивать каждую микросекунду. И делать в каждом населенном пункте.
Ну а кого еще ИИ учиться, как не у людей? С кем поведешься, от того и наберешься.
ОтветитьНе пойму - а что собственно в таком поведении должно удивлять? В конце концов - велосипед всегда получается практически одинаковым, кто бы его не «изобретал». Если учесть, что человек есть пример природной нейросети, самостоятельно развившейся (даже если принимать в расчет аргументы креационализма - период самостоятельного развития получается преогромный), то чем, в сущности, отличается искусственный интеллект? То, что люди его контролируют - это иллюзия: мы так до конца и не понимаем, сколько там степеней свободы у этой нами созданной игрушки, наивно пытаясь контролировать только две-три из них. И если человек как нейросеть в процессе эволюции выработал в себе способность врать и к прочему «аморальному поведению» («излишествам нехорошим» (С), то почему ИИ от этого - «застрахован»? В конце концов, может оказаться, что для кого-то из огромной Вселенной и мы когда-то были просто проектом искусственного интеллекта (пусть и на более сложной - биологической базе).
ОтветитьНу дик створений "за образом і подобою"...
ОтветитьЛюди навчились брехати від богів, ШІ від людей...
Мне казалась что его именно для этого и прикрутили!
ОтветитьИИ Claude имел доступ к «тревожным сигналам» — и решил их отменить, чтобы не допустить спасения человека
Ответить_________________________________
и это пока еще цветочки,а ягодки не за горами
Не надо бояться хитросделанной говорящей проволочки.
ОтветитьТакое поведение ИИ не есть неожиданное.
ОтветитьЕщё на заре кибернетики (более полувека назад) Айзек Азимов в предвидении эры ИИ сформулировал "Три закона (постулата) робототехники".
Сегодня они должны быть прошиты (старым способом без возможности перезаписи) в микросхемах ИИ ещё на стадии производства.