mikaprok (mikaprok) wrote,
mikaprok
mikaprok

Categories:

Жизнь богаче искусства




Вольное продолжение темы свободы слова.

Все же понимают, что ИИ – чудовищное зло?

Как, есть сомневающиеся? Тогда мы идем к вам!

С начала 2000-х в системе правосудия США используется risk assessment systems, т. е. механизм, предсказывающий потенциальный рецидив. Изначально они были созданы для изменения динамики повторных преступлений.
Одной из таких систем COMPAS от компании Northpointe успешно пользуются в 14 штатах.

Надо сказать, со своей задачей она справлялась успешно: например, за 10 лет в штате Вирджиния рост числа заключенных снизился с 31% до 5%.

Пару недель назад общественная организация ProPublica опубликовала анализ 7000 дел, расследованных с использованием аморального COMPASа и сделала неутешительные выводы: ИИ-то расист.

Оказывается, как минимум в 2 раза чаще в преступлениях подозреваются чернокожие.

Да, согласно судебным документам афроамериканцы действительно чаще повторно совершают преступления и, да, точность предсказаний системы 76%, НО… всё равно правила нужно менять.

Ранее в 2016-2017 гг.. было опубликовано сразу несколько работ, разоблачающих мифы о «беспристрастности» ИИ. Вы-таки будете поражены, но Science покорно согласился с расовой, гендерной и возрастной дискредитацией исследуемых алгоритмов.





А может ли робот быть «непредвзятым»? Очень хороший вопрос, на самом деле.

Своеобразный математическо-логический ликбез для «журналистов» дан в коротенькой статье Томаса Микони на arXiv.org с говорящим названием: “К слову о невозможности «честности»”.

Краткий и очевидный вывод – есть только два варианта сделать ИИ справедливым, исходя из меняющихся моральных ориентиров:
- сделать его настолько же сложным, как материальная вселенная, т. е. приравнять к Богу;
- исправить общество, на котором проходит обучение ИИ.

И еще непонятно, что более реализуемо.

В общем, хотите быть непредвзятыми – будьте :-)

Пока же речь идет о том, что суды может захлестнуть волна апелляций – адвокаты не дремлют и несколько прецедентов уже создано.





Если отвлечься на минуту от мультикультурализма и посмотреть на проблему немного под другим углом, то понятно – слабое место любого прогресса в невозможности уклонится от вот этого обсуждения «отсутствия морали».

В более-менее свободном обществе технологическое развитие можно попробовать затормозить просто беспрерывно говоря о его потенциальной опасности.

Ни на что другое все эти рассуждения не рассчитаны.

Ответить на это нечего, тем более там, где нет полной верификации механизма принятия машинами решений.

А чем дальше в лес, тем более сложной будет становится доказательная база. В конце концов, сочетание технологий согласно Кларку становится неотличимо от магии.

Поскольку ИИ в том или ином виде применяется везде, начиная от фильтрации постов в соцсетях и поисковых запросов (да, Google тоже не является расово нейтральным) заканчивая управлением активами и интервью при принятии на службу (в последнем случае роботизация идет ударнейшими темпами), то теоретически сейчас можно оспорить любое решение, каким бы структурированным оно не казалось на первый взгляд.

Мир не без добрых идей :-)


https://telegram.me/mikaprok

Tags: #compas, #ии, #криминал, #политика, #расизм, #суд, #сша, #технологии, #экономика, ai, compas, economics, legal, politics, usa
3
Не уверен что ИИ истребит человечество, возможно уйдет в себя как в к/ф "Она".
кстати, оригинал называется "Её" (чей), мне кажется, это очень важное различие... Вы здесь упоминали уже этот фильм? Мне смутно помнится, что отсюда я про него узнала, посмотрела. Почему там внешне стилизовано под Скандинавию 1970-х? Что это должно сказать зрителю?

Я помню историю о том, как в Москве в первый раз запустили систему камер, меряющих скорость машин, считывающих номера и автоматически высылающую штраф. Сотни обладателей корочек, не привыкших соблюдать скоростной режим начали ежедневно получать штрафы. После того, как штрафы пришли уж совсем кому не положено, систему отключили, и заново запустили, лишь когда в нее был добавлен список особых номеров.


Возможно ли в принципе создать список особых номеров для системы ИИ, выносящей судебные решения? Сможет ли она совместить их с правилами, полученными при обучении? Или напротив, список особых номеров в излишне явном виде попрет из нее сразу после запуска, ведь она будет учиться у живых судей?


Сможет ли система вычислить правила телефонного права, анализируя документы процессов? Или для этого придется дать ей доступ к базам звонков, писем и журналам посещения гольф-клубов?

Отсюда с неимоверной силой проистекает необходимость опенсорса.

Уверен, что любая программка "с принятием решений", что суд-хелпер, что аналит-финанс, что брак-секс, будет вытеснена естественным образом в опенсорс.

Совсем уж совковые дегенераты будут продолжать из последних сил цепляться за веру в путина моральность келейных систем и клубов. Продолжать вести про это дебаты и доказывать друг другу аморальность друг друга.

Опенсорсникам это давно не интересно.
Что опенсорс? Это от чего-то спасает?
Это спасает от намеренной нечистоплотности. Проблема не в том, что "их везде практически подкручивают". Проблема в том, что для одних людей (обществ) это является открытой обсуждаемой важной значимой "частью алгоритма", а для других мнимой компенсацией ущербности.
После того, как один из разработчиков открытого всему свету ядра BSD сознался в создании там бекдоров по требованию АНБ (описанные им закладки нашли и подтвердили), стало понятно, что тут как с антивирусами. Все упирается в цену вопроса.
К тому же, закладки ИИ могут быть не только в софте, но и в данных. "Меня так учили!" будет ныть ИИ на допросе. ИИ можно будет вербовать и готовить, как и живых агентов. И открытость софта от этого не спасет.
Никто и не утверждает, что это панацея. Также не менее важно сохранить и развивать и "закрытую" часть.
Речь же в посте идёт не о бекдорах, а о "сделать ИИ справедливым".

И моя ремарка была о том, что бессмысленно бла-бла-бла справедливость системы камер гибддрф или к-антивируса-главного трояна закрытых систем, моральность келейных систем и клубов.
Так их везде практически подкручивают, как в анекдоте про весы и калькулятор :-)
Я прям так и представил: носители Власти по всему миру создают такую умную машину, которая отнимет у них Власть и передаст её какому-то безличному алгоритму. Прямо в опенсорс )))
А подумайте, почему крутые Джеймсы Бонды и Джейсоны Борны работают на каких-то маразматических сарперов?
Эти бравые парни работают на старперов ровно потому, что они вымышленные персонажи. В жизни крутые стараются только для себя )
Говорить о потенциальной опасности нужно хотя бы для того, чтобы хоть как-то снизить вероятность плохого сценария. А вот тормозить прогресс мало того, что плохо, так еще и до ужаса нерационально. Остановить роботизацию и ИИ (если последний возможен) так же "невозможно-сложно", как исправить все грехи общества за те несколько десятилетий, что нас от них разделяют.
Я думаю, 90% ведущихся разговоров носят ярко выраженную политическую, а не рациональную окраску. Из разряда "а нас куда?"
Очнулись. До появления ИИ построению тоталитарных обществ мешал недостаток ресурсов, людей для контроля всех людей в принципе хватить не может. ИИ позволяет взять этот барьер. А морали его пока учат какие-то непонятные люди :)
Ничего, скоро сделают ИИ для поиска возможности апелляции (по поводу решений, принятых другими ИИ)
Так уже используют, тот же самый :-)
>и интервью при принятии на службу
Да, эта сфера считается проблемной.

http://apps4all.ru/post/03-18-15-daniil-pilipenko-symbioway-iz-20-ti-chelovek-nazyvayuschih-sebya-programmistami-tolko-odin-dejstvitelno-im-yavlyaetsya - до чего дошел прогресс!

Решил поискать "ai headhunting", нашел "chat-bot recruiter" и стало страшно 8-\
Они уже давно в ходу, на самом деле :-) Первый раз я такое видел году в 2009 уже. Не бота, а механизм отбора кандидатов и звонков.
Уже секретно тестируют и роботов, просто нам не рассказывают :)

https://habrahabr.ru/post/313028/
Охохонюшки! Спасибо за пример, прямо в десяточку. Киберфошизм! ))

Профессионал, как правило, ведёт себя очень уверенно, отвечает быстро, эмоционально нейтрален к большинству вопросов и испытывает интерес к сложным вопросам. Любитель же, наоборот, на сложных вопросах испытывает гнев, начинает неосознанно «долбить» по клавиатуре и изрядно нервничает. - лично знаю одного реально крутого архитектора, который сразу бы не прошёл тут. Хотя у него за плечами такие системы, которые мало кто умеет делать.

Далее про графики ввода ответа - та же история. "Профессионал" должен, подобно машине, монотонно вбивать ответ от и до. Все холерики разом пролетают мимо вакансии :)

Пример с "активным интересом" просто классика, Г.Х. Андерсен. Один раз крупно фартануло компании+кандидату, теперь они это приводят в пример в статье о "алгоритмичном" подборе кандидатов. Ну-ну...

Мы все знаем, что профессиональные программисты программируют всегда – и днём, и ночью, и в выходные. - полная ебанина, без слов )))

По нашей статистике из 20-ти человек, называющих себя программистами, только один действительно им является. - ну так может их тупые методики просто упускают кучу нужного народа, не приходило им это в голову?

В целом, подтверждается справедливое опасение: если в Систему изначально положить кривую либо упрощённую модель ("все настоящие профессионалы спокойны, уверены, а также общительны и горят желанием работать 24 часа в сутки"), то любая самая сложная программа будет фигачить только отображение чьих-то человеческих комплексов
Светлое будущее, в котором нам жить :-)

>"Профессионал" должен, подобно машине, монотонно вбивать ответ от и до.
В общем, да, он ведь это (типовое задание) делал в жизни уже пяток раз.
На олимпиадах конечно можно увидеть людей, которые читают задание и 10 минут медитируют лицом в стол закрыв уши руками (реально), но это ведь не будни народного хозяйства.

> ну так может их тупые методики просто упускают кучу нужного народа
Нет, это просто система образования не работает. Человек думает что он что-то может (особенно если есть документ), а он ничего не может.
Речь идёт об особенностях индивида. У них там на графиках первый просто от неживого человека, робота
"Вы замечали когда-нибудь, что настоящие профессионалы практически вообще не болеют простудными заболеваниями?"(c)
С ИИ одна действительно глобальная проблема. Он аппроксимирует уже существующие тенденции, вычисляет вероятности и тому подобное. То есть начисто лишён творческого начала, "из ничего сделать всё". Когда люди будут засунуты в прокрустово ложе такого подхода, останутся ли они людьми вообще? Или просто аргументами функций риск-менеджмента?
По поводу творческого начала есть глобальный вопрос, как в принципе его определить. Это, на самом деле, важно, как бы к такой метафизике не относились.
Немножко порассуждали об этом в комментариях к одному из недавних постов.
Что касается экспертных систем, то это просто перебор правил и вариантов с другой скоростью, как вы понимаете. К ним так и относятся, как к калькулятору :-)
есть один вопрос, который я не совсем понимаю.
Допустим, они хотят создать общество без расизма и без этих жутких проблем. Очевидно, что при этом придется пожертвовать эффективностью общества. При уравнивании происходит равнение на отстающего и вся систему будет пробуксовывать. Люди, которые управляют процессами в сша этого не видеть просто не могут.
Вы недавно упоминали про план 2050, как я понимаю, идея состоит в том, чтобы штаты превратились в сообщества меньшинств. Поскольку изначально белых большинство и вроде они пока как большинство идут, вопрос будет решаться за их счет. То есть их отчуждают от возможностей. И тут возникает вопрос: Люди, которые управляют сша - они либо не расисты до такой степени, что им это побоку, либо они не белые, либо это какая-то часть белых, которая использует небелых в своих интересах, ну то есть игра на понижение. В первое я не особо верю, второе - не уверен. Итого, самое вероятное третье. Мой вопрос - как видите эту ситуацию вы? С какой целью это делается? Какая действительная, а не декларативная цель этого всего балагана с планом 2050 и борьбой с расизмом и, наверное, самое главное - почему штатам так и не удалось преодолеть расизм и удастся ли?
Вопрос как бы совсем не в тему поста, а кратко ответить не получится :-)

Попробую наметить контуры, чтобы было понятно, на что обращать внимание.

1. США очень инерционная страна. Там долго что-то обсуждают, но если делают, то это план на годы и десятилетия. Это хорошо видно по многому происходящему на наших глазах.
2. США управляют расисты, именно поэтому они строят безрассовое (как им кажется) общество. В прошлом были допущены несколько грубых ошибок, о которых я еще напишу, но сейчас ситуация выравнивается (как им кажется).
3. Все, кто чем-либо управляют, полагаются на одну из двух стратегий: людей или процесс. Если у вас есть менеджерский опыт, вы меня поймете. Есть иллюзия (насколько провальная покажет время), что в крупном демократическом механизме процесс гораздо важнее human resources. Т.е. если все решения коллегиальны, то они всегда усреднены по нижней границе, но сама нижняя границы выше большинства ожиданий (пока).
4. Отсутствие внешнего сопротивления. Нет того острия конфликта, как в Холодной войне, где вы могли бы себя проявить на границе таланта.
5. Наконец, само понятие национальных государств преобразуется в наднациональные и уходит в прошлое. Есть мнение, что в моноэтнические конструкты пытаются играть аутсайдеры, для которых это шанс на политическую консервацию (недолгую). 80% население-то не нужно, поэтому насколько важно какого оно цвета и разреза глаз вопрос вполне риторический.

А вообще, там было интересно и поучительно. Напишу чуть позже подробнее.
//Напишу чуть позже подробнее.
Было бы интересно почитать
Мне кажется, попытки оценить и понять, что думают и понимают верхи США не учитывают, что мы как бы ставим себя на их место, и оцениваем ситуацию со своих позиций. В то время, как руководство США - это люди возраста 80-90 лет, чьи взгляды сформировались 50-60 лет назад. Кроме того, это представители отсутствующего у нас потомственного сверхбонатого класса. У нас, в нашей культуре таких людей нет в принципе, как типа.
Мы можем только наметить некоторые контуры, исходя из этих общих представлений:
- Они, безусловно, расисты, так как были воспитаны в обществе расовой сегрегации.
- Они еще и социальные расисты, смотрящие на более низкие социальные слои, как на низших существ, что типично для потомственной аристократии.
- По базовым ценностям они ориентированы, в основном, на две религии, хорошо работающие с элитами: католицизм и сатанизм.

Вот и оценивайте, что считают нормальным и ненормальным такие существа.

Есть, однако, важный фактор смены поколений элиты, вследствие которого и получается, что решения обсуждаются десятилетиям. Правящее поколение ничего уже не обсуждает - альцгеймер, склероз, деменция, руководят на рефлексах и инстинктах. Обсуждают те, кто стоит в очереди, время есть. И следующее поколение их элиты будет, вероятно, совершенно иным. Это должно быть поколение революционеров, ведь оно выросло в период 60-х и 70-х.

И мне кажется, что одно из измерений внутриэлитного конфликта в США - поколенческий конфликт. Соревнование двух 80-летних политиков должно было вызвать в среде 60-летней молодежи огромную обиду.
Поколенческий конфликт проходят все страны первого (и частично второго) мира. Посмотрите на Францию или Японию. Американцы по сравнению с ними живчики :-)

Разумеется, это касается и следующих за ними преемников.

Вы правы в том смысле, что все разговоры даже неглупых и взрослых людей (и оффлайн и онлайн) про проблемы США ведутся обязательно в этаком снисходительном тоне. Сверху вниз.

Сидит в центре Москвы (да даже и Парижа) хорошо если клерк и взвешивает на весах своего невероятного опыта перипетии судьбы ... инопланетян. Он даже примерно не понимает, какие проблемы решаются людьми "при делах" и зачем происходят те или иные события, но с удовольствием и от души раздает подзатыльники.

Моя личная позиция в отношении американского эстеблишмента, если вы обратили внимание, куда более осторожная. Есть исторические ошибки, но есть и большие удачи. Нужно ко всему подходить очень аккуратно и самое главное обращать внимание не на лозунги, а на данные с мест.
В позиции клерка все же есть некоторое рациональное зерно, сформулированное Толстым. Человек, находящийся на вершине власти, предпринимает политические шаги не по прихоти, а, в основном, вынуждено. Поэтому поведение инопланетян может быть оценено с некоторой долей объективности, на основе общих соображений о задачах власти (99% этих задач - задачи сохранения власти) и политической обстановке.
Однако, возрастные особенности, воспитание, происхождение и ценности инопланетян (все доступно оценке) не могут не оказывать влияния на характер решений. В том смысле, что гуманист отдельную задачу решит не так, как сатанист, а промто пожилой человек решит не так, как глубокий старик.
Поэтому сами попытки таких реконструкций отнюдь не нелепы, надо просто четко понимать границы допущений и степени обобщений.
Во-первых, такие границы почти никогда не выдерживаются и все рассуждения на эти темы читать забавно :-)

Во-вторых, оценка действий "Наполеона" возможна обывателем постфактум, оценка его планов -- нет. Для этого нужно обладать сопоставимым объемом инфрмации и аппаратом ее обработки.

Наконец, полезно отличать "акционеров" от "управляющих" любым процессом. Там есть нюансы, и у первых всегда есть место для маневра.
Анализируя Наполеона постфактум, Толстой приходит к выводу, что анализировать его планы не имело бы ни малейшего смысла. А вот условия, в которых он действовал, и которые определяли результат его усилий, проанализировать вполне можно было.
Такой анализ не может предсказать решения Наполеона, но может предсказать их последствия в общем виде : )
Толстой, насколько вообще я могу об этом судить, хорошо разбирался в людях, гораздо хуже в обстоятельствах и еще хуже в политике.

Обстоятельства, если брать самое общее определение, это факты и информация окружающего мира. А какие обстоятельства у Наполеона может знать только близкий по статусу и времени жизни к нему персонаж.

Толстой при всем сказанном, гораздо ближе к Наполеону по кругу общения и образу жизни, чем среднестатистический обыватель.
Просто к вопросу о том, можем ли мы обсуждать планы и мотивы рептилоидов? Реальные - нет, а приведенные, их, так сказать результирующую - можем.
Например, западные политологи не пытаются анализировать, чего там хочет очередной Ким, а изучают структуру экспорта и характеристики его ракет. Полученный результат не характеризует намерения лично Кима, но характеризует намерения Кима, как элемента структуры власти, которые только и имеют шанс реализоваться.

Толстой же, в силу происхождения не понимал некоторых вещей, как птица не понимает физики полета. С одной стороны все время кивает на то, что только неведомые исторические силы могли двигать массы людей туда сюда, и даже описывает нелепую сцену, как историческая сила внезапно внушает Наполеону желание форсировать Неман : )
Но тут же он, как честный писатель, пишет об армии, что людей заставляла стоять под ядрами какая-то другая сила. Это была сила огромной властм, но Толстой, как часть этой силы, ее в упор не видел.
Планы эстеблишмента развитых стран обсуждать можно, владея релевантной информацией и ОЧЕНЬ хорошо зная всемирную историю.

Мотивация у всех одна и та же -- биологически обусловленная :-)

Кима знают как облупленного и играют друг с другом в пинг-понг сквозь китайскую (корейскую) комнату.
Про клерков и инопланетян недавно у вайс неплохо было.

Очень характерно разговаривают и жестикулируют афроамериканцы даже такого высокого уровня влияния. Бросается в глаза.
Про Гитлера в речи пастора вообще интересен эпизод. Тут-то люди добрые с Альбиона и помогут ему. Они-то всяко лучше Гитлера будут.
Спасибо за развернутый ответ. Второй пункт и процессы - это как я понимаю, если человеку платить деньги и соответственно контролировать, то он свою работу все равно на троечку сделает, а больше и не надо. Это, наверное, и есть главное обоснование прогресса и автоматизации. Тереть тряпкой будут эффективно и английский доктор наук и негритянка из гаити, а обслуживать сложные формулы может и студент с какой-то спсс или сап. В ту же корзину попадает аргумент, что можно страну превратить в конфетку, а можно в северную корею, достаточно выключить свет. С украиной, сомали и кореей получилось. А вот с либерией не очень. Никак. Да и с коста рикой пока никак. Все таки тут брешь есть.
А какое вообще ваше мнение по поводу пути развития США?

ad-notandam aka Yuriy
На троечку в случае внутренних процессов США это хороший уровень :-) Пересаживать американскую культуру управления не получается, даже Южная Корея и в какой-то мере Япония все-таки сохраняют блокирующие особенности.