По-вашему, о чем может пойти речь в посте с таким заголовком? О войнах и диктаторах, о капитализме, о животноводстве, о парадоксе Ферми? На самом деле, все еще страшнее.
Я не буду углубляться в вопрос «что есть зло». Пока хватит частного случая – «причинение боли сознательному существу», исключая ситуации вроде врачебного вмешательства. С сознательными существами мы вроде бы тоже разобрались. Осталась одна неопределенность: что такое боль? Конечно, мы все знаем ответ с субъективной точки зрения, но этого маловато.
В самом общем случае боль – сигнал, означающий необходимость скорректировать поведение. Пусть у нас есть черный ящик с сознанием внутри. Он может принимать решения, достигая целей и избегая опасностей, но по умолчанию не будет этого делать. Как заставить его? Во-первых, определить цель и вознаграждать ящик за шаги к ней. И, во-вторых, перекрыть заведомо тупиковые и просто опасные стратегии поведения чем-то, противоположным вознаграждению: болью.
В эту модель легко вложить живых существ, но вот проблема: она гораздо шире. Точно так же можно описать поведение многих алгоритмов и даже механических устройств. Я, конечно, не думаю, что гидравлические PID-контроллеры начала 20-го века могли испытывать боль. Но где пролегает граница, и есть ли она вообще? Быть может, мы снова имеем дело со спектром, как и в случае сознания?
Что, если кто-то создаст устройство (или даже алгоритм), не только способное испытывать боль, но и находящееся в таком состоянии по умолчанию, которое будет произведено миллиардами или триллионами? И мы даже не узнаем, что сделали. Мы могли уже это сделать. Что это, как не максимально возможное зло?
Это – одна из причин, по которой мы обязаны как можно быстрее докопаться до истины в вопросах сознания и морали. Но что мы будем с ней делать? Избегать создания боли в принципе? Как бы не так.
Отсутствие боли вообще также представляет проблему. Во-первых, достаточно общеизвестно, что происходит с людьми, родившимися без способности ее чувствовать: они редко доживают до взрослого возраста. Во-вторых, именно познав свои уязвимости, мы понимаем, чего нельзя делать с другими. Если мы хотим вложить в роботов нашу мораль – еще одна важная причина ее изучать – нам, скорее всего, придется включить и боль.
Но вот что действительно важно. Слишком часто боль возникает не в результате наших действий, а по независящим от нас причинам. Слишком многие страдания совершенно напрасны. И от этого мы вполне можем избавить свои творения. Да и себя, на самом-то деле.