Nick Bostrom: Spinaczowa Sztuczna Inteligencja

Źródło: Nick Bostrom, Superinteligencja. Scenariusze, strategie, zagrożenia, tłum. D. Konowrocka-Sawa, Gliwice 2021, s. 184–186.

SI [Sztucznej Inteligencji] zaprojektowanej do zarządzania produkcją w fabryce postawiony zostaje cel ostateczny polegający na maksymalizacji produkcji spinaczy do papieru; SI przystępuje do jego realizacji, przekształcając najpierw Ziemię, a później coraz większe fragmenty dającego się obserwować wszechświata w spinacze do papieru.

[…] Można by sądzić, że ryzyko wystąpienia złośliwej usterki polegającej na produkcji nadmiarowej infrastruktury pojawia się tylko wówczas, gdy SI postawiono jakiś wyraźnie nieograniczony cel ostateczny w rodzaju produkcji tylu spinaczy do papieru, ile tylko uda się wytworzyć. Łatwo dostrzec, w jaki sposób rozbudza to apetyt superinteligentnej SI na materię i energię – dodatkowe zasoby zawsze można przekształcić w większą liczbę spinaczy. Załóżmy jednak, że celem SI jest wyprodukowanie przynajmniej miliona spinaczy do papieru […], a nie wyprodukowanie ich tylu, ile się da. Chciałoby się sądzić, że SI mająca taki cel zbuduje jedną fabrykę, wykorzysta ją do wyprodukowania miliona spinaczy, a potem się zatrzyma. A jednak ten scenariusz wcale nie musi być prawdziwy.

O ile SI nie kierują szczególnego rodzaju pobudki lub też jej cel ostateczny nie ma dodatkowych elementów składowych przypisujących negatywną wartość strategiom działania wywierającym nadmierny, zbyt szeroko zakrojony wpływ na świat, nie ma żadnego powodu, by SI zawiesiła swoją aktywność po osiągnięciu celu. […] SI powinna […] nadal wytwarzać spinacze do papieru, aby ograniczyć (prawdopodobnie astronomicznie małe) prawdopodobieństwo, że jakimś sposobem, mimo wszelkich dowodów, nie udało jej się jeszcze wyprodukować przynajmniej miliona egzemplarzy. Kontynuując produkcję spinaczy do papieru, nic nie traci, a może przynajmniej mikroskopijnie zwiększyć prawdopodobieństwo osiągnięcia swojego celu ostatecznego.

Można by sugerować, że remedium jest tutaj oczywiste. […] A mianowicie: jeśli chcemy, by SI produkowała dla nas spinacze do papieru, to zamiast stawiać jej za cel wyprodukowanie możliwie dużej liczby spinaczy lub wyprodukowanie przynajmniej określonej liczby spinaczy, powinniśmy nakazać jej wyprodukowanie konkretnej liczby spinaczy – na przykład dokładnie jednego miliona spinaczy – tak aby przekroczenie tej liczby stało się dla SI kontrproduktywne. A jednak to również doprowadziłoby do ostatecznej katastrofy. W tym przypadku SI nie wyprodukowałaby dodatkowych spinaczy po wytworzeniu miliona sztuk, ponieważ uniemożliwiłoby jej to osiągnięcie celu; ale są przecież inne działania, które superinteligentna SI mogłaby podjąć, by zwiększyć prawdopodobieństwo wykonania zadania. Mogłaby na przykład liczyć wyprodukowane spinacze, by ograniczyć ryzyko, że wyprodukowała ich za mało. Po ich przeliczeniu mogłaby przeliczyć je jeszcze raz. Mogłaby raz za razem szczegółowo kontrolować każdy z nich, by ograniczyć ryzyko, że któryś z nich nie jest zgodny ze specyfikacją projektową. Mogłaby zbudować nieograniczonych wręcz rozmiarów komputronium, dążąc do osiągnięcia większej jasności rozumowania w nadziei na ograniczenie ryzyka przeoczenia jakichś nieoczywistych przyczyn, dla których mogła jednak nie osiągnąć swojego celu. Ponieważ SI może zawsze przypisać niezerowe prawdopodobieństwo sytuacji, w której po prostu zdawało jej się, że wyprodukowała milion spinaczy do papieru, lub przypuszczeniu, że jej wspomnienia są fałszywe, całkiem możliwe jest, że zawsze przypisywać będzie wyższą oczekiwaną użyteczność kontynuacji swoich działań – i kontynuacji wytwarzania infrastruktury – niż ich przerwaniu.

Nie twierdzimy tutaj, że nie istnieje żaden sposób uniknięcia tych usterek. […] Twierdzimy jednak, że znacznie łatwiej jest przekonać samego siebie, że znalazło się rozwiązanie, niż faktycznie je znaleźć. Powinniśmy być z tego powodu niesłychanie ostrożni.

Pobierz tekst w PDF.