Tương lai có thể hạnh phúc — Nếu loài người không bị tuyệt chủng

Hoặc chúng tôi có thể muốn có quy định chặt chẽ về những hệ thống AI nào được triển khai, để bạn chỉ có thể sử dụng nó nếu bạn thực sự hiểu những gì đang diễn ra. Hoặc sao cho nó được thông qua một số lượng lớn các cuộc kiểm tra để đủ trung thực, vô hại và hữu ích. Vì vậy, thay vì nói, “[We should] tăng tốc hoặc làm chậm tiến độ của AI ”, chúng ta có thể nhìn nhận một cách hẹp hơn và nói,“ Được rồi, những điều có thể đáng lo ngại nhất là gì? Bạn có biết?” Và điều thứ hai là, như với tất cả những điều này, bạn phải lo lắng rằng nếu một người hoặc một nhóm chỉ đơn phương nói, “Được rồi, tôi sẽ không phát triển cái này”, thì có lẽ đó là thay vào đó, các tác nhân ít có động cơ đạo đức quảng bá nó hơn.

Bạn viết cả một chương về những rủi ro của sự trì trệ: Sự chậm lại của tiến bộ kinh tế và công nghệ. Bản thân điều này dường như không gây ra rủi ro tồn tại. Điều gì sẽ tồi tệ khi tiến bộ chỉ ở gần mức hiện tại trong nhiều thế kỷ tới?

Tôi đã bao gồm nó vì một vài lý do. Một là cho đến nay, sự trì trệ đã rất ít được chú ý trong thế giới theo chủ nghĩa dài hạn. Nhưng tôi cũng nghĩ rằng nó có khả năng rất quan trọng từ góc độ dài hạn. Một lý do là chúng ta có thể gặp khó khăn trong thời điểm nguy hiểm. Nếu chúng ta tồn tại ở trình độ công nghệ của những năm 1920 vô thời hạn, thì điều đó sẽ không bền vững. Chúng ta đốt cháy tất cả các nhiên liệu hóa thạch, chúng ta sẽ gặp phải một thảm họa khí hậu. Nếu chúng ta tiếp tục với trình độ công nghệ hiện tại, thì chiến tranh hạt nhân toàn diện chỉ còn là vấn đề thời gian. Ngay cả khi rủi ro là rất thấp, chỉ cần một rủi ro nhỏ hàng năm theo thời gian sẽ tăng lên.

Đáng lo ngại hơn nữa với vũ khí sinh học được chế tạo, đó cũng chỉ là vấn đề thời gian. Chỉ đơn giản là ngừng tập trung hoàn toàn vào công nghệ, tôi nghĩ đó không phải là một lựa chọn – thực ra, điều đó sẽ khiến chúng ta phải diệt vong. Không rõ chính xác chúng ta nên đi nhanh đến mức nào, nhưng điều đó có nghĩa là chúng ta cần phải thoát ra khỏi mức độ phát triển công nghệ hiện tại và bước sang mức độ phát triển công nghệ tiếp theo, để đạt được điểm mà Toby Ord gọi là “hiện sinh bảo mật ”, nơi chúng tôi có công nghệ và sự khôn ngoan để giảm thiểu những rủi ro này.

Ngay cả khi chúng ta vượt qua những rủi ro tồn tại hiện tại của mình, sẽ không có những rủi ro mới mà chúng ta chưa biết đến, đang rình rập trong tương lai của chúng ta? Liệu chúng ta có thể vượt qua thời điểm rủi ro hiện hữu hiện tại của mình không?

Cũng có thể là khi công nghệ phát triển, có thể có những hòn đảo an toàn nhỏ bé này. Một điểm là nếu chúng ta vừa mới khám phá về cơ bản mọi thứ. Trong trường hợp đó, không có công nghệ mới nào làm chúng ta ngạc nhiên và giết chết tất cả chúng ta. Hoặc tưởng tượng nếu chúng ta có một biện pháp phòng thủ chống lại vũ khí sinh học, hoặc công nghệ có thể ngăn chặn bất kỳ cuộc chiến tranh hạt nhân nào. Sau đó, có lẽ chúng tôi chỉ có thể đi chơi vào thời điểm đó với trình độ công nghệ đó, vì vậy chúng tôi thực sự có thể suy nghĩ về những gì sẽ xảy ra tiếp theo. Điều đó có thể là có thể. Và vì vậy, cách mà bạn có được sự an toàn là chỉ cần nhìn vào nó và xác định những rủi ro mà chúng ta phải đối mặt, mức độ chúng ta đã quản lý để gặp rủi ro hoặc nếu chúng ta đang ở thời điểm mà chúng ta vừa tìm ra mọi thứ cần phải tìm ra.