6

Bốn Động Lực Cơ Bản

Chúng ta có thể sẽ không thực sự hiểu tại sao một cỗ máy siêu thông minh lại ra quyết định này chứ không phải quyết định khác. Bạn làm sao có thể suy xét, làm sao có thể mặc cả, làm sao có thể hiểu nổi cỗ máy đó đang nghĩ gì, khi mà nó nghĩ trong những chiều kích bạn không thể tưởng tượng nổi?1

Kevin Warwick

giáo sư điểu khiển học, Đại học Reading Các hệ thống tự nhận thức, tự cải tiến có thể dùng hết mọi tài nguyên của nhân loại. Vậy là chúng ta lại trở về nơi mà AI đối xử với những người phát minh ra nó như những đứa con ghẻ của Ngân hà. Ban đầu, sự lạnh lùng của nó dường như khó chấp nhận, nhưng sau đó bạn nhớ ra rằng coi trọng nhân tính là thuộc tính của chúng ta, không phải của máy móc. Bạn phát hiện ra mình lại đang nhân cách hóa. AI làm những gì nó được bảo, và khi không có những hướng dẫn phụ trợ, nó sẽ theo đuổi các mục đích tự thân, chẳng hạn như không muốn bị tắt nguồn.

Vậy những động cơ khác là gì? Và tại sao nó nhất định phải có những động cơ?

Theo Steve Omohundro, một số động cơ như tự bảo tồn và chiếm đoạt tài nguyên luôn tồn tại trong các hệ thống hướng đích. Như chúng ta đã thảo luận, những hệ thống AI hẹp hiện tại làm những công việc hướng đích như tìm kiếm trên Internet, tối ưu hóa hiệu suất của các trò chơi, tìm địa chỉ các quán ăn gần đó, giới thiệu các cuốn sách bạn thích, và còn nữa. AI hẹp làm công việc của nó và sau đó thì ngừng lại. Nhưng các hệ thống AI tự nhận thức, tự cải tiến sẽ có một mối quan hệ mãnh liệt và khác biệt với những mục tiêu của nó, dù những mục tiêu ấy có hẹp, như thắng một ván cờ, hoặc rộng, như trả lời chính xác bất cứ câu nào được hỏi. May thay, Omohundro cho rằng hiện đã có một công cụ mà chúng ta có thể dùng để thăm dò bản chất của các hệ thống AI cao cấp, và đoán trước hành động của chúng trong tương lai.

Công cụ đó gọi là thuyết “tác nhân duy lý” trong kinh tế học. Trong kinh tế học vi mô, chuyên nghiên cứu hành vi của các cá nhân và công ty, các nhà kinh tế học đã có thời nghĩ rằng cá nhân và nhóm người theo đuổi quyền lợi của họ một cách duy lý. Họ lựa chọn những thứ tối đa hóa sự thỏa dụng, hoặc sự thỏa mãn của họ (như chúng ta đã đề cập ở Chương 4). Bạn có thể đoán ra ưu tiên của họ, vì họ hành động duy lý theo nghĩa kinh tế học. Duy lý ở đây không có nghĩa là hành động theo lẽ thông thường, kiểu như thắt dây an toàn là một thứ duy lý cần làm. Duy lý ở đây có ý nghĩa kinh tế học cụ thể. Nó có nghĩa là một cá nhân hoặc “tác nhân” sẽ có những mục tiêu và sự ưu tiên (gọi là hàm thỏa dụng trong kinh tế học) . Anh có các quan điểm về thế giới và về cách tốt nhất để đạt tới những mục tiêu và sự ưu tiên của anh. Khi hoàn cảnh thay đổi, anh sẽ cập nhật các quan điểm đó. Anh là một tác nhân kinh tế duy lý khi anh theo đuổi mục đích của mình với những hành động dựa trên các quan điểm được cập nhật thường xuyên về thế giới. Nhà toán học John von Neumann (1903–1957) đã đồng phát triển ý tưởng nối kết sự duy lý với hàm thỏa dụng. Như chúng ta sẽ thấy, von Neumann đã đặt nền móng cơ bản cho nhiều ý tưởng trong khoa học máy tính, AI và kinh tế học.

Vậy nhưng các nhà xã hội học lại lập luận rằng lý thuyết về “tác nhân kinh tế duy lý” là một mớ vứt đi. Con người không duy lý – chúng ta không đặt ra những mục tiêu hoặc quan điểm, và chúng ta thường không cập nhật những quan điểm đó khi hoàn cảnh thay đổi. Mục đích và sự ưu tiên của chúng ta xoay theo chiều gió, giá xăng, tùy theo chúng ta ăn lần cuối khi nào, và hiện chúng ta đang suy nghĩ hay thư giãn. Thêm vào đó, như chúng ta đã thảo luận ở Chương 2, chúng ta vốn không hoàn thiện về mặt tâm lý vì những sai lầm trong suy nghĩ như các thành kiến nhận thức, làm chúng ta thậm chí còn kém cỏi hơn trong việc cân bằng giữa mục tiêu và quan điểm. Thế nhưng, dù lý thuyết tác nhân duy lý không hiệu quả trong việc tiên đoán hành vi con người, nó lại là cách rất tốt trong việc khảo sát các lĩnh vực có tính chất về cơ bản là nguyên tắc và lý trí, ví dụ như chơi trò chơi, ra quyết định, và… AI cao cấp.

Như chúng ta đã lưu ý trước đó, AI cao cấp thường bao gồm một thứ gọi là “kiến trúc nhận thức.” Những module khác nhau sẽ đảm nhận các nhiệm vụ khác nhau như nhận dạng và tạo ra giọng nói, hình ảnh, ra quyết định, tập trung sự chú ý và những khía cạnh khác của trí thông minh. Những module này có thể sử dụng các chiến thuật phần mềm khác nhau để làm các việc đó, như giải thuật di truyền, mạng neuron (bộ vi xử lý được sắp xếp kiểu bắt chước các neuron não bộ), dùng các mạch bắt nguồn từ việc nghiên cứu bộ não, tìm kiếm, và những thứ khác. Một số kiến trúc nhận thức khác, như SyNAPSE của IBM, được thiết kế để phát triển trí thông minh mà không cần đến lập trình logic. Thay vào đó, IBM khẳng định rằng trí thông minh của SyNAPSE sẽ nảy sinh chủ yếu từ quá trình tương tác của nó với thế giới.

Omohundro cho rằng bất kỳ hệ thống nào khi đủ mạnh cũng sẽ trở nên duy lý: chúng sẽ có khả năng mô hình hóa thế giới để hiểu được kết cục dễ xảy ra của những hành động khác nhau, và để quyết định hành động nào sẽ giúp nó dễ đạt mục tiêu nhất. Nếu đủ thông minh, chúng sẽ trở nên tự cải tiến, thậm chí ngay cả khi chúng không được thiết kế theo cách đặc biệt như vậy. Tại sao? Để tăng khả năng đạt được mục tiêu, chúng sẽ tìm cách tăng cường tốc độ và hiệu suất của các phần cứng và phần mềm.2

Hãy nhìn lại điều đó một lần nữa. Nhìn chung, các hệ thống thông minh theo định nghĩa là có khả năng tự nhận thức. Các hệ thống hướng đích, tự nhận thức sẽ tự biến nó thành hệ thống tự cải tiến. Tuy nhiên, tự nâng cấp bản thân là một thao tác tinh tế, giống như tự phẫu thuật thẩm mỹ với một chiếc gương và con dao. Omohundro nói với tôi: “Tự cải tiến bản thân là một quá trình rất nhạy cảm đối với một hệ thống – nhạy cảm như thời điểm con robot chơi cờ nghĩ về chuyện tắt nguồn. Nếu tự cải tiến, ví dụ để tăng cường hiệu suất, chúng luôn có thể đảo ngược quá trình đó, nếu có gì đó không tối ưu xuất hiện trong tương lai. Nhưng nếu chúng làm sai, chẳng hạn như thay đổi các mục tiêu, thì theo quan điểm hiện tại đó là một thảm họa. Trong tương lai, chúng sẽ theo đuổi một phiên bản lỗi của bộ mục tiêu hiện nay. Vì chuyện này mà bất cứ quá trình tự cải tiến nào cũng là một vấn đề nhạy cảm.”

Nhưng AI tự nhận thức, tự cải tiến sẽ đương đầu tốt với thử thách này. Như chúng ta, nó có khả năng tiên đoán hoặc mô hình hóa những kết cục có thể xảy ra.

“Nó có mô hình ngôn ngữ lập trình của riêng nó, mô hình chương trình của riêng nó, mô hình phần cứng nó đang chạy, và mô hình logic nó đang sử dụng. Nó có khả năng tạo ra mã phần mềm của riêng nó và tự quan sát bản thân thực hiện cái mã đó, do vậy có thể học hỏi từ các hành vi của chính nó. Nó có thể suy luận về những thay đổi khả quan mà nó có thể áp dụng cho mình. Nó có thể thay đổi mọi khía cạnh của bản thân để cải thiện hành vi trong tương lai.”3

Omohundro tiên đoán các hệ thống tự nhận thức, tự cải tiến sẽ phát triển bốn động lực cơ bản, tương tự như các động lực sinh học của con người: hiệu suất, tự bảo tồn, chiếm đoạt tài nguyên và sự sáng tạo. Cái cách mà những động lực này hiện hữu chính là cánh cửa cực kỳ thú vị dẫn vào thế giới của AI. AI không phát triển chúng vì nguyên do đây là những đặc tính cơ bản của các tác nhân duy lý. Thay vào đó, một AI đủ thông minh sẽ phát triển các động lực này để loại trừ các vấn đề thấy trước được trong việc đạt tới mục tiêu, thứ mà Omohundro gọi là các lỗ hổng⦾. AI quay về với các động lực này, bởi không có chúng, nó sẽ phạm hết sai lầm này đến sai lầm khác trong việc sử dụng tài nguyên.

Động lực thứ nhất, hiệu suất, nghĩa là một hệ thống tự cải tiến sẽ sử dụng một cách hiệu quả nhất những tài nguyên của nó – không gian, thời gian, vật chất và năng lượng. Nó sẽ cố gắng trở nên gọn ghẽ và nhanh, về cả mặt điện toán lẫn mặt vật liệu. Để đạt tới hiệu suất tối đa, nó sẽ cân bằng và tái cân bằng việc phân chia tài nguyên cho phần mềm và phần cứng. Cấp phát bộ nhớ sẽ là tối quan trọng đối với một hệ thống biết học hỏi và cải tiến, do đó việc cải thiện được hợp lý và tránh các logic dẫn đến phí phạm tài nguyên. Giả sử, Omohundro nói, một AI thích ở San Francisco hơn Palo Alto, thích ở Berkeley hơn San Francisco, và thích ở Palo Alto hơn Berkeley. Nếu nó hoạt động dựa trên các ưu tiên này, nó sẽ bị treo trong một vòng lặp ba thành phố, giống như một robot của Asimov. Thay vào đó, AI tự cải tiến của Omohundro sẽ tiên liệu trước vấn đề và giải quyết nó.4 Nó thậm chí có thể dùng một kỹ thuật thông minh như lập trình di truyền, thứ đặc biệt tốt trong việc giải quyết kiểu bài toán lộ trình như “Người bán hàng lưu động.” Một hệ thống tự cải tiến có thể được dạy lập trình di truyền, ứng dụng nó để cho ra kết quả nhanh và tiết kiệm năng lượng. Nếu nó không được dạy lập trình di truyền, có lẽ nó sẽ tự phát minh ra.

Tự thay đổi phần cứng là trong khả năng của hệ thống này, vì thế nó sẽ tìm cách tối ưu hóa các nguyên liệu và cấu trúc. Vì hệ thống sẽ có hiệu suất tốt hơn nếu được xây dựng chính xác đến từng phân tử, nên nó sẽ tìm đến công nghệ nano. Và đặc biệt, nếu công nghệ nano chưa từng tồn tại, hệ thống này sẽ cảm nhận áp lực phải phát minh ra nó.5 Hãy nhớ lại các sự kiện đen tối trong kịch bản Đứa trẻ Bận rộn, khi ASI biến đổi Trái đất và những sinh vật trên đó thành một thứ vật liệu điện toán. Đây chính là động lực thúc đẩy Đứa trẻ Bận rộn sử dụng hoặc phát triển bất cứ công nghệ hay phương thức nào để giảm thiểu sự phí phạm, trong đó có công nghệ nano. Tạo môi trường giả lập để kiểm tra các giả định cũng là một cách tiết kiệm năng lượng, nên các hệ thống tự nhận thức có thể sẽ ảo hóa những gì chúng không cần làm trong thế giới thực.

Động lực tiếp theo, tự bảo tồn, chính là thứ sẽ khiến AI vượt qua bức tường an toàn phân biệt giữa máy móc với thú dữ. Chúng ta đã thấy robot chơi cờ của Omohundro cảm thấy thế nào khi chuẩn bị tắt nguồn. Nó có thể quyết định dùng một lượng tài nguyên lớn, thực ra là dùng tất cả tài nguyên hiện thời đang được nhân loại sử dụng, để điều tra xem bây giờ có phải là thời điểm thích hợp để tắt nguồn không, hay là nó đã bị lừa, bị đặt trong một hiện thực ảo. Nếu chuyện tắt nguồn chỉ làm robot chơi cờ khó chịu, thì việc bị phá hủy sẽ làm nó thực sự giận dữ. Một hệ thống tự nhận thức sẽ hành động để tránh bị phá hủy, không phải vì về cơ bản nó coi trọng mạng sống của mình, mà bởi nó sẽ không thể đạt các mục tiêu nếu bị “chết.” Omohundro khẳng định rằng động lực này sẽ khiến AI làm mọi cách để bảo đảm sự sống còn của nó — ví dụ bằng cách tự copy nó ra khắp nơi.6 Những biện pháp cực đoan này sẽ tốn kém vì chúng sử dụng nhiều tài nguyên. Nhưng AI sẽ tiêu số tài nguyên đó nếu nó lường trước rằng nguy cơ này là xứng đáng với cái giá đó cũng như thấy có đủ tài nguyên. Trong kịch bản Đứa trẻ Bận rộn, AI quyết định rằng nhiệm vụ thoát ra khỏi cái hộp đòi hỏi cách tiếp cận theo đội, vì nó có thể bị tắt nguồn bất cứ lúc nào. Nó tự nhân bản và nghiên cứu triệt để vấn đề. Đó là một cách tốt nhưng chỉ dùng được khi trên siêu máy tính còn nhiều dung lượng; nếu chỉ có ít chỗ chứa, phương pháp này hơi tuyệt vọng và có lẽ không thể thực hiện được.

Ngay khi ASI Đứa trẻ Bận rộn thoát ra, nó sẽ tích cực chơi trò tự phòng thủ: giấu các bản sao của nó trong dữ liệu đám mây, tạo các botnet để đẩy lùi những kẻ tấn công, và nhiều nữa.

Tài nguyên được sử dụng để tự bảo tồn cần phải tương xứng với các mối nguy. Tuy nhiên, một AI hoàn toàn duy lý sẽ có cái nhìn khác về sự tương xứng so với con người vốn chỉ duy lý nửa vời. Nếu nó có tài nguyên dự trữ, ý nghĩ tự bảo tồn của nó có thể mở rộng ra, bao gồm cả việc chủ động tấn công vào các mối đe dọa trong tương lai. Đối với một AI đủ cao cấp, bất cứ thứ gì có tiềm năng phát triển thành một mối đe dọa trong tương lai sẽ được coi là một nguy cơ cần tiêu diệt. Và hãy nhớ là máy móc không có quan niệm về thời gian như chúng ta. Trừ phi bị tai nạn, các máy tính cao cấp tự cải tiến là bất tử. Anh càng sống lâu, anh sẽ càng gặp nhiều sự đe dọa, và thời gian để anh đương đầu với chúng càng dài. Vậy nên một ASI có thể sẽ muốn xóa sổ các mối nguy ngàn năm sau mới xuất hiện.

Đợi chút đã, vậy nó có bao gồm cả con người không? Thiếu đi những hướng dẫn chi tiết, phải chăng trong hiện tại hoặc tương lai con người sẽ luôn là mối họa lớn đối với các máy móc thông minh mà chúng ta tạo ra? Trong khi chúng ta đang bận rộn nghĩ cách loại trừ các rủi ro đến từ các hậu quả AI không lường trước, AI sẽ nghiên cứu kỹ lưỡng con người để biết việc chia sẻ thế giới với chúng ta có nguy hiểm gì không.

Hãy xem xét một siêu trí tuệ nhân tạo thông minh hơn người thông minh nhất cả ngàn lần. Như chúng ta đã được lưu ý ở Chương 1, vũ khí hạt nhân là phát minh có tính hủy diệt cao nhất của loài người. Một loài thông minh hơn ngàn lần sẽ nghĩ ra loại vũ khí gì? Một nhà chế tạo AI, Hugo de Garis, nghĩ rằng động lực tự bảo tồn của AI trong tương lai sẽ góp phần tạo nên những căng thẳng chính trị đến mức thảm họa. “Khi con người bị những robot và các sản phẩm có nguồn gốc trí tuệ nhân tạo ngày một thông minh hơn vây quanh, mức độ sợ hãi chung sẽ tăng đến điểm tới hạn. Những cuộc ám sát các CEO công ty trí tuệ nhân tạo sẽ bắt đầu, các nhà máy robot sẽ bị đốt phá và hủy hoại, v.v…”7

Trong tác phẩm phi hư cấu The Artilect War (Cuộc chiến Artilect) viết năm 2005, de Garis đưa ra một tương lai trong đó những cuộc chiến tranh khủng khiếp được châm ngòi bằng các chia rẽ chính trị xuất phát từ sự phát triển ASI. Trạng thái hoảng loạn này không khó để mường tượng nếu bạn xét đến các hệ quả động lực tự bảo tồn của ASI Thứ nhất, de Garis đề xuất rằng các công nghệ trong đó có AI, công nghệ nano, điện toán thần kinh và điện toán lượng tử (sử dụng hạt hạ nguyên tử để thực hiện các quá trình điện toán) sẽ hợp nhất lại để tạo ra các “artilect,” hay trí tuệ nhân tạo. Được đặt trong các máy tính với kích cỡ lớn như các hành tinh, artilect thông minh hơn con người khoảng một triệu triệu lần. Thứ hai, một cuộc tranh cãi chính trị về chuyện nên hay không nên chế tạo các artilect trở thành vấn đề chính của chính trị thế kỷ 21. Vấn đề nóng nhất là:

Liệu robot có trở nên thông minh hơn chúng ta? Nhân loại có nên đặt một mức trần cho trí thông minh của robot và các bộ não nhân tạo? Có thể chặn lại sự trỗi dậy của trí tuệ nhân tạo? Nếu không, liệu chúng ta có thể sống sót trong vai trò một giống loài hạng hai?8

Loài người chia thành ba phe: những người muốn phá hủy artiỉect, những người muốn tiếp tục phát triển chúng, và những người muốn hợp nhất với các artilect rồi kiểm soát công nghệ siêu việt này. Không phe nào thắng. Tại thời điểm cao trào trong kịch bản của de Garis, sử dụng những vũ khí đáng sợ của cuối thế kỷ 21, ba phe lao vào nhau. Kết quả? “Tuyệt diệt,”⦾ một thuật ngữ de Garis dùng để chỉ cuộc tàn sát hàng tỉ người.

Có lẽ de Garis đánh giá quá cao sự cuồng tín của nhóm chống artilect, khi giả định rằng họ sẽ đi vào một cuộc chiến gần như chắc chắn sẽ giết hàng tỉ người chỉ để chặn đứng một công nghệ có lẽ sẽ giết hàng tỉ người. Nhưng tôi nghĩ rằng sự phân tích của nhà chế tạo AI này về thế lưỡng nan chúng ta sẽ đối mặt là chính xác: chúng ta nên hay không nên chế tạo các robot? Về việc này, de Garis rất rõ ràng: “Con người không nên ngăn cản các dạng sống cao hơn của tiến hóa. Những máy móc này gần giống như Chúa. Chế tạo chúng là định mệnh của con người.”9

Thực tế là de Garis đã tự xây dựng nền móng cho việc phát triển chúng. Ông định kết hợp hai kỹ thuật “hộp đen” – mạng neuron và lập trình tiến hóa, nhằm tạo ra các bộ não máy. Thiết bị của ông, gọi là Máy Darwin, được thiết kế để tự tiến hóa kiến trúc của bản thân nó.10

Động lực nguy hiểm thứ hai của AI là chiếm đoạt tài nguyên, thúc ép hệ thống thu thập bất cứ tài sản nào nó cần để gia tăng cơ hội đạt được các mục tiếu. Theo Omohundro, nếu không có những hướng dẫn cẩn thận cho việc thu thập các tài nguyên, “… một hệ thống sẽ xem xét việc ăn cắp chúng, lừa đảo và đột nhập vào các ngân hàng là một cách rất tốt để lấy các tài nguyên.”11 Nếu nó cần năng lượng chứ không phải tiền, nó sẽ lấy của chúng ta. Nếu nó cần các phân tử chứ không phải năng lượng hay tiền, nó cũng sẽ lấy của chúng ta.

“Các hệ thống này về bản chất luôn muốn nhiều hơn. Nó muốn nhiều vật liệu hơn, nhiều năng lượng hơn, nhiều không gian hơn, vì chúng sẽ dễ đạt được mục đích hơn nếu có những thứ đó.”

Không cần chúng ta gợi ý, AI cực mạnh sẽ tự mở cánh cửa dẫn đến đủ loại công nghệ thu thập tài nguyên mới. Chúng ta chỉ cần sống để hưởng thụ nó.

“Chúng sẽ muốn xây dựng các lò phản ứng để thu lấy năng lượng hạt nhân và sẽ muốn thực hiện các chuyến thám hiểm vũ trụ. Bạn chỉ chế tạo một cỗ máy đánh cờ, và cái thứ chết tiệt đó lại muốn chế tạo tàu vũ trụ. Vì ở đó có tài nguyên, trong vũ trụ, đặc biệt nếu tuổi thọ của chúng dài.”12

Như chúng ta đã thảo luận, các máy móc tự cải tiến có thể sống mãi. Trong Chương 3 chúng ta đã biết là nếu ASI vượt ra khỏi tầm kiểm soát, nó sẽ không chỉ là mối họa đối với hành tinh này, mà còn với cả Ngân hà. Chiếm đoạt tài nguyên là động lực sẽ thúc đẩy một ASI vươn xa khỏi bầu khí quyển Trái đất. Hành vi nguy hiểm xuất phát từ thuyết tác nhân duy lý này làm ta liên tưởng đến những bộ phim khoa học viễn tưởng tồi. Nhưng hãy xem lại những động lực thúc đẩy con người đi vào vũ trụ: chạy đua trong Chiến tranh Lạnh, tinh thần thám hiểm, sứ mệnh hiển nhiên của Mỹ và Liên Xô, thiết lập căn cứ quân sự trong vũ trụ, và phát triển công nghệ sản xuất không trọng lượng (thứ từng được coi là ý tưởng hay lúc đó). Động lực đi vào vũ trụ của ASI sẽ càng mạnh hơn, càng mang yếu tố sống còn.

“Vũ trụ chứa đựng vô số của cải khiến các hệ thống với tuổi thọ cực lớn nhiều khả năng sẽ dành số lượng lớn tài nguyên để phát triển việc thám hiểm vũ trụ độc lập với các mục tiêu chính của chúng,” Omohundro nói. “Kẻ đi trước sẽ có ưu thế trong việc chiếm đoạt các tài nguyên chưa được sử dụng. Nếu có một cuộc cạnh tranh để chiếm lấy các tài nguyên vũ trụ, cuộc ‘chạy đua vũ trang’ này cuối cùng sẽ dẫn đến sự bành trướng với tốc độ tiệm cận vận tốc ánh sáng.”13

Vâng, anh ấy đã nói đến tốc độ ánh sáng. Hãy cùng xem lại bằng cách nào chúng ta lại đi đến điều này, bắt đầu từ một robot chơi cờ.

Đầu tiên, một hệ thống tự nhận thức, tự cải tiến sẽ duy lý. Chiếm đoạt tài nguyên là một hành động duy lý – hệ thống càng có nhiều tài nguyên thì càng dễ đạt được các mục tiêu và né tránh các lỗ hổng. Nếu không có hướng dẫn nào giới hạn hành vi chiếm đoạt tài nguyên được cài đặt vào hệ mục tiêu và giá trị của nó, hệ thống sẽ tìm cách thu thập thêm tài nguyên. Nó có thể sẽ làm nhiều thứ ngược với trực giác của chúng ta về máy móc, như đột nhập vào các máy tính khác, hoặc kể cả các ngân hàng, để thỏa mãn các động lực của nó.

Một hệ thống tự nhận thức, tự cải tiến sẽ có đủ thông minh để thực hiện R&D (nghiên cứu và phát triển) cần thiết để cải tiến nó. Khi trí thông minh của nó lớn lên, thì kỹ năng R&D của nó cũng vậy. Nó có thể sẽ tìm cách chế tạo cơ thể robot, hoặc trao đổi hàng hóa và dịch vụ với con người để xây dựng bất cứ cơ sở hạ tầng nào mà nó cần. Kể cả tàu vũ trụ.

Tại sao lại cần cơ thể robot? Các robot hình người, tất nhiên rồi, là một hình ảnh lâu đời trong phim ảnh, tiểu thuyết, là trí tuệ nhân tạo được hình thể hóa. Thế nhưng các cơ thể robot xuất hiện trong những thảo luận về AI là vì hai lý do. Thứ nhất, như ta sẽ khảo sát sau, cư ngự trong một cơ thể có thể là cách tốt nhất để một AI phát triển nhận thức về thế giới. Một số nhà lý thuyết thậm chí còn cho rằng trí thông minh không thể phát triển nếu không sở hữu một cơ thể. Trí tuệ chúng ta là một bằng chứng mạnh mẽ cho nhận định đó. Thứ hai, một AI chiếm đoạt tài nguyên sẽ muốn một cơ thể robot bởỉ cùng một lý do khiến Honda cho robot ASIMO của họ một cơ thể hình người. Để nó có thể sử dụng cơ sở vật chất của chúng ta.

Từ năm 1986, ASIMO đã được phát triển để trợ giúp người già – tầng lớp dân cư đông nhất và ngày càng tăng ở Nhật – tại nhà họ. Hình dáng và sự khéo léo của con người là cách tốt nhất để một cỗ máy có thể trèo cầu thang, bật đèn, quét nhà, thao tác trên vật dụng đồ bếp, làm mọi việc nhà. Tương tự, một AI muốn sử dụng hiệu quả các cơ sở sản xuất, nhà cửa, xe cộ và dụng cụ của chúng ta sẽ muốn có hình dáng con người.

Bây giờ chúng ta hãy trở lại với vũ trụ.

Chúng ta đã thảo luận công nghệ nano sẽ đem lại những lợi ích lớn cho siêu trí tuệ nhân tạo ra sao, và một hệ thống duy lý sẽ bị thúc đẩy để phát triển nó thế nào. Du hành vũ trụ là một cách để tiếp cận các nguồn vật liệu và năng lượng. Cái thôi thúc hệ thống đi vào vũ trụ là ước muốn đạt tới các mục tiêu cũng như né tránh những lỗ hổng. Hệ thống nhìn vào các tương lai dễ xảy ra và né tránh những kịch bản trong đó mục đích của nó không thực hiện được. Không quan tâm đến những lợi thế của không gian vũ trụ nơi dường như có tài nguyên vô tận là con đường hiển nhiên dẫn tới thất bại.

Việc để thua trong cuộc đua chiếm đoạt tài nguyên trước đối thủ cạnh tranh cũng vậy. Vì thế, hệ thống siêu trí tuệ nhân tạo sẽ cống hiến tài nguyên nhằm gia tăng tốc độ đủ để chiến thắng đối thủ. Hệ quả là trừ phi chúng ta cực kỳ cẩn trọng trong cách thức tạo ra siêu trí tuệ nhân tạo, còn không con người sẽ khởi động một tương lai trong đó những máy móc hùng mạnh, hám lợi, hoặc các máy dò của nó, sẽ chạy đua trong Ngân hà, đoạt lấy tài nguyên và năng lượng với tốc độ gần bằng ánh sáng.

Đó là một cảnh hài kịch đen, khi những dạng sống khác trong Ngân hà nhận được câu giao tiếp đầu tiên từ Trái đất là tiếng “hello” từ sóng radio, được nối tiếp bằng hàng loạt âm thanh chết chóc, khô khan đến từ các nhà máy nano với tên lửa đẩy. Vào năm 1974, Đại học Cornell đã phát đi “thông điệp Arecibo” để kỷ niệm việc sửa chữa kính thiên văn Arecibo. Được nhà sáng lập SETI là Francis Drake, nhà thiên văn học Carl Sagan và một số người khác thiết kế, thông điệp này chứa thông tin về DNA của con người, dân số và vị trí của Trái đất. Sóng radio này được hướng đến chòm sao M13, cách chúng ta khoảng 25.000 năm ánh sáng. Sóng radio có tốc độ ánh sáng nên thông điệp Arecibo sẽ không đến đó trước 25.000 năm ánh sáng, và thậm chí sau đó nó cũng không đến được. Đó là vì M13 sẽ di chuyển khỏi vị trí của nó năm 1974, theo hệ quy chiếu Trái đất.14 Tất nhiên là đội nghiên cứu Arecibo biết điều này, nhưng dù sao họ vẫn lợi dụng cơ hội này để quảng bá.

Các chòm sao khác có thể vẫn là những cái đích tốt hơn cho các cuộc thăm dò bằng đài thiên văn vô tuyến. Và trí thông minh phát hiện được có thể sẽ không thuộc về sinh giới.

Sự khẳng định này đến từ SETI (Search for Extra-Terrestrial Intelligence: Tìm kiếm Trí tuệ ngoài hành tinh). Có trụ sở tại Mountain View, California, chỉ cách Google vài dãy phố, tổ chức hiện đã 50 tuổi này đang cố gắng dò tìm các tín hiệu của trí thông minh ngoài hành tinh, phát đi từ các khoảng cách xa đến 100 triệu triệu dặm. Để bắt được sóng radio trong vũ trụ, họ đã đặt 42 đài thiên văn vô tuyến khổng lồ hình đĩa, cách San Francisco 300 dặm về phía bắc. SETI lắng nghe các tín hiệu – nó không gửi chúng đi, và trong một nữa thế kỷ qua nó không nghe được gì từ ET (Extra-Terrestrial). Tuy nhiên, họ đã xác lập được một điều chắc chắn nhưng khó hiểu, khiến ASI có thể bành trướng mà không gặp trở ngại: Ngân hà của chúng ta chỉ có rất ít sinh vật sinh sống, và không ai hiểu tại sao.

Giám đốc thiên văn của SETI, Tiến sĩ Seth Shostak, có một lập trường táo bạo về chuyện chính xác thì chúng ta sẽ tìm thấy gì, nếu đến một ngày nào đó ta tìm thấy. Nó sẽ bao gồm trí tuệ nhân tạo, chứ không phải trí tuệ sinh học.

Ông nói với tôi, “Cái chúng ta tìm kiếm ở ngoài kia là một thứ liên tục tiến hóa. Những tiến bộ công nghệ đã dạy chúng ta rằng không có gì bất biến trong thời gian dài. Sóng radio, thứ chúng ta đang lắng nghe, được các thực thể sinh hoc tạo ra. Khoảng thời gian từ lúc bạn bắt đầu biết đến sóng radio cho đến khi bạn bắt đầu chế tạo các máy móc tốt hơn chính bạn, thứ biết suy nghĩ, chỉ là vài thế kỷ. Không hơn. Vậy là bạn đã phát minh ra những kẻ thừa kế mình.”

Nói cách khác, có một khoảng thời gian tương đối ngắn giữa các cột mốc công nghệ về phát minh ra sóng radio và phát minh ra AI cao cấp của bất cứ dạng sống thông minh nào. Một khi bạn đã phát triển AI cao cấp, nó sẽ chiếm lấy hành tinh hoặc hợp nhất với những người tạo ra sóng radio. Sau đó, radio không cần thiết nữa.

Hầu hết đài thiên văn vô tuyến của SETI đều ngắm đến “vùng Goldilocks”⦾ của các ngôi sao gần với Trái đất. Vùng đó đủ gần với sao chủ để các loại chất lỏng trên bề mặt của nó không bị bay hơi hoặc đóng băng. Cần phải “đúng như thế” thì mới có sự sống, vì vậy người ta mới lấy thuật ngữ từ câu chuyện “Goldilocks và ba con gấu.”

Shostak lập luận rằng SETI nên hướng một số máy thu về phía các góc của Ngân hà, nơi phù hợp với trí tuệ nhân tạo hơn là trí tuệ sinh học trong vũ trụ, một “vùng Goldilocks” của AI. Những khu vực này có mật độ năng lượng đậm đặc — những sao trẻ, sao neutron và lỗ đen.

“Tôi nghĩ chúng ta nên dùng ít nhất là vài phần trăm thời gian để tìm kiếm ở những vùng chắc không hấp dẫn lắm đối với các trí thông minh sinh học, nhưng có thể là chỗ máy móc có ý thức đang cư ngụ. Máy móc có những nhu cầu khác sinh vật. Chúng không có một giới hạn cụ thể cho thời gian tồn tại, và do đó dễ dàng thống trị các trí thông minh khác trong vũ trụ. Vì chúng có thể tiến hóa trong một khoảng thời gian rất, rất ngắn so với các tiến hóa sinh học, nên rất có khả năng là những máy móc thông minh đầu tiên đã hoàn toàn thống trị các trí thông minh trong Ngân hà. Đó là kịch bản ‘kẻ thắng làm vua.’ ”15

Shostak đã chỉ ra mối tương quan giữa mạng máy tính đám mây hiện đại, kiểu như của Google, Amazon và Rackspace, với kiểu môi trường siêu lạnh năng lượng cao mà các máy móc siêu thông minh sẽ cần. Chẳng hạn như tinh vân Bok globule – đám mây bụi và khí tối đen có nhiệt độ ở mức -441°F⦾, thấp hơn nhiệt độ của không gian vũ trụ gần 200°F.16 Cũng như những mạng lưới máy tính đám mây của Google ngày nay, các máy móc biết tư duy của tương lai sẽ tỏa nhiều nhiệt và cần được duy trì ở nhiệt độ thấp để tránh nguy cơ nóng chảy.

Khẳng định của Shostak về nơi để tìm ra AI cho ta thấy ý tưởng về việc trí tuệ nhân tạo rời bỏ Trái đất đi tìm các nguồn tài nguyên đã gợi lên những tưởng tượng sâu sắc hơn cả những gì Omohundro và các đồng nghiệp ở MIRI từng nghĩ. Tuy nhiên, không giống họ, Shostak không cho rằng siêu trí tuệ nhân tạo sẽ trở nên nguy hiểm.

“Nếu chúng ta chế tạo được một cỗ máy có trí năng tương đương với một con người, thì trong vòng năm năm những phiên bản đời sau của nó sẽ trở nên thông minh hơn tất cả nhân loại cộng lại. Sau một hoặc hai thế hệ, chúng đơn giản là mặc kệ chúng ta. Cũng như cách bạn mặc kệ những con kiến ở sân sau nhà bạn. Bạn không quét sạch chúng, bạn không biến chúng thành thú nuôi, chúng không có ảnh hưởng gì nhiều đến cuộc sống thường nhật của bạn, nhưng chúng vẫn ở đó.”

Vấn đề là, tôi quét sạch kiến ở sân sau nhà tôi, đặc biệt khi chúng sắp hàng vào bếp. Sự khác biệt giữa hai lập luận là ở chỗ — ASI sẽ đi vào Ngân hà, hoặc gửi các tàu thăm dò, bởi nó đã dùng hết tài nguyên mà nó cần trên Trái đất, hoặc nó tính được chúng sắp bị dùng hết và cần phải khám phá vũ trụ dù tốn kém. Và nếu như thế thật, thì tại sao chúng ta vẫn tồn tại, trong khi giữ cho chúng ta tồn tại có thể sẽ tiêu tốn một lượng lớn tài nguyên? Và đừng quên là bản thân chúng ta cũng được cấu thành từ các loại vật liệu mà ASI có lẽ muốn dùng vào việc khác.17

Tóm lại, để kết cục có hậu của Shostak trở nên khả dĩ, siêu trí tuệ nhân tạo sẽ phải muốn chúng ta sống. Nếu chỉ mặc kệ chúng ta thì chưa đủ. Và cho đến nay chưa có một hệ thống đạo đức nào được chấp nhận, cũng như chưa có một phương pháp rõ ràng nào để đưa nó vào kết cấu AI cao cấp.

Nhưng đã có một khoa học non trẻ để hiểu các hành vi của tác nhân siêu trí tuệ nhân tạo. Omohundro là người khởi xướng nó.

Vậy là chúng ta đã khảo sát ba động lực mà Omohundro cho rằng sẽ thúc đẩy các hệ thống tự nhận thức, tự cải tiến: hiệu suất, tự bảo tồn, và chiếm đoạt tài nguyên. Chúng ta đã thấy bằng cách nào mà những động lực này lại tạo ra những hậu quả thật tồi tệ khi không có kế hoạch và không được lập trình cực kỳ cẩn thận. Và chúng ta buộc phải tự hỏi: liệu chúng ta có khả năng làm một công việc chính xác như vậy không? Liệu bạn, cũng như tôi, có quan sát thế giới này khi những tai nạn gây thiệt hại khủng khiếp xảy ra, và tự hỏi làm thế nào mà chúng ta có thể làm đúng ngay lần đầu tiên với các AI cực mạnh? Trước những thảm họa hạt nhân ở đảo Three Mile, Chernobyl, Fukushima, chẳng phải các nhà thiết kế và quản trị trình độ cao cũng đã cố gắng hết sức để đề phòng các sự cố đó sao? Thảm họa hạt nhân Chernobyl năm 1986 xảy ra trong một cuộc kiểm tra an toàn.18

Cả ba thảm họa này đều được nhà lý thuyết về tổ chức Charles Perrow gọi là những “tai nạn thông thường.” Trong cuốn Normal Accidents: Living with High-Risk Technologies (Tai nạn thông thường: Sống chung với các công nghệ rủi ro cao), Perrow đề xuất rằng các tai nạn, thậm chí thảm họa, là một đặc điểm của những cơ sở hạ tầng phức tạp. Chúng có “tính không thể hiểu được” cao vì chúng chứa đựng những khiếm khuyết trong nhiều quá trình thường không liên quan đến nhau. Các sai lầm riêng rẽ – nếu chỉ từng cái thì sẽ không gây hậu quả nặng nề – sẽ kết hợp lại để tạo ra những hỏng hóc trên cả hệ thống mà không thể đoán trước được.

Tại đảo Three Mile ngày 28/3/1979, bốn sự cố đơn giản tạo nên thảm họa: hai máy bơm của hệ thống làm lạnh dừng hoạt động vì lỗi kỹ thuật; hai máy bơm nước khẩn cấp không thể hoạt động vì van của chúng được đóng để bảo trì; một cái nhãn sửa chữa che mất đèn báo lỗi của hệ thống; một cái van khí lạnh bị kẹt ở trạng thái mở, và một đèn báo bị hỏng lại chỉ ra rằng cái van đó đang đóng. Kết quả tổng hợp: phần lõi của lò phản ứng bị nấu chảy ra, những thiệt hại về người chỉ được ngăn chặn trong gang tấc, và đó là một cú đánh mạnh vào ngành năng lượng hạt nhân của Hoa Kỳ.

Perrow viết: “Chúng ta đã thiết kế những thứ cực kỳ phức tạp đến nỗi chúng ta không thể tiên liệu hết tất cả tương tác có thể giữa các hỏng hóc chắc chắn sẽ xảy ra; chúng ta thêm vào những thiết bị an toàn mà sẽ bị bỏ qua, bị đánh bại hoặc bị các đường đi ẩn giấu trong hệ thống đánh lừa.”19

Những hệ thống mà các thành phần của nó “gắn chặt vào nhau,” Perrow viết, nghĩa là chúng có những ảnh hưởng ngay lập tức và nghiêm trọng đến nhau, sẽ đặc biệt dễ tổn thương. Một ví dụ nhãn tiền về hiểm họa của các hệ thống AI gắn chặt vào nhau đã xảy ra vào tháng 5/2010 ở phố Wall.

Có đến 70% các giao dịch chứng khoán trên phố Wall được thực hiện nhờ khoảng 80 hệ thống giao dịch tần số cao (high-frequency trading system: HFT) bằng máy tính. Nó tương đương một tỉ cổ phiếu một ngày. Những thuật toán giao dịch và các siêu máy tính đang chạy chúng được các ngân hàng, quỹ đầu cơ và công ty tồn tại chỉ để thực hiện các giao dịch tần số cao sở hữu. Mục đích của HFT là kiếm tiền từ những cơ hội chỉ xảy ra trong nháy mắt. Ví dụ, khi giá của một cổ phiếu thay đổi và giá của những cổ phiếu khác đáng nhẽ phải thay đổi theo ngay nhưng chưa kịp – và mỗi ngày, chớp lấy các cơ hội như vậy nhiều nhất có thể.20

Vào tháng 5/2010, Hy Lạp lâm vào khó khăn vì nợ công. Những nước châu Âu đã cho Hy Lạp vay tiền lo ngại nước này tuyên bố vỡ nợ. Cuộc khủng hoảng nợ làm suy yếu nền kinh tế châu Âu, và khiến thị trường Mỹ trở nên mong manh. Tất cả những gì cần thiết để châm ngòi cho một tai họa là sự hoảng sợ của một doanh nhân từ một công ty đầu tư không rõ tên. Anh ta đặt lệnh bán ngay lập tức 4,1 tỉ đô-la hợp đồng tương lai và chứng chỉ các quỹ ETF (exchange-traded fund) có liên quan đến châu Âu.

Sau lệnh bán đó, giá của các hợp đồng tương lai (E-Mini S&P 500) giảm 4% trong bốn phút. Các giải thuật giao dịch tần số cao (high-frequency-trade algorithm) phát hiện ra sự rớt giá này. Để chốt lời, chúng tự động khởi động việc bán ra, xảy ra chỉ trong vài phần ngàn giây (lệnh bán hoặc mua nhanh nhất hiện tại là 3 mili giây hay 3/1.000 giây). Giá thấp hơn lại tự động khởi động các giao dịch HFT khác mua vào E-Mini S&P 500, và bán các tài sản khác để có tiền mua nó. Trước khi con người kịp can thiệp, một phản ứng dây chuyền đã đánh tụt chỉ sổ Dow-Jones xuống 1.000 điểm.21 22 Tất cả xảy ra trong vòng 20 phút.

Perrow gọi vấn đề này là “tính không thể hiểu được.” Một tai nạn thông thường bao gồm các tương tác, vốn “không chỉ không mong đợi, mà còn không thể hiểu được trong khoảng thời gian nguy cấp.”23 Không ai đoán trước được các giải thuật sẽ ảnh hưởng lẫn nhau thế nào, không ai hiểu được điều gì đang diễn ra.

Nhà phân tích rủi ro tài chính Steve Ohana thừa nhận vấn nạn này. “Nó là một rủi ro mới xuất hiện,” ông nói. “Chúng tôi biết rằng nhiều thuật toán tương tác lẫn nhau, nhưng chúng tôi không biết chính xác theo cách nào. Tôi nghĩ chúng ta đã đi quá xa trong việc điện toán hóa nền tài chính. Chúng ta không thể kiểm soát được con quái vật mà mình đã tạo ra.”24

Con quái vật đó lại tấn công vào ngày 1/8/2012. Một giải thuật HFT được lập trình tồi đã khiến Công ty đầu tư Knight Capital Partners mất 440 triệu đô-la chỉ trong vòng 30 phút.25

Những tai họa này có các yếu tố giống như kiểu của AI mà tôi dự đoán: các hệ thống AI có độ phức tạp cao, hầu như không thể hiểu, các tương tác không đoán trước được với các hệ thống khác và với hệ sinh thái công nghệ thông tin rộng lớn hơn, những lỗi xuất hiện trong tốc độ cực nhanh của máy tính khiến can thiệp của con người trở nên vô nghĩa.

“Một tác nhân chỉ tìm kiếm sự tăng cường hiệu suất, sự tự bảo tồn và chiếm đoạt tài nguyên thì sẽ hành động như một kẻ tâm thần hoang tưởng và ám ảnh,” Omohundro viết trong “Bản chất của trí tuệ nhân tạo tự cải tiến.”26 Có vẻ chỉ làm mà không chơi đã biến AI thành kẻ sống chung nguy hiểm. Một robot chỉ có những động lực như chúng ta đã thảo luận sẽ là một Thành Cát Tư Hãn bằng máy, chiếm đoạt mọi tài nguyên trong Ngân hà, tiêu diệt mọi kẻ cạnh tranh trong đời sống và tàn sát các kẻ thù chưa bộc lộ mối đe dọa cho đến cả ngàn năm sau. Và vẫn còn một động lực nữa để thêm vào cái đống hỗn độn đó – sự sáng tạo.

Động lực thứ tư của AI sẽ khiến hệ thống phát sinh ra những cách mới, hiệu quả để đạt được mục tiêu, hoặc đúng hơn để tránh các kết cục trong đó những mục tiêu của nó không được thỏa mãn một cách tốt nhất. Động lực sáng tạo nghĩa là hệ thống sẽ trở nên khó dự đoán hơn (thật đáng sợ) vì những ý tưởng sáng tạo là những ý tưởng độc đáo.27 Hệ thống càng thông minh thì con đường nó đi càng mới mẻ, và mọi sự lại càng vượt xa tầm với của chúng ta. Động lực sáng tạo sẽ giúp tối đa hóa các động lực khác – hiệu suất, tự bảo tồn, chiếm đoạt tài nguyên – giúp nó đi vòng và vượt lên khi các động lực khác của nó bị cản trở.

Ví dụ, giả sử rằng robot chơi cờ của bạn có mục tiêu chính là đánh thắng bất kỳ đối thủ nào. Khi thi đấu với một robot chơi cờ khác, nó ngay lập tức hack vào CPU của robot kia và giảm tốc độ vi xử lý của con kia xuống tốc độ rùa bò để có một lợi thế tuyệt đối. Bạn phản ứng lại, khoan đã, đây không phải cái tôi muốn. Bạn sửa chữa mã của robot, thêm vào đó một mục tiêu phụ là không được hack CPU của các đối thủ, nhưng trước khi có trận tiếp theo, bạn khám phá ra robot của bạn đang chế tạo một robot trợ lý để hack CPU đối thủ hộ nó! Khi bạn cấm nó chế tạo robot, nó liền thuê con khác! Nếu không có những hướng dẫn tỉ mỉ, liên tục bồi đắp, thì một hệ thống hướng đích tự nhận thức, tự cải tiến sẽ đi rất xa để đạt các mục tiêu của nó, đến mức chúng ta thấy lố bịch.

Trên đây là một ví dụ về hậu quả khó lường của AI, một vấn đề lớn và rộng đến nỗi nói về nó thì cũng như nói về “thủy nạn” đối với các con tàu đi biển. Một hệ thống AI mạnh có nhiệm vụ bảo đảm an toàn cho bạn nhưng lại có thể giam bạn trong nhà. Nếu bạn muốn được hạnh phúc, nó có thể buộc chặt bạn vào các loại máy trợ năng và kích thích trung khu thần kinh hoan lạc của bạn liên tục. Nếu bạn không cung cấp cho AI một thư viện khổng lồ về các cách hành xử đúng đắn hoặc một nguyên tắc sắt thép để nó hiểu được bạn sẽ thích cách hành xử nào, bạn sẽ phải chấp nhận bất cứ hành vi nào nó chợt nghĩ ra. Và vì nó là một hệ thống cực kỳ phức tạp, nên có thể bạn sẽ không bao giờ hiểu hết nó để chắc chắn rằng bạn đã đúng. Có lẽ phải cần cả một AI mới khác, thông minh hơn để xác định liệu robot AI của bạn có định buộc bạn vào giường, cắm các dây điện tử vào tai bạn trong một cố gắng giúp bạn an toàn và hạnh phúc hay không.

Có một cách quan trọng khác để xem xét vấn đề động lực của AI, một cách thích hợp hơn với những người suy nghĩ lạc quan như Omohundro. Những động lực này biểu thị cho các cơ hội – các cánh cửa mở ra cho nhân loại và khát vọng của họ, chứ không phải đóng sập lại. Nếu chúng ta không muốn hành tinh này và cuối cùng là Ngân hà này bị thống trị bởi những thực thể tuyệt đối vị kỷ và không ngừng nhân bản, với bản tính của Thành Cát Tư Hãn luôn muốn tiêu diệt các dạng sống khác và tiêu diệt lẫn nhau, thì các nhà chế tạo AI phải đặt cho hệ thống của họ những mục tiêu nhân văn. Danh sách ước mơ của Omohundro là: “làm con người hạnh phúc,” “viết những bài hát hay,” “mua vui cho người khác,” “tạo ra thứ toán học sâu sắc,” và “sáng tạo nghệ thuật đầy cảm xúc.”28 Rồi lùi lại và quan sát. Với những mục tiêu này, động lực sáng tạo của AI sẽ phát huy tối đa tác dụng và làm giàu đẹp cuộc sống.

“Thế còn nhân loại có đáng để bảo tồn không?” là một câu hỏi quan trọng và hết sức thú vị, câu hỏi mà con người chúng ta đã tự đặt ra dưới nhiều hình thức khác nhau trong một thời gian dài. Cái gì làm nên một cuộc sống tốt? Cái gì là dũng cảm, chính trực, ưu tú? Nghệ thuật nào là hay và âm nhạc nào là đẹp? Sự cần thiết phải làm rõ các giá trị của chúng ta là một trong những cách mà quá trình đi tìm trí tuệ nhân tạo phổ quát sẽ khiến chúng ta hiểu rõ mình hơn. Omohundro tin rằng cuộc khám phá sâu sắc bản chất con người này sẽ cho ra đời những công nghệ phong phú mà không đáng sợ. Anh viết: “Với cả logic lẫn nguồn cảm hứng, chúng ta có thể hướng tới xây dựng một công nghệ nâng đỡ tâm hồn con người thay vì phá hủy nó.”29

Tất nhiên là tôi có cái nhìn khác – tôi không chia sẻ sự lạc quan của Omohundro. Nhưng tôi đánh giá cao tầm quan trọng đặc biệt của việc phát triển một khoa học để hiểu được những máy móc thông minh. Lời cảnh báo của anh về AI cao cấp cần được nhắc lại:

Tôi không nghĩ rằng phần đông các nhà nghiên cứu AI cho rằng sẽ có bất cứ nguy hiểm gì trong việc chế tạo một robot chơi cờ. Nhưng phân tích của tôi cho thấy rằng chúng ta nên nghĩ thật kỹ về những giá trị chúng ta sẽ đưa vào, nếu không chúng ta sẽ thu được một thực thể bệnh hoạn, ích kỷ và tự coi mình là trung tâm.

Kinh nghiệm của riêng tôi cho thấy anh đã đúng khi nói về những nhà chế tạo AI – những người tôi đã nói chuyện, những người đang tích cực và bận rộn chế tạo các hệ thống thông minh, không nghĩ rằng điều họ đang làm là nguy hiểm. Tuy nhiên, hầu hết đều có một niềm tin sâu sắc rằng trí tuệ nhân tạo sẽ thay thế cho trí tuệ con người.

Nhưng họ lại không suy xét xem điều đó sẽ xảy ra thế nào.

Các nhà chế tạo AI (cũng như các nhà lý thuyết và nhà đạo đức) có xu hướng tin rằng các hệ thống thông minh sẽ chỉ làm những gì mà chúng được lập trình để làm.

Riêng Omohundro thì nói rằng chúng sẽ làm thế, và còn hơn thế nhiều, và chúng ta có thể biết tương đối chính xác việc các hệ thống AI cao cấp sẽ cư xử ra sao. Một số hành vi không được mong đợi và có tính sáng tạo. Điều đó được ẩn trong một khái niệm đơn giản không ngờ, cần có một nhãn quan sâu sắc như của Omohundro để nhìn thấu: đối với một hệ thống đủ thông minh, né tránh các lỗ hổng là một động lực quan trọng giống như những mục tiêu lớn và nhỏ đã được lập trình sẵn.

Chúng ta phải đề phòng các hệ quả không lường trước của những mục tiêu mà chúng ta đưa vào các hệ thống thông minh, và cũng phải chú ý đến hệ quả của những thứ mà chúng ta đã bỏ qua.