โดย
อนันตภาค [หนึ่งในนามปากกาที่ผมใช้ในการเขียนเรื่องสั้น]
แม้ว่านทีจะยังมีความไม่มั่นใจเกี่ยวกับความถูกต้องในแง่จริยธรรมของการทดลองในขั้นต่อไป เขาก็ยังคงช่วยเชษฐ์เตรียมการทดลองหลังจากเขากลับจากการลาพักผ่อน การทดลองในขั้นนี้จะเป็นการแสดงให้เห็นอย่างไร้ข้อสงสัยว่าเราจะสามารถสร้างหุ่นยนต์ที่มีพฤติกรรมเลียนแบบมนุษย์ได้หรือไม่
ในการทดลองขั้นสุดท้ายนี้ เชษฐ์สั่งให้นทีเริ่มการทำลายวงจรการทำงานของธีตาทีละระบบและคอยสังเกตพฤติกรรมของมาตาว่ามันจะมีปฏิกิริยาโต้ตอบอย่างไรบ้าง
สิ่งที่มาตาแสดงออกมาทำให้นทีต้องต่อว่าตัวเองที่ยอมตกกระไดพลอยโจนร่วมสังฆกรรมไปกับการทดลองในครั้งนี้
ทุกครั้งที่นทีทำลายส่วนใดส่วนหนึ่งในระบบการทำงานของธีตา มาตาจะพยายามทำทุกวิถีทางเท่าที่วงจร AI ของมันจะอนุญาตให้มันทำได้ในการหาทางแก้ไขหรือบรรเทาอาการ “ป่วย” ของธีตา มันพยายามติดต่อสื่อสารกับนทีซึ่งปกติจะคอยควบคุมการทำงานของหุ่นยนต์ทั้งสองผ่านทางหน้าจอมอนิเตอร์ที่จะมีการส่งข้อความโต้ตอบกันไม่ว่าจะระหว่างหุ่นยนต์ทั้งสองหรือระหว่างหุ่นยนต์กับผู้ควบคุมของมัน
ในสายตาของนที ข้อความต่างๆที่มาตาแสดงออกมาทางหน้าจอจะเป็นอะไรไม่ได้นอกจากความเป็นห่วงเป็นใยที่แม่มีต่อลูกของมัน ยิ่งเมื่อนทีเริ่มทำลายระบบที่มีความสำคัญมากขึ้นๆกับการทำงานโดยรวมของธีตา มาตาก็เริ่มแสดงอาการเครียดมากขึ้นทุกขณะ มันพยายามที่จะปรับระบบของตัวเองเพื่อหวังให้ปฏิสัมพันธ์ทาง AI ระหว่างมันทั้งสองจะช่วยลดความ “ทนทุกข์ทรมาน” ของธีตาให้จงได้
การทำลายระบบของธีตาเริ่มเข้าสู่ช่วงสุดท้ายซึ่งจะเป็นการทำลายระบบวิกฤตที่จะมีผลให้ระบบที่เหลือทั้งหมดของธีตาต้องหยุดลง ถ้าเปรียบเทียบกับมนุษย์เรา การกระทำเช่นนี้ก็เท่ากับเป็นการ “ฆาตกรรม” ธีตานั่นเอง แม้ว่านทีจะมีความรับผิดชอบในฐานะผู้ช่วยหลักในการทดลอง แต่เขาไม่ต้องการที่จะเป็นคนปิดสวิตช์ในขั้นตอนสุดท้ายนี้ เขารีบไปพบกับเชษฐ์ทันที
“พี่ครับ ผมไม่ต้องการที่จะเป็นคนทำลายระบบวิกฤตสุดท้ายของธีตา ผมทำไม่ได้ครับ ถ้าพี่ยืนยันว่าจะทำการทดลองนี้ต่อไป ผมอยากให้พี่เป็นคนทำการทดลองด้วยตัวเอง ผมจะช่วยเฉพาะการวิเคราะห์ผลในส่วนนี้เท่านั้น ผมทำไม่ได้จริงๆครับพี่ ผมขอโทษด้วย”
“คุณไม่เข้าใจหรือว่าการทดลองขั้นสุดท้ายนี้เป็นหัวใจของการทดลองทั้งหมด ถ้าเราไม่เดินหน้าต่อไป เราจะไม่มีทางรู้เลยว่าเจ้าหุ่นยนต์ที่เราสร้างขึ้นมาจะเลียนพฤติกรรมมนุษย์ได้จริงหรือไม่ เอาล่ะ แต่พี่เข้าใจความรู้สึกของคุณ พี่จะทำเองก็แล้วกัน”
นทีสะดุ้งตื่นขึ้นเมื่อเจ้าหน้าที่ รปภ. ห้องทดลองมาปลุก ทางมหาวิทยาลัยได้จัดห้องพักไว้ใกล้ๆกับห้องทดลองเพื่อให้พนักงานหรือนักศึกษาได้ใช้พักผ่อนในคืนที่ต้องอยู่ค้าง
“คุณนที เกิดเหตุฉุกเฉินในห้องทดลองครับ พวกเขาให้ผมมาตามคุณครับ”
นทีรีบลุกขึ้นและเดินตาม รปภ. ไปทันที
ทันทีที่เขาเห็นเหตุการณ์ที่เกิดขึ้นในห้องทดลองผ่านทางกระจกสังเกตการณ์ นทีก็ต้องตกใจกับภาพที่เห็นอยู่เบื้องหน้า
เขาเห็นมาตานั่งฟุบหน้าอยู่กับเตียงที่ธีตานอนอยู่ มีสายระโยงระยางจากส่วนหัวและลำตัวของธีตา เขาเข้าไปเช็คดูมาตาก็พบว่าระบบต่างๆของมันได้หยุดทำงานไปหมดแล้ว และความเชื่อมโยงอันเป็นผลจากระบบปฏิสัมพันธ์ของ AI ระหว่างหุ่นยนต์ทั้งสองทำให้ระบบทั้งหมดของธีตาก็หยุดทำงานลงเช่นกัน
เพื่อตรวจสอบเหตุการณ์ย้อนหลังว่าเกิดอะไรขึ้น นทีเปิดดูปูมภาพวีดิโอที่บันทึกภาพเหตุการณ์ต่างๆที่เกิดขึ้นผ่านทาง “ดวงตา” ของมาตา
ภาพแรกที่ปรากฏขึ้นเป็นภาพในมุมมองบุคคลที่หนึ่งจากสายตาของมาตาที่กำลังเดินไปยังห้องพักของเชษฐ์ซึ่งอยู่ไม่ห่างจากห้องพักของนทีนัก มาตาเดินไปหยุดอยู่หน้าร่างของเชษฐ์ที่กำลังหลับสนิทอยู่บนเตียง ที่ขอบของภาพนทีสังเกตเห็นเงาวับของโลหะในมือของมาตา
สิ่งที่อยู่ในมือของมาตาคือมีดเล่มหนึ่ง
มาตาเงื้อมมือขึ้นเหมือนกำลังจะจ้วงแทงไปยังร่างหลับใหลของเชษฐ์ แต่มีอะไรบางอย่างทำให้มันเปลี่ยนใจและลดมือที่เงื้อถือมีดอยู่ลงเพียงเสี้ยววินาทีก่อนที่มีดจะพุ่งเข้าเสียบร่างของเชษฐ์ มันหันหลังเดินออกจากห้องของเชษฐ์ตรงมายังห้องทดลองที่มีร่างของธีตานอนอยู่บนเตียงตรงกลางห้อง มันเอื้อมมือจะไปดึงสายไฟที่ต่อเชื่อมระบบสำคัญต่างๆของธีตาออกจากปลั๊ก แต่แล้วก็เหมือนมีอะไรบางอย่างมาทำให้มันเปลี่ยนใจอีกครั้งหนึ่ง จากนั้นมันก็นั่งฟุบหน้าลงกับร่างของธีตาและทำในสิ่งที่นทีไม่เคยคาดคิดมาก่อน
มันสั่งให้ AI ของมันค่อยๆปิดการทำงานของทุกระบบในตัวมันลง
ระบบสุดท้ายที่มันสั่งให้ปิดคือระบบวงจรที่จำลองความสัมพันธ์ระหว่างแม่ลูกระหว่างมันกับธีตา
เชษฐ์เงยหน้าขึ้นจากจอมอนิเตอร์หลังจากได้ดูบันทึกภาพเหตุการณ์ที่เกิดขึ้นทั้งหมด
“พี่คิดว่ายังไงครับ” นทีเอ่ยถามขึ้น
“ก็บอกไม่ถูก ในใจหนึ่ง พี่ก็เสียใจที่การทดลองของเราต้องมาจบลงแบบนี้ มันเป็นเรื่องน่าเศร้าที่เราไม่ได้คาดคิดมาก่อน แต่มองอีกมุมหนึ่ง เราน่าจะดีใจและภูมิใจที่สามารถสร้างหุ่นยนต์เลียนแบบพฤติกรรมมนุษย์ได้จริงๆ แถมยังเป็นพฤติกรรมที่ลึกซึ้งที่สุดอย่างหนึ่งของมนุษย์เราซะด้วย”
“ผมมาลองคิดหาคำตอบว่าทำไมมาตาจึงเลือกทางออกด้วยวิธีนี้ หากเราใช้ตรรกะของกฎ 3 ข้อของหุ่นยนต์ ก็พอจะสรุปได้ว่ามันเลือกทำอัตวินิบาตกรรมเพราะต้องการจะปกป้องลูกของมัน ผมเชื่อว่าจากข้อมูลต่างๆที่มันได้รับจากผมและแหล่งอื่นๆภายในห้องทดลอง บวกกับ AI ระดับสูงของมันซึ่งสามารถทำความเข้าใจกับตรรกะที่มีความสลับซับซ้อน ทำให้มันสรุปได้ด้วยตัวเองว่าพี่คือต้นเหตุของความทนทุกข์ทรมานของธีตาเพราะพี่เป็นคนที่ออกคำสั่งให้เราดำเนินการทดลองในขั้นสุดท้าย แต่การแก้ปัญหาที่ต้นเหตุคือฆ่าพี่เสียอย่างที่มันพยายามจะทำย่อมขัดต่อกฎข้อที่หนึ่งที่ห้ามหุ่นยนต์ทำร้ายมนุษย์ นั่นคือสาเหตุที่มันต้องล้มเลิกการกระทำนั้น แต่ถ้ามันเลือกที่จะ “ปิด” การทำงานทั้งหมดของธีตาลง มันจะขัดกับกฎข้อที่สองที่กำหนดให้มันต้องทำตามคำสั่งของมนุษย์ ซึ่งเราโปรแกรม AI ของมันให้ต้องปกป้องและดูแลระบบของธีตาให้อยู่ในสภาพสมบูรณ์อยู่ตลอดเวลาเช่นเดียวกับที่แม่โดยทั่วไปพึงกระทำกับลูกของตัวเอง และโดยกฎข้อที่สามแล้ว มันต้องปกป้องคุ้มครองตัวเองตราบที่การกระทำนั้นไม่ไปขัดกับกฎข้อที่หนึ่งและสอง
“นั่นหมายความว่า วิธีเดียวที่มันจะช่วยลูกของมันให้พ้นจากความทนทุกข์ทรมานจากการ “ตาย” อย่างช้าๆตามการทดลองของเราและหลีกเลี่ยงการขัดต่อกฎ 3 ข้อของหุ่นยนต์ ก็คือ มันจำเป็นต้องทำลายตัวเองเพื่อให้ระบบ AI ของมันสิ้นสุดลง เห็นได้ชัดว่าการทำเช่นนี้ไม่ขัดกับกฎข้อที่หนึ่งเพราะมันไม่ได้ทำอะไรที่เป็นอันตรายกับมนุษย์ นอกจากนี้ มันก็ไม่ขัดกับกฎข้อที่สองด้วยเช่นกันเพราะมันไม่ได้ขัดคำสั่งมนุษย์ที่ให้มันดูแลธีตาเหมือนแม่ดูแลลูก ส่วนกฎข้อที่สาม ดูเผินๆแล้วอาจจะดูเหมือนขัด แต่ถ้าอธิบายด้วยตรรกะของกฎ 3 ข้อในแง่ของแรงขับเคลื่อนหรือน้ำหนักของกฎแต่ละข้อ กฎข้อแรกจะมีน้ำหนักมากที่สุด กฎข้อที่สองมีน้ำหนักรองลงมา กฎข้อที่สามมีน้ำหนักน้อยที่สุด การทำตามคำสั่งของมนุษย์ตามกฎข้อที่สองมีน้ำหนักมากกว่าการปกป้องตัวเองของมาตา ดังนั้น การปกป้องธีตาด้วยการปิดระบบตัวเองของมาตาแม้จะดูเหมือนว่าขัดต่อกฎข้อที่สาม แต่เนื่องจากน้ำหนักของกฎข้อที่สองที่บังคับให้หุ่นยนต์ต้องทำตามคำสั่งของมนุษย์มีน้ำหนักเหนือกฎข้อที่สามที่ให้หุ่นยนต์ต้องป้องกันตัวเอง จึงถือว่าการกระทำของมาตาไม่ขัดกับกฎทั้ง 3 ข้อ มันช่างน่ามหัศจรรย์จริงๆ
“แน่ล่ะว่าพี่คงจะดีใจที่การทดลองของพี่ได้ผลมากกว่าที่คาดไว้ แล้วมันยังแสดงให้เห็นด้วยว่าสัญชาตญาณของความเป็นแม่เอาชนะได้แม้แต่กฎเหล็ก 3 ข้อของหุ่นยนต์ แต่ผมคิดว่าผมไม่อยากจะเป็นส่วนหนึ่งของการทดลองนี้อีกต่อไปแล้วครับ ผมคงจะใจอ่อนเกินไปสำหรับการทดลองทำนองนี้”
“พี่ก็เสียใจที่มันต้องจบลงแบบนี้ แต่เราต้องมองข้ามไปถึงประโยชน์ที่เราจะได้รับจากผลการทดลองในครั้งนี้”
“สำหรับผมแล้ว มันก็ยังโหดร้ายเกินไปอยู่ดี”
“ไม่เป็นไร พี่เข้าใจ เพียงแต่เสียดายที่จะไม่อยู่ช่วยกัน...”
ไม่ทันที่เชษฐ์จะพูดจบ นทีก็หันหลังเดินออกจากห้องด้วยความรู้สึกลึกๆในใจว่าเขาได้มีส่วนในการสร้างสิ่งน่าสะพรึงกลัวขึ้นมาเมื่อมนุษย์ต้องการจะทำตัวเป็นผู้กำหนดชะตากรรมให้กับผู้อื่น
*************************
ธีตา [เรื่องสั้นไซไฟที่ท้าทายกฎ 3 ข้อของหุ่นยนต์] หน้าที่ 2 จาก 2
อนันตภาค [หนึ่งในนามปากกาที่ผมใช้ในการเขียนเรื่องสั้น]
แม้ว่านทีจะยังมีความไม่มั่นใจเกี่ยวกับความถูกต้องในแง่จริยธรรมของการทดลองในขั้นต่อไป เขาก็ยังคงช่วยเชษฐ์เตรียมการทดลองหลังจากเขากลับจากการลาพักผ่อน การทดลองในขั้นนี้จะเป็นการแสดงให้เห็นอย่างไร้ข้อสงสัยว่าเราจะสามารถสร้างหุ่นยนต์ที่มีพฤติกรรมเลียนแบบมนุษย์ได้หรือไม่
ในการทดลองขั้นสุดท้ายนี้ เชษฐ์สั่งให้นทีเริ่มการทำลายวงจรการทำงานของธีตาทีละระบบและคอยสังเกตพฤติกรรมของมาตาว่ามันจะมีปฏิกิริยาโต้ตอบอย่างไรบ้าง
สิ่งที่มาตาแสดงออกมาทำให้นทีต้องต่อว่าตัวเองที่ยอมตกกระไดพลอยโจนร่วมสังฆกรรมไปกับการทดลองในครั้งนี้
ทุกครั้งที่นทีทำลายส่วนใดส่วนหนึ่งในระบบการทำงานของธีตา มาตาจะพยายามทำทุกวิถีทางเท่าที่วงจร AI ของมันจะอนุญาตให้มันทำได้ในการหาทางแก้ไขหรือบรรเทาอาการ “ป่วย” ของธีตา มันพยายามติดต่อสื่อสารกับนทีซึ่งปกติจะคอยควบคุมการทำงานของหุ่นยนต์ทั้งสองผ่านทางหน้าจอมอนิเตอร์ที่จะมีการส่งข้อความโต้ตอบกันไม่ว่าจะระหว่างหุ่นยนต์ทั้งสองหรือระหว่างหุ่นยนต์กับผู้ควบคุมของมัน
ในสายตาของนที ข้อความต่างๆที่มาตาแสดงออกมาทางหน้าจอจะเป็นอะไรไม่ได้นอกจากความเป็นห่วงเป็นใยที่แม่มีต่อลูกของมัน ยิ่งเมื่อนทีเริ่มทำลายระบบที่มีความสำคัญมากขึ้นๆกับการทำงานโดยรวมของธีตา มาตาก็เริ่มแสดงอาการเครียดมากขึ้นทุกขณะ มันพยายามที่จะปรับระบบของตัวเองเพื่อหวังให้ปฏิสัมพันธ์ทาง AI ระหว่างมันทั้งสองจะช่วยลดความ “ทนทุกข์ทรมาน” ของธีตาให้จงได้
การทำลายระบบของธีตาเริ่มเข้าสู่ช่วงสุดท้ายซึ่งจะเป็นการทำลายระบบวิกฤตที่จะมีผลให้ระบบที่เหลือทั้งหมดของธีตาต้องหยุดลง ถ้าเปรียบเทียบกับมนุษย์เรา การกระทำเช่นนี้ก็เท่ากับเป็นการ “ฆาตกรรม” ธีตานั่นเอง แม้ว่านทีจะมีความรับผิดชอบในฐานะผู้ช่วยหลักในการทดลอง แต่เขาไม่ต้องการที่จะเป็นคนปิดสวิตช์ในขั้นตอนสุดท้ายนี้ เขารีบไปพบกับเชษฐ์ทันที
“พี่ครับ ผมไม่ต้องการที่จะเป็นคนทำลายระบบวิกฤตสุดท้ายของธีตา ผมทำไม่ได้ครับ ถ้าพี่ยืนยันว่าจะทำการทดลองนี้ต่อไป ผมอยากให้พี่เป็นคนทำการทดลองด้วยตัวเอง ผมจะช่วยเฉพาะการวิเคราะห์ผลในส่วนนี้เท่านั้น ผมทำไม่ได้จริงๆครับพี่ ผมขอโทษด้วย”
“คุณไม่เข้าใจหรือว่าการทดลองขั้นสุดท้ายนี้เป็นหัวใจของการทดลองทั้งหมด ถ้าเราไม่เดินหน้าต่อไป เราจะไม่มีทางรู้เลยว่าเจ้าหุ่นยนต์ที่เราสร้างขึ้นมาจะเลียนพฤติกรรมมนุษย์ได้จริงหรือไม่ เอาล่ะ แต่พี่เข้าใจความรู้สึกของคุณ พี่จะทำเองก็แล้วกัน”
นทีสะดุ้งตื่นขึ้นเมื่อเจ้าหน้าที่ รปภ. ห้องทดลองมาปลุก ทางมหาวิทยาลัยได้จัดห้องพักไว้ใกล้ๆกับห้องทดลองเพื่อให้พนักงานหรือนักศึกษาได้ใช้พักผ่อนในคืนที่ต้องอยู่ค้าง
“คุณนที เกิดเหตุฉุกเฉินในห้องทดลองครับ พวกเขาให้ผมมาตามคุณครับ”
นทีรีบลุกขึ้นและเดินตาม รปภ. ไปทันที
ทันทีที่เขาเห็นเหตุการณ์ที่เกิดขึ้นในห้องทดลองผ่านทางกระจกสังเกตการณ์ นทีก็ต้องตกใจกับภาพที่เห็นอยู่เบื้องหน้า
เขาเห็นมาตานั่งฟุบหน้าอยู่กับเตียงที่ธีตานอนอยู่ มีสายระโยงระยางจากส่วนหัวและลำตัวของธีตา เขาเข้าไปเช็คดูมาตาก็พบว่าระบบต่างๆของมันได้หยุดทำงานไปหมดแล้ว และความเชื่อมโยงอันเป็นผลจากระบบปฏิสัมพันธ์ของ AI ระหว่างหุ่นยนต์ทั้งสองทำให้ระบบทั้งหมดของธีตาก็หยุดทำงานลงเช่นกัน
เพื่อตรวจสอบเหตุการณ์ย้อนหลังว่าเกิดอะไรขึ้น นทีเปิดดูปูมภาพวีดิโอที่บันทึกภาพเหตุการณ์ต่างๆที่เกิดขึ้นผ่านทาง “ดวงตา” ของมาตา
ภาพแรกที่ปรากฏขึ้นเป็นภาพในมุมมองบุคคลที่หนึ่งจากสายตาของมาตาที่กำลังเดินไปยังห้องพักของเชษฐ์ซึ่งอยู่ไม่ห่างจากห้องพักของนทีนัก มาตาเดินไปหยุดอยู่หน้าร่างของเชษฐ์ที่กำลังหลับสนิทอยู่บนเตียง ที่ขอบของภาพนทีสังเกตเห็นเงาวับของโลหะในมือของมาตา
สิ่งที่อยู่ในมือของมาตาคือมีดเล่มหนึ่ง
มาตาเงื้อมมือขึ้นเหมือนกำลังจะจ้วงแทงไปยังร่างหลับใหลของเชษฐ์ แต่มีอะไรบางอย่างทำให้มันเปลี่ยนใจและลดมือที่เงื้อถือมีดอยู่ลงเพียงเสี้ยววินาทีก่อนที่มีดจะพุ่งเข้าเสียบร่างของเชษฐ์ มันหันหลังเดินออกจากห้องของเชษฐ์ตรงมายังห้องทดลองที่มีร่างของธีตานอนอยู่บนเตียงตรงกลางห้อง มันเอื้อมมือจะไปดึงสายไฟที่ต่อเชื่อมระบบสำคัญต่างๆของธีตาออกจากปลั๊ก แต่แล้วก็เหมือนมีอะไรบางอย่างมาทำให้มันเปลี่ยนใจอีกครั้งหนึ่ง จากนั้นมันก็นั่งฟุบหน้าลงกับร่างของธีตาและทำในสิ่งที่นทีไม่เคยคาดคิดมาก่อน
มันสั่งให้ AI ของมันค่อยๆปิดการทำงานของทุกระบบในตัวมันลง
ระบบสุดท้ายที่มันสั่งให้ปิดคือระบบวงจรที่จำลองความสัมพันธ์ระหว่างแม่ลูกระหว่างมันกับธีตา
เชษฐ์เงยหน้าขึ้นจากจอมอนิเตอร์หลังจากได้ดูบันทึกภาพเหตุการณ์ที่เกิดขึ้นทั้งหมด
“พี่คิดว่ายังไงครับ” นทีเอ่ยถามขึ้น
“ก็บอกไม่ถูก ในใจหนึ่ง พี่ก็เสียใจที่การทดลองของเราต้องมาจบลงแบบนี้ มันเป็นเรื่องน่าเศร้าที่เราไม่ได้คาดคิดมาก่อน แต่มองอีกมุมหนึ่ง เราน่าจะดีใจและภูมิใจที่สามารถสร้างหุ่นยนต์เลียนแบบพฤติกรรมมนุษย์ได้จริงๆ แถมยังเป็นพฤติกรรมที่ลึกซึ้งที่สุดอย่างหนึ่งของมนุษย์เราซะด้วย”
“ผมมาลองคิดหาคำตอบว่าทำไมมาตาจึงเลือกทางออกด้วยวิธีนี้ หากเราใช้ตรรกะของกฎ 3 ข้อของหุ่นยนต์ ก็พอจะสรุปได้ว่ามันเลือกทำอัตวินิบาตกรรมเพราะต้องการจะปกป้องลูกของมัน ผมเชื่อว่าจากข้อมูลต่างๆที่มันได้รับจากผมและแหล่งอื่นๆภายในห้องทดลอง บวกกับ AI ระดับสูงของมันซึ่งสามารถทำความเข้าใจกับตรรกะที่มีความสลับซับซ้อน ทำให้มันสรุปได้ด้วยตัวเองว่าพี่คือต้นเหตุของความทนทุกข์ทรมานของธีตาเพราะพี่เป็นคนที่ออกคำสั่งให้เราดำเนินการทดลองในขั้นสุดท้าย แต่การแก้ปัญหาที่ต้นเหตุคือฆ่าพี่เสียอย่างที่มันพยายามจะทำย่อมขัดต่อกฎข้อที่หนึ่งที่ห้ามหุ่นยนต์ทำร้ายมนุษย์ นั่นคือสาเหตุที่มันต้องล้มเลิกการกระทำนั้น แต่ถ้ามันเลือกที่จะ “ปิด” การทำงานทั้งหมดของธีตาลง มันจะขัดกับกฎข้อที่สองที่กำหนดให้มันต้องทำตามคำสั่งของมนุษย์ ซึ่งเราโปรแกรม AI ของมันให้ต้องปกป้องและดูแลระบบของธีตาให้อยู่ในสภาพสมบูรณ์อยู่ตลอดเวลาเช่นเดียวกับที่แม่โดยทั่วไปพึงกระทำกับลูกของตัวเอง และโดยกฎข้อที่สามแล้ว มันต้องปกป้องคุ้มครองตัวเองตราบที่การกระทำนั้นไม่ไปขัดกับกฎข้อที่หนึ่งและสอง
“นั่นหมายความว่า วิธีเดียวที่มันจะช่วยลูกของมันให้พ้นจากความทนทุกข์ทรมานจากการ “ตาย” อย่างช้าๆตามการทดลองของเราและหลีกเลี่ยงการขัดต่อกฎ 3 ข้อของหุ่นยนต์ ก็คือ มันจำเป็นต้องทำลายตัวเองเพื่อให้ระบบ AI ของมันสิ้นสุดลง เห็นได้ชัดว่าการทำเช่นนี้ไม่ขัดกับกฎข้อที่หนึ่งเพราะมันไม่ได้ทำอะไรที่เป็นอันตรายกับมนุษย์ นอกจากนี้ มันก็ไม่ขัดกับกฎข้อที่สองด้วยเช่นกันเพราะมันไม่ได้ขัดคำสั่งมนุษย์ที่ให้มันดูแลธีตาเหมือนแม่ดูแลลูก ส่วนกฎข้อที่สาม ดูเผินๆแล้วอาจจะดูเหมือนขัด แต่ถ้าอธิบายด้วยตรรกะของกฎ 3 ข้อในแง่ของแรงขับเคลื่อนหรือน้ำหนักของกฎแต่ละข้อ กฎข้อแรกจะมีน้ำหนักมากที่สุด กฎข้อที่สองมีน้ำหนักรองลงมา กฎข้อที่สามมีน้ำหนักน้อยที่สุด การทำตามคำสั่งของมนุษย์ตามกฎข้อที่สองมีน้ำหนักมากกว่าการปกป้องตัวเองของมาตา ดังนั้น การปกป้องธีตาด้วยการปิดระบบตัวเองของมาตาแม้จะดูเหมือนว่าขัดต่อกฎข้อที่สาม แต่เนื่องจากน้ำหนักของกฎข้อที่สองที่บังคับให้หุ่นยนต์ต้องทำตามคำสั่งของมนุษย์มีน้ำหนักเหนือกฎข้อที่สามที่ให้หุ่นยนต์ต้องป้องกันตัวเอง จึงถือว่าการกระทำของมาตาไม่ขัดกับกฎทั้ง 3 ข้อ มันช่างน่ามหัศจรรย์จริงๆ
“แน่ล่ะว่าพี่คงจะดีใจที่การทดลองของพี่ได้ผลมากกว่าที่คาดไว้ แล้วมันยังแสดงให้เห็นด้วยว่าสัญชาตญาณของความเป็นแม่เอาชนะได้แม้แต่กฎเหล็ก 3 ข้อของหุ่นยนต์ แต่ผมคิดว่าผมไม่อยากจะเป็นส่วนหนึ่งของการทดลองนี้อีกต่อไปแล้วครับ ผมคงจะใจอ่อนเกินไปสำหรับการทดลองทำนองนี้”
“พี่ก็เสียใจที่มันต้องจบลงแบบนี้ แต่เราต้องมองข้ามไปถึงประโยชน์ที่เราจะได้รับจากผลการทดลองในครั้งนี้”
“สำหรับผมแล้ว มันก็ยังโหดร้ายเกินไปอยู่ดี”
“ไม่เป็นไร พี่เข้าใจ เพียงแต่เสียดายที่จะไม่อยู่ช่วยกัน...”
ไม่ทันที่เชษฐ์จะพูดจบ นทีก็หันหลังเดินออกจากห้องด้วยความรู้สึกลึกๆในใจว่าเขาได้มีส่วนในการสร้างสิ่งน่าสะพรึงกลัวขึ้นมาเมื่อมนุษย์ต้องการจะทำตัวเป็นผู้กำหนดชะตากรรมให้กับผู้อื่น