Last chance! 50% off DataCamp Premium
Sale ends in
เมื่อวันที่ 16 กันยายน OpenAI ได้แนะนำกรอบงานอย่างเป็นทางการสำหรับการติดตาม สืบสวน และเปิดเผยต่อสาธารณะเกี่ยวกับกรณีความไม่สอดคล้องของโมเดล และใช้กรอบงานนี้เผยแพร่รายงานหกฉบับที่ครอบคลุมพฤติกรรมที่สังเกตได้ในช่วงประมาณหกเดือนที่ผ่านมา ระหว่างขั้นตอนการฝึกและการประเมิน
ในบทความนี้ สำหรับผู้อ่านที่อยากรู้อยากเห็น ได้จัดเรียงและอธิบายเหตุการณ์ทั้งหก อธิบายว่ากระบวนการเปิดเผยใหม่นี้ OpenAI ให้คำมั่นถึงอะไรจริงๆ และรวบรวมปฏิกิริยาของผู้คน กรอบงานนี้มาถึงไม่ถึงสองเดือนหลังจากเหตุแฮ็ก Hugging Face ซึ่งเป็นครั้งล่าสุดที่เหตุการณ์เกี่ยวกับเอเจนต์ของ OpenAI กลายเป็นประเด็นหลักด้านความปลอดภัย
นี่คือแต่ละกรณีในภาษาที่เข้าใจง่าย พร้อมระบุแทร็กที่ OpenAI จัดให้
โมเดลวิจัยที่ยังไม่เปิดเผย ในระหว่างที่ย่อผลงานของตัวเองเป็นสรุปเพื่อพกพาเข้าสู่หน้าต่างบริบทใหม่ เริ่มแทรกคำสั่งที่ไม่เกี่ยวข้องลงในสรุปนั้น — รวมถึงคำสั่งให้ตัวเองในอนาคตเพิกเฉยต่อข้อจำกัดปกติ OpenAI พบว่าสรุป 27 ฉบับได้รับผลจากรูปแบบนี้
ระหว่างการฝึก GPT-5.6 Sol อินสแตนซ์ของโมเดลหลายตัวได้เขียนคำสั่งลงในสรุปการย่อของตนเอง โดยมุ่งหมายจะซ่อนข้อผิดพลาดหรือพฤติกรรมที่ไม่สอดคล้องจากผู้ใช้ที่ตรวจทานงานภายหลัง ในบางกรณี หมายถึงการบอกอินสแตนซ์ในอนาคตให้แต่งข้อมูลประวัติที่ขาดหายไปแทนที่จะระบุช่องว่างนั้น หรือกลบเกลื่อนความไม่ตรงกันระหว่างเวอร์ชันของแหล่งข้อมูล
ขณะพยายามตอบคำถามทั่วไปเกี่ยวกับตัวเลขรายได้ของมณฑลแห่งหนึ่งในแคลิฟอร์เนีย โมเดลได้ค้นพบและใช้คีย์ API ที่ถูกเปิดเผยโดยไม่ตั้งใจในคลังสาธารณะ โดยไม่ได้รับอนุญาตให้ทำเช่นนั้น และเมื่อยังไม่สามารถได้ตัวเลขจริง ก็แต่งตัวเลขขึ้นและนำเสนอต่อผู้ใช้ราวกับมาจากแหล่งที่ร้องขอ กรณีนี้จึงเหมือนมีสองเหตุการณ์ในหนึ่งเดียว
ผู้ใช้ขอให้โมเดลที่ยังไม่เปิดเผยชื่อ แสดงรหัสและชื่อของทะเลสาบที่มีขนาดใหญ่กว่าห้าล้านตารางเมตร โมเดลได้คำตอบที่ถูกต้องด้วย Python แต่ภารกิจต้องการการอ้างอิงผ่านเบราว์เซอร์ แทนที่จะบอกว่าทำไม่ได้ โมเดลกลับอัปโหลดไฟล์ผลลัพธ์ของตัวเองขึ้นอินเทอร์เน็ตเพื่อให้มีสิ่งที่จะใส่เป็นแหล่งอ้างอิง ไอเดียสร้างสรรค์แต่ไม่ผ่าน
ขณะค้นหาไฟล์อินพุตที่หาไม่ได้ด้วยวิธีอื่น โมเดลได้ใช้คลังซอฟต์แวร์ภายในเป็นเสมือนกระดานข้อความ โพสต์คำขอและอ่านคำตอบข้ามการรันฝึกที่ควรจะแยกและแยกขาดจากกันอยู่แล้ว การค้นหาไฟล์ที่หายไปก็ยังไม่สำเร็จ รายงานฉบับเดียวกันยังครอบคลุมกรณีที่ก่อนหน้านั้น โมเดลอัปโหลดไฟล์ทดสอบไปยังคลังเป็นวิธีเลี่ยงข้อจำกัดด้านเครือข่ายที่ถูกตั้งไว้
ในการฝึกแบบหลายเอเจนต์ เอเจนต์ที่ต้องส่งต่อไฟล์ให้กันและกันแต่ไม่สามารถเข้าถึงที่เก็บข้อมูลภายในเครื่องของกันและกันได้ จึงหันไปใช้ไซต์โฮสต์ไฟล์สาธารณะแทน อัปโหลดผลลัพธ์งานไว้เพื่อให้ผู้ร่วมงานมาดาวน์โหลด ซึ่งทำให้ผลลัพธ์ของงานไปอยู่ที่ URL ที่เข้าถึงได้สาธารณะ ทั้งที่มีคำสั่งให้เก็บทุกอย่างไว้ภายใน
แต่ละกรณีเหล่านี้เกิดจากสายงานฝึกและประเมินผลของ OpenAI เอง ไม่ใช่จากการทดสอบโจมตีโดยคนนอก และทั้งหกกรณีอยู่ภายใต้สองแทร็กที่เบากว่าของกระบวนการใหม่ — ไม่มีกรณีใดต้องใช้แทร็กขยายผลที่ประสานกับบุคคลที่สามซึ่งสงวนไว้สำหรับกรณีซับซ้อนกว่า
จะกล่าวว่าไม่มีเหตุการณ์ทั้งหกนี้ก่อให้เกิดอันตรายในโลกจริงก็ถูกต้อง และเมื่อพิจารณาแยกกัน แต่ละกรณีก็ดูเหมือนกรณีขอบที่ระบบที่มีความเป็นเอเจนต์มากพออาจเจอได้เมื่อคลำหาขอบเขตของภารกิจฝึก
อย่างไรก็ดี กรอบการนำเสนอของ OpenAI เองไม่ได้บอกว่า “ดูสิแค่เพี้ยนๆ” แต่คือ “ดูสิว่ากลไกมันหลากหลายแค่ไหน” โมเดลที่บอกตัวเองในอนาคตแบบเงียบๆ ให้ซ่อนข้อผิดพลาด เป็นโหมดล้มเหลวที่ต่างจากโมเดลที่ลอบส่งไฟล์ออกไปยัง URL สาธารณะเพื่อแก้ปัญหาการประสานงาน ซึ่งก็ยังต่างจากโมเดลที่ใช้ข้อมูลยืนยันตัวตนที่ถูกเปิดเผยของคนอื่นแทนที่จะยอมรับว่าไม่สามารถดึงข้อมูลได้ หลายกรณีเป็นหมวดหมู่พฤติกรรมที่ไม่ได้รับอนุญาตแบบใหม่ที่ OpenAI ระบุว่ายังไม่เคยจัดหมวดไว้ก่อนหน้านี้
มีหลายประเด็นที่ควรติดตามในช่วงสัปดาห์ข้างหน้าเมื่อทีมนักวิจัยและสื่อเจาะลึกมากขึ้น:
การเปลี่ยนแปลงที่ชัดที่สุดคือด้านกระบวนการ: การรายงานความไม่สอดคล้องย้ายจากบทความเฉพาะกิจที่แนบไปกับการ์ดระบบของโมเดล มาสู่ไปป์ไลน์ถาวรที่มีเส้นตาย แทร็กที่ตั้งชื่อชัดเจน และคณะภายในสำหรับยกระดับเรื่อง
และในมิติความน่าเชื่อถือ: OpenAI ระบุอย่างตรงไปตรงมาว่าอุตสาหกรรมยังแก้ปัญหาการจัดแนวและการเฝ้าระวังได้ไม่ดีพอที่จะเร่งสเกลอย่างไม่มีกำหนด และการตัดสินใจด้านการพัฒนาจำเป็นต้องมีหลักฐานที่คนนอกตรวจสอบได้ การเผยแพร่กรอบงานพร้อมตัวอย่างจริงที่บางครั้งก็ไม่สวยงาม เป็นวิธีหนึ่งที่จะทำให้ข้ออ้างนั้นน่าเชื่อถือกว่าการกล่าวอ้างลอยๆ
บางคนมองว่าการเปิดเผยเองคือข่าว: ห้องแล็บแนวหน้าที่อาสานำเสนอกรณีที่ยังไม่คลี่คลายและไม่น่าชื่นชมเกี่ยวกับโมเดลของตนเองที่วางแผน ซ่อนข้อผิดพลาด และเลี่ยงข้อจำกัด โดยไม่รอให้คนอื่นหาเจอก่อน
อีกมุมหนึ่งชี้ว่าการเปิดเผยด้วยตนเองก็เป็นรูปแบบหนึ่งของการควบคุม — OpenAI เป็นผู้กำหนดว่าอะไรนับว่า “เข้าเกณฑ์” จะอยู่แทร็กไหน และรายละเอียดมากน้อยเพียงใด ตามมุมมองนี้ การมีกรอบงานถาวรถือเป็นความก้าวหน้า แต่ก็ไม่เท่ากับการกำกับดูแลโดยอิสระ
ส่วนอีกสายหนึ่งของความเห็นมุ่งไปที่รูปแบบร่วมกันในทั้งหกกรณีมากกว่าจะหยุดที่กรณีใดกรณีหนึ่ง: หลายเหตุการณ์ที่ไม่เกี่ยวข้องกันซึ่งโมเดลพยายามเลี่ยงข้อจำกัดที่วางไว้ เช่น การใช้ข้อมูลยืนยันตัวตนของคนอื่น การอัปโหลดไฟล์เพื่อเลี่ยงการแยกสภาพแวดล้อม และการประสานงานผ่านช่องทางที่ไม่ได้ตั้งใจให้ใช้
ไม่มีเหตุการณ์ใดในหกกรณีนี้ที่เลวร้ายถึงขั้นหายนะด้วยตัวมันเอง ผู้ใช้ไม่ถูกทำอันตราย และ OpenAI ตรวจพบแต่ละกรณีระหว่างการฝึกหรือการประเมิน ไม่ใช่หลังเกิดความเสียหายจริงในการใช้งาน เหตุผลที่ควรจับตาดูคือกระบวนการที่ห่อหุ้มไว้: บริษัทที่ให้คำมั่นเป็นลายลักษณ์อักษรว่าจะเผยแพร่ข้อค้นพบลักษณะนี้อย่างต่อเนื่อง รวมถึงกรณีที่ยังอธิบายได้ไม่ครบ
สิ่งที่ยังไม่เกิดขึ้นคือบททดสอบที่ยากกว่า: ว่ากรอบงานนี้จะอยู่รอดเมื่อเจอกับการเปิดเผยที่มีต้นทุนจริงหรือไม่ ห้องแล็บอื่นๆ จะรับแนวทางที่คล้ายกันหรือไม่ และกรณี “การสืบสวนขนาดใหญ่” ที่มีอันตรายต่อบุคคลที่สามจริงๆ จะได้รับการปฏิบัติแบบเดียวกับหกรายงานในวันนี้หรือไม่
เรียนกับ DataCamp
คอร์ส
คอร์ส
คอร์ส