ค่าสูงสุดและค่าต่ำสุด: วิธีหาและตีความจุดสุดขีด

ทุกครั้งที่บริษัทตั้งราคาหาอัตรากำไรที่ดีที่สุด หรือโมเดลปรับค่าน้ำหนักเพื่อลดความคลาดเคลื่อนในการพยากรณ์ ปัญหาแคลคูลัสแบบเดียวกันนี้กำลังทำงานอยู่เบื้องหลัง: หาค่าสูงสุดหรือต่ำสุดของฟังก์ชัน นั่นแหละคือแก่นของค่าต่ำสุดและค่าสูงสุด ยอดเขาและก้นหุบที่บอกว่าฟังก์ชันแตะค่าที่สุดขีดตรงไหน

ในบทความนี้ เราจะเริ่มจากความหมายที่แท้จริงของจุดสุดขีด แยกพฤติกรรมเฉพาะที่ออกจากพฤติกรรมโดยรวม เดินผ่านขั้นตอนการหาโดยใช้อานุพันธ์ และเชื่อมโยงกลับมาว่าทำไมสิ่งเหล่านี้จึงสำคัญในงานเพิ่มประสิทธิภาพและวิทยาการข้อมูล หากต้องการต่อยอดแนวคิดเหล่านี้ด้วยการลงมือทำ หลักสูตร Introduction to Optimization in Python ของเรา ครอบคลุมด้านการคำนวณ

ค่าต่ำสุดและค่าสูงสุดคืออะไร?

ค่าต่ำสุดคือค่าที่ต่ำที่สุดที่ฟังก์ชันทำได้ ส่วนค่าสูงสุดคือค่าที่สูงที่สุด ทั้งคู่เรียกรวมกันว่าจุดสุดขีด (เอกพจน์: จุดสุดขีดเดียว) บนกราฟก็เป็นไปตามคาด: ก้นหุบกับยอดเขา

สิ่งหนึ่งที่ควรแยกให้ชัดตั้งแต่ต้น: ค่าจุดสุดขีดคือค่าฟังก์ชัน (พิกัด y) ขณะที่จุดที่เกิดขึ้นคือค่า x "ค่าสูงสุดอยู่ที่ x = 3" ต่างจาก "ค่ามากสุดคือ f(3) = 10" ความแตกต่างนี้ทำให้คนพลาดบ่อยกว่าที่คิด และมักโผล่ในโจทย์สอบและคำถามสัมภาษณ์

ไม่ใช่ทุกฟังก์ชันจะมีทั้งค่าต่ำสุดและค่าสูงสุด เส้นตรงไม่มีทั้งคู่ พาราโบลาหงายมีค่าต่ำสุดแต่ไม่มีก่าสูงสุด ฟังก์ชันที่นิยามบนช่วงเปิดอาจเข้าใกล้ค่าที่สุดขีดโดยไม่เคยแตะถึง จุดสุดขีดไม่ได้รับประกัน ขึ้นกับรูปทรงของฟังก์ชันและโดเมนที่พิจารณา

จุดสุดขีดเฉพาะที่ vs. จุดสุดขีดโดยรวม

ก่อนจะหาจุดสุดขีด ควรชัดเจนกับความแตกต่างที่อยู่ตลอดทั้งเรื่อง: ความต่างระหว่างจุดสุดขีดที่สำคัญในระดับเฉพาะที่และที่สำคัญในระดับโดยรวม นี่เป็นหนึ่งในแนวคิดที่สำคัญเชิงปฏิบัติที่สุดในงานเพิ่มประสิทธิภาพ และก็มักทำให้คนสับสนที่สุดเช่นกัน

ความต่างอยู่ที่ขอบเขต จุดสุดขีดเฉพาะที่มองเพียงละแวกเล็ก ๆ รอบจุดหนึ่ง ส่วนจุดสุดขีดโดยรวมมองทั้งโดเมน

ค่าต่ำสุดและค่าสูงสุดเฉพาะที่

ค่าต่ำสุดเฉพาะที่คือจุดที่ค่าฟังก์ชันต่ำกว่าค่าในบริเวณใกล้เคียงทั้งหมด อยู่ก้นหุบ แม้จะมีหุบที่ลึกกว่าที่อื่นบนกราฟก็ตาม ส่วนค่าสูงสุดเฉพาะที่คือยอดที่สูงกว่าสภาพแวดล้อมใกล้ ๆ แม้อาจมียอดที่สูงกว่าห่างออกไป

ลองนึกถึงเส้นทางเดินป่าที่เป็นเนินสลับไปมา ยอดแต่ละลูกคือค่าสูงสุดเฉพาะที่ และร่องระหว่างเนินคือค่าต่ำสุดเฉพาะที่ ไม่ต้องเห็นทั้งเส้นทางก็ระบุได้ แค่เปรียบเทียบกับสิ่งรอบตัวทันที

ค่าต่ำสุดและค่าสูงสุดโดยรวม

ค่าต่ำสุดโดยรวม (หรือต่ำสุดสัมบูรณ์) คือค่าที่ต่ำที่สุดเพียงค่าเดียวของฟังก์ชันตลอดทั้งโดเมน ส่วนค่าสูงสุดโดยรวม (หรือสูงสุดสัมบูรณ์) คือค่าสูงที่สุดเพียงค่าเดียว จุดสุดขีดโดยรวมย่อมเป็นจุดสุดขีดเฉพาะที่เสมอ แต่กลับกันไม่จริง

บนเส้นทางเดินป่าเดียวกัน ค่าสูงสุดโดยรวมคือจุดที่สูงที่สุดบนเส้นทางทั้งหมด ไม่ใช่แค่เนินที่สูงที่สุดใกล้ตัว ฟังก์ชันอาจมีจุดสุดขีดเฉพาะที่หลายจุด แต่มีค่า ต่ำสุดโดยรวม และค่าสูงสุดโดยรวม อย่างมากอย่างละค่าเดียว (แม้ว่าค่านั้นอาจเกิดขึ้นได้หลายจุด)

ความแตกต่างระหว่างเฉพาะที่กับโดยรวมไม่ใช่แค่ทฤษฎี แต่เกิดขึ้นตรง ๆ ในแมชชีนเลิร์นนิง ที่ซึ่งแกรมเดียนต์ดิเซนต์อาจติดอยู่ที่ค่าต่ำสุดเฉพาะที่ระหว่างหาค่าต่ำสุดโดยรวม เรื่องนี้ค่อยว่ากันต่อ

วิธีหาค่าต่ำสุดและค่าสูงสุด

การหาจุดสุดขีดมีขั้นตอนสม่ำเสมอ แก่นคำถามคือ ฟังก์ชันหยุดเพิ่มและเริ่มลดลงหรือกลับกันที่ไหน อนุพันธ์ให้เครื่องมือในการตอบอย่างแม่นยำ

แนวทางทั่วไปมีดังนี้:

1. คำนวณอนุพันธ์อันดับหนึ่ง f'(x)
2. หาจุดวิกฤต ที่ f'(x) = 0 หรือ f'(x) ไม่มีอยู่
3. จัดประเภทแต่ละจุดวิกฤตว่าเป็นค่าต่ำสุดเฉพาะที่ ค่าสูงสุดเฉพาะที่ หรือไม่ใช่ทั้งสองอย่าง
4. หากทำงานบนช่วงปิด ให้ตรวจสอบปลายช่วงด้วย
5. เปรียบเทียบค่าทั้งหมดที่เป็นผู้สมัครเพื่อระบุจุดสุดขีดสัมบูรณ์

เราจะใช้ฟังก์ชันเดียวตลอดเพื่อให้จับต้องได้: f(x) = 2x³ − 9x² + 12x − 4 ที่นิยามบนช่วง [0, 4]

จุดวิกฤตและจุดสุดขีด

จุดวิกฤตของ f(x) คือค่า x ใด ๆ ในโดเมนที่ f'(x) = 0 หรือ f'(x) ไม่ได้ถูกนิยาม จุดเหล่านี้คือผู้สมัครสำหรับจุดสุดขีด จุดที่ฟังก์ชันอาจเปลี่ยนทิศ

ทำไมจุดสุดขีดจึงโผล่ที่จุดวิกฤต? ที่ยอดหรูก้นหุบที่เรียบ เส้นสัมผัสจะขนานกับแกน x ดังนั้นอนุพันธ์เท่ากับศูนย์ แต่ไม่ใช่ทุกจุดวิกฤตจะเป็นจุดสุดขีด ซึ่งสำคัญมาก ตัวอย่างคลาสสิกคือ f(x) = x³ ที่ x = 0: อนุพันธ์เป็นศูนย์ แต่ฟังก์ชันไม่เปลี่ยนทิศ แค่แบนลงชั่วครู่ก่อนสูงขึ้นต่อไป จุดที่อนุพันธ์ไม่มีอยู่ก็ต้องสนใจเช่นกัน มุมแหลมอย่างใน f(x) = |x| ที่ x = 0 ไม่มีอนุพันธ์ แต่ตรงนั้นแหละคือจุดต่ำสุดพอดี

สำหรับตัวอย่างของเรา f'(x) = 6x² − 18x + 12 = 6(x² − 3x + 2) = 6(x − 1)(x − 2) ตั้งเท่ากับศูนย์ได้จุดวิกฤตที่ x = 1 และ x = 2 ตอนนี้ต้องหาว่าเกิดอะไรขึ้นที่แต่ละจุด

วิธีใช้การทดสอบอนุพันธ์อันดับหนึ่ง

การทดสอบอนุพันธ์อันดับหนึ่งจัดประเภทจุดวิกฤตด้วยการตรวจว่าฟังก์ชัน f'(x) เปลี่ยนเครื่องหมายหรือไม่ หากฟังก์ชันจากเพิ่มเป็นลด แปลว่าอยู่บนยอด หากจากลดเป็นเพิ่ม แปลว่าอยู่ก้นหุบ

จากบวกเป็นลบ

เมื่อ f'(x) เปลี่ยนจากบวกเป็นลบขณะผ่านจุดวิกฤต จุดนั้นเป็นค่าสูงสุดเฉพาะที่ ฟังก์ชันไต่ขึ้นไปถึงแล้วลงมา

จากลบเป็นบวก

เมื่อ f'(x) เปลี่ยนจากลบเป็นบวก ฟังก์ชันกำลังลดแล้วเริ่มเพิ่ม จุดวิกฤตนั้นคือค่าต่ำสุดเฉพาะที่

ไม่เปลี่ยนเครื่องหมาย

หาก f'(x) คงบวกทั้งสองด้าน (หรือคงลบทั้งสองด้าน) จุดวิกฤตนั้นไม่เป็นทั้งค่าต่ำสุดหรือค่าสูงสุด ฟังก์ชันหยุดชั่วคราวแต่ไม่กลับทิศ เหมือน f(x) = x³ ที่ x = 0

สำหรับฟังก์ชันของเรา มาทดสอบช่วงรอบ x = 1 และ x = 2 เลือกจุดทดสอบ: f'(0.5) = 6(0.5 − 1)(0.5 − 2) = 6(−0.5)(−1.5) = 4.5 > 0, f'(1.5) = 6(0.5)(−0.5) = −1.5 < 0 และ f'(3) = 6(2)(1) = 12 > 0 ที่ x = 1 อนุพันธ์จากบวกเป็นลบ: ค่าสูงสุดเฉพาะที่ ที่ x = 2 จากลบเป็นบวก: ค่าต่ำสุดเฉพาะที่ ค่าฟังก์ชันคือ f(1) = 1 และ f(2) = 0

การทดสอบอนุพันธ์อันดับหนึ่งใช้ได้เสมอ แต่ต้องเลือกจุดทดสอบในแต่ละช่วง ซึ่งน่าเบื่อเร็ว มีวิธีที่ไวกว่าเมื่อเงื่อนไขบางอย่างเป็นจริง

วิธีใช้การทดสอบอนุพันธ์อันดับสอง

การทดสอบอนุพันธ์อันดับสองใช้ได้เมื่อ f''(x) ≠ 0 ที่จุดวิกฤต แทนที่จะตรวจการเปลี่ยนเครื่องหมายข้ามช่วง ให้ประเมินค่าอนุพันธ์อันดับสองที่จุดวิกฤตโดยตรง

แนวคิดเชื่อมกับความเว้า/นูน หาก f''(c) > 0 ฟังก์ชันเว้าขึ้นที่ c โค้งเหมือนชาม จุดวิกฤตอยู่ก้นชาม: ค่าต่ำสุดเฉพาะที่ หาก f''(c) < 0 ฟังก์ชันเว้าลง โค้งเหมือนเนิน จุดวิกฤตอยู่ยอดเนิน: ค่าสูงสุดเฉพาะที่ หาก f''(c) = 0 การทดสอบไม่บอกอะไร ต้องย้อนกลับไปใช้อานุพันธ์อันดับหนึ่ง

สำหรับฟังก์ชันของเรา f''(x) = 12x − 18 ที่ x = 1: f''(1) = 12 − 18 = −6 < 0 ยืนยันค่าสูงสุดเฉพาะที่ ที่ x = 2: f''(2) = 24 − 18 = 6 > 0 ยืนยันค่าต่ำสุดเฉพาะที่ ได้คำตอบเหมือนเดิมแต่เร็วกว่า การทดสอบอนุพันธ์อันดับสองไม่ได้ใช้ได้เสมอ (ล้มเหลวที่จุดเปลี่ยนเว้า/นูนและจุดวิกฤตบางแบบ) แต่เมื่อใช้ได้จะประหยัดเวลา

วิธีหาค่าต่ำสุดและค่าสูงสุดสัมบูรณ์บนช่วง

เมื่อทำงานบนช่วงปิด [a, b] กับฟังก์ชันต่อเนื่อง ทฤษฎีบทค่าสุดขีดรับประกันว่ามีทั้งค่าสูงสุดสัมบูรณ์และค่าต่ำสุดสัมบูรณ์อยู่จริง ไม่ได้ค้นหาอย่างไร้ผล

วิธีนี้เรียกว่าวิธีช่วงปิด:

1. หาจุดวิกฤตทั้งหมดของ f(x) ภายในช่วง (a, b)
2. ประเมินค่า f(x) ที่จุดวิกฤตแต่ละจุด
3. ประเมินค่า f(x) ที่ปลายช่วงทั้งสอง a และ b
4. ค่าที่มากที่สุดคือค่าสูงสุดสัมบูรณ์ ค่าที่น้อยที่สุดคือค่าต่ำสุดสัมบูรณ์

สำหรับ f(x) = 2x³ − 9x² + 12x − 4 บน [0, 4] เรารู้แล้วว่าจุดวิกฤตคือ x = 1 และ x = 2 ประเมินค่าทุกจุดที่สำคัญ:

f(0) = -4

f(1) = 2 - 9 + 12 - 4 = 1

f(2) = 16 - 36 + 24 - 4 = 0

f(4) = 128 - 144 + 48 - 4 = 28

ค่าต่ำสุดสัมบูรณ์คือ f(0) = −4 และค่าสูงสุดสัมบูรณ์คือ f(4) = 28 สังเกตว่าค่าสูงสุดสัมบูรณ์อยู่ที่ปลายช่วง ไม่ใช่จุดวิกฤต นี่คือเหตุผลที่ห้ามข้ามการตรวจปลายช่วง และยังเป็นความผิดพลาดที่พบบ่อยที่สุดด้วย เดี๋ยวจะพูดถึงในส่วนข้อผิดพลาด

ทั้งหมดนี้ใช้กับฟังก์ชันตัวแปรเดียว แต่ปัญหาโลกจริงส่วนใหญ่มีหลายตัวแปร จึงควรดูว่าขยายอย่างไร

ค่าต่ำสุดและค่าสูงสุดของฟังก์ชันหลายตัวแปร

สำหรับฟังก์ชัน f(x, y) หา จุดวิกฤต โดยตั้งอนุพันธ์ย่อยทั้งสองตัวให้เป็นศูนย์: ∂f/∂x = 0 และ ∂f/∂y = 0 จุดวิกฤตกลายเป็นคู่ (x, y) ไม่ใช่ค่าเดี่ยว การจัดประเภทซับซ้อนขึ้นเพราะมีความเป็นไปได้ใหม่คือจุดอาน ที่ฟังก์ชันโค้งขึ้นในทิศหนึ่งและโค้งลงในอีกทิศ นึกถึงส่วนกลางของมันฝรั่งแผ่นทรงอาน

เพื่อจัดประเภทจุดวิกฤตของหลายตัวแปร ใช้เมทริกซ์เฮสเซียน ซึ่งเป็นเมทริกซ์จัตุรัสของอนุพันธ์ย่อยอันดับสอง ค่าดีเทอร์มิแนนต์และเครื่องหมายขององค์ประกอบบอกได้ว่าอยู่ที่ค่าต่ำสุดเฉพาะที่ ค่าสูงสุดเฉพาะที่ หรือจุดอาน บทช่วยสอน Hessian Matrixของเราเจาะลึกกลไกและเชื่อมโยงกับความโค้งในมิติที่สูงขึ้น

ค่าต่ำสุดและค่าสูงสุดในงานเพิ่มประสิทธิภาพและแมชชีนเลิร์นนิง

หากเคยทำงานกับแมชชีนเลิร์นนิง ก็มักจะแก้ปัญหาค่าต่ำสุดอยู่แล้ว การฝึกโมเดลหมายถึงการทำให้ฟังก์ชันการสูญเสียต่ำที่สุด และฟังก์ชันการสูญเสียก็คือฟังก์ชันที่มีค่าต่ำสุดและค่าสูงสุดเช่นกัน

แกรมเดียนต์ดิเซนต์คือม้าทำงานตัวหลักที่นี่ มันคำนวณอนุพันธ์ (หรือแกรมเดียนต์ในหลายมิติ) ของฟังก์ชันการสูญเสียที่ค่าพารามิเตอร์ปัจจุบัน แล้วก้าวไปในทิศที่จะลดการสูญเสีย เดินลงเนินบนผิวการสูญเสียเพื่อหาค่าต่ำสุด บทช่วยสอน Gradient Descent in Machine Learning ของเราครอบคลุมอัลกอริทึมเต็มรูปแบบ

ตรงนี้เองที่ความต่างระหว่างเฉพาะที่กับโดยรวมกลายเป็นปัญหาวิศวกรรมจริงจัง สำหรับฟังก์ชันการสูญเสียที่ไม่โค้ง (ซึ่งใน neural network ส่วนใหญ่เป็นแบบนั้น) แกรมเดียนต์ดิเซนต์อาจติดที่ค่าต่ำสุดเฉพาะที่แทนที่จะเจอค่าต่ำสุดโดยรวม เทคนิคอย่างการปรับอัตราการเรียนรู้ โมเมนตัม และสโตแคสติกแกรมเดียนต์ดิเซนต์ ช่วยให้อัลกอริทึมหนีค่าต่ำสุดเฉพาะที่ตื้น ๆ ได้ แม้การรับประกันค่าต่ำสุดโดยรวมในปัญหาที่ไม่โค้งยังเป็นความท้าทายที่เปิดกว้างอยู่ บทช่วยสอน Cost Functions ของเราอธิบายวิธีสร้างฟังก์ชันวัตถุประสงค์เหล่านี้และเหตุใดรูปทรงจึงสำคัญ

ข้อผิดพลาดที่พบบ่อยเมื่อหาค่าต่ำสุดและค่าสูงสุด

คิดว่าทุกจุดวิกฤตคือจุดสุดขีด

ไม่ใช่ทุกจุดวิกฤตจะให้ค่าต่ำสุดหรือค่าสูงสุด จุดเปลี่ยนเว้า/นูนอย่าง x = 0 ใน f(x) = x³ มี f'(x) = 0 แต่ไม่มีการเปลี่ยนทิศ ตรวจสอบเสมอด้วยการทดสอบอนุพันธ์

สับสนระหว่างจุดสุดขีดเฉพาะที่กับโดยรวม

ค่าต่ำสุดเฉพาะที่เป็นเพียงค่าต่ำสุดในละแวกเล็ก ๆ ค่าต่ำสุดโดยรวมอาจอยู่ที่อื่นเลย หรืออยู่ที่ปลายช่วง อย่าหยุดเมื่อพบจุดสุดขีดเฉพาะที่จุดเดียว

ลืมตรวจปลายช่วง

บนช่วงปิด จุดสุดขีดสัมบูรณ์อาจเกิดที่ขอบเขต ค่าสูงสุดสัมบูรณ์ในตัวอย่างของเราอยู่ที่ x = 4 ไม่ใช่ที่จุดวิกฤต การข้ามปลายช่วงเป็นหนึ่งในข้อผิดพลาดที่พบบ่อยที่สุดในปัญหาการเพิ่มประสิทธิภาพ และน่าจะทำให้เสียคะแนนสอบมากกว่าความเข้าใจผิดด้านแนวคิดใด ๆ

คิดว่าอนุพันธ์อันดับสองเป็นศูนย์แปลว่าไม่มีจุดสุดขีด

เมื่อ f''(c) = 0 การทดสอบอนุพันธ์อันดับสองถือว่าไม่สรุปผล ไม่ได้แปลว่าจุดนั้นไม่ใช่จุดสุดขีด พิจารณา f(x) = x⁴ ที่ x = 0: f''(0) = 0 แต่ x = 0 ชัดเจนว่าเป็นค่าต่ำสุด ใช้การทดสอบอนุพันธ์อันดับหนึ่งเมื่ออันดับสองใช้ไม่ได้

สับสนระหว่างจุดที่เกิดจุดสุดขีดกับค่าของจุดสุดขีด

ค่าของจุดสุดขีดคือ f(c) ไม่ใช่ c เอง การตอบว่า "ค่าต่ำสุดคือ x = 2" ขณะที่หมายถึง "ค่าต่ำสุดคือ f(2) = 0" คือการสลับอินพุตกับเอาต์พุต รายงานและคำตอบสอบต้องการค่าฟังก์ชัน ไม่ใช่แค่ตำแหน่ง

สรุป

เรื่องนี้มีฉบับที่จบแค่ "หาให้อนุพันธ์เท่ากับศูนย์" หลักสูตรเบื้องต้นจำนวนมากทำแบบนั้น และทำให้นักศึกษาไม่พร้อมสำหรับส่วนที่สำคัญในทางปฏิบัติจริง: รู้ว่าพบค่าต่ำสุดเฉพาะที่หรือโดยรวม และเข้าใจว่าสองอย่างนี้ต่างกันมากตามวัตถุประสงค์งาน

แคลคูลัสตรงนี้กระทัดรัด จุดวิกฤต การทดสอบอนุพันธ์ การตรวจปลายช่วง สิ่งที่ใช้เวลาซึมซับนานกว่าคือเรขาคณิตเบื้องหลัง: ทำไมความเว้า/นูนจึงกำหนดรูปร่างของค่าต่ำสุด ทำไมปลายช่วงจึงชนะจุดวิกฤตได้ ทำไมแกรมเดียนต์ดิเซนต์ในโครงข่ายประสาทเทียมจึงเหมือนค้นหาค่าต่ำสุดบนผิวที่อาจมีค่าต่ำสุดเฉพาะที่นับพัน

สำหรับการลงมือทำ หลักสูตร Introduction to Optimization in Python ของเราครอบคลุมปัญหาเหล่านี้เชิงการคำนวณด้วย SciPy และ SymPy ซึ่งเป็นจุดที่แคลคูลัสกับโค้ดเชื่อมกันอย่างเป็นรูปธรรม