न्यूटन की विधि: आवर्ती सन्निकटन से तेज़ी से मूल खोजें

कुछ समीकरणों का सुथरा बीजीय हल नहीं होता।

आप जितना चाहें गुणनखंड कर लें या प्रतिस्थापन कर लें, कुछ समीकरणों का क्लोज़्ड-फॉर्म हल नहीं होता। उदाहरण के लिए, पाँच या उससे अधिक घात का बहुपद सामान्य बीजीय हल नहीं रखता। जिन फलनों में घातांकों और बहुपदों का मिश्रण होता है, जैसे e^x = 3x, वे भी इसी श्रेणी में आते हैं। ऐसे मामलों में आपको अलग तरीका चाहिए।

न्यूटन की विधि वही तरीका है। यह संख्यात्मक रूप से मूल खोजती है, हर बार और स्मार्ट अनुमान लगाकर — प्रत्येक अनुमान वर्तमान मान पर फलन की स्पर्शरेखा से निर्देशित होता है।

इस लेख में, मैं आपको न्यूटन की विधि के सूत्र, इसके चरण-दर-चरण काम करने के तरीके, यह कब अभिसरित होती है और कब नहीं — इन सब पर लेकर चलूँगा, ताकि ठोस उदाहरणों के साथ सिद्धांत स्पष्ट हो जाए।

डेटा साइंस के लिए ज़रूरी और गणितीय विषय ढूँढ रहे हैं? हमारा ब्लॉग पोस्ट Geometric Series: Formula, Convergence, and Examples पढ़ें और देखें कि यह वित्त, भौतिकी और CS में कैसे लागू होता है।

न्यूटन की विधि क्या है?

न्यूटन की विधि किसी फलन के मूल खोजने की एक आवर्ती तकनीक है। मूल वे इनपुट मान होते हैं जहाँ फलन का मान शून्य होता है।

आप इस प्रक्रिया की शुरुआत एक प्रारंभिक अनुमान से करते हैं। फिर, विधि उस बिंदु पर फलन की ज्यामिति का उपयोग करके बेहतर अनुमान बनाती है। आप यह प्रक्रिया दोहराते हैं, और हर आवृत्ति आपको वास्तविक मूल के और पास ले जाती है।

यही पूरी धारणा है। आपको बस एक स्मार्ट, दोहराए जाने योग्य अपडेट नियम चाहिए जो उत्तर पर अभिसरित हो।

न्यूटन की विधि का सूत्र

न्यूटन की विधि का केंद्र वही एक अपडेट नियम है जिसे आप बार-बार लागू करते हैं जब तक आप मूल के पर्याप्त निकट न पहुँच जाएँ।

सूत्र यह है:

न्यूटन की विधि का सूत्र

हर आवृत्ति आपके वर्तमान अनुमान x_n से एक बेहतर अनुमान x_{n+1} बनाती है। आप तब तक अपडेट करते रहते हैं जब तक परिणाम शून्य के पर्याप्त करीब न आ जाए।

सूत्र में तीन घटक होते हैं:

• x_n - मूल का आपका वर्तमान अनुमान

• f(x_n) - उस अनुमान पर फलन का मान

• f'(x_n) - उस अनुमान पर फलन का अवकलज, जो स्पर्शरेखा का ढाल बताता है

यदि f(x_n) बड़ा है, तो आप मूल से दूर हैं। यदि f'(x_n) तीव्र है, तो फलन तेज़ी से बदल रहा है, इसलिए आप बड़ा कदम ले सकते हैं। अनुपात f(x_n) / f'(x_n) ठीक बताता है कि कितना आगे बढ़ना है — और आप इसे अपने वर्तमान अनुमान से घटाकर और पास आ जाते हैं।

यदि f'(x_n) शून्य है या शून्य के पास है, तो सूत्र वास्तव में काम नहीं करेगा। आप शून्य से भाग देंगे, जिसका अर्थ है कि विधि अगला अनुमान बना नहीं सकती। सीमाओं वाले खंड में मैं इसे विस्तार से कवर करूँगा।

न्यूटन की विधि कैसे काम करती है

न्यूटन की विधि हर आवृत्ति पर एक जैसे चार चरणों का पालन करती है।

1. प्रारंभिक अनुमान चुनें: प्रारंभिक मान x_0 ऐसा चुनें जो मूल के पास हो। बिल्कुल सही होना ज़रूरी नहीं — बस इतना क़रीब कि फलन उस बिंदु के आसपास पूर्वानुमेय व्यवहार करे। अभिसरण खंड में मैं बताऊँगा कि “काफ़ी क़रीब” से मेरा क्या मतलब है।

2. फलन का मान निकालें: f(x_0) का मान निकालें। यह बताता है कि आपके वर्तमान अनुमान पर फलन शून्य से कितना दूर है। यदि f(x_0) = 0 है, तो काम पूरा — आपने मूल ढूँढ लिया।

3. अवकलज निकालें: f'(x_0) का मान निकालें। यह x_0 पर फलन का ढाल देता है, यानी उस बिंदु पर स्पर्शरेखा का ढाल।

4. अनुमान अपडेट करें: पिछले खंड के सूत्र के अनुसार अपडेट नियम लागू करें।

और बस!

यह नया मान x_1 वह बिंदु है जहाँ स्पर्शरेखा x-अक्ष को काटती है। ज्यामितीय रूप से, आप x_0 पर वक्र को छूने वाली सीधी रेखा खींचते हैं और उसे नीचे शून्य तक फॉलो करते हैं। वह प्रतिच्छेदन बिंदु आपका अगला, बेहतर अनुमान है।

फिर आप इसे दोहराते हैं। x_1 को चरण 2 से 4 में वापस रखें और x_2, फिर x_3 प्राप्त करें, और इसी तरह। हर आवृत्ति अपडेट किए गए बिंदु पर नई स्पर्शरेखा खींचती है और देखती है कि वह x-अक्ष को कहाँ काटती है।

प्रक्रिया तब रुकती है जब f(x_n) शून्य के पर्याप्त निकट आ जाता है — आमतौर पर तब जब यह किसी छोटे थ्रेशहोल्ड से नीचे गिरता है जिसे आपने पहले से परिभाषित किया होता है।

न्यूटन की विधि की ज्यामितीय व्याख्या

एक ग्राफ़ पर एक वक्र की कल्पना करें — यही आपका फलन f(x) है। मूल वह बिंदु है जहाँ वक्र x-अक्ष को काटता है। आपको अभी नहीं पता कि वह कहाँ है, इसलिए आप x-अक्ष पर कहीं एक अनुमान x_0 से शुरू करते हैं।

हर चरण में, आप वक्र पर बिंदु (x_0, f(x_0)) प्लॉट करते हैं, फिर उस बिंदु पर स्पर्शरेखा खींचते हैं — एक सीधी रेखा जो वक्र को वहीं छूती है और उसके ढाल का अनुसरण करती है। वह स्पर्शरेखा क्षैतिज नहीं होती। वह झुकी होती है, और यदि आप उसे नीचे फॉलो करें, तो वह किसी बिंदु पर x-अक्ष को काटती है। वही प्रतिच्छेदन आपका अगला अनुमान x_1 है।

फिर आप इसे दोहराते हैं। x_1 पर एक नई स्पर्शरेखा खींचें और देखें कि वह x-अक्ष को कहाँ काटती है। इससे x_2 मिलता है। हर स्पर्शरेखा वक्र का एक स्थानीय रैखिक सन्निकटन है, और हर प्रतिच्छेदन बिंदु आपको वास्तविक मूल के और पास ले आता है।

नीचे का चार्ट f(x) = x^2 - 2 पर न्यूटन की विधि के दो आवृत्तियाँ दिखाता है, जिसकी शुरुआत x_0 = 2.5 से की गई है:

ज्यामितीय व्याख्या चार्ट

यह इसलिए काम करता है क्योंकि किसी भी दिए गए बिंदु पर स्पर्शरेखा वक्र का सबसे अच्छा सीधी रेखा वाला सन्निकटन होती है। जितना आप मूल के क़रीब होते हैं, उतनी ही स्पर्शरेखा वक्र जैसी दिखती है — और आपका अगला कदम उतना ही सटीक हो जाता है।

व्यवहार में, अनुमान मूल की ओर रेंगते नहीं — वे तेज़ी से उछलकर पास पहुँचते हैं, अक्सर हर आवृत्ति के साथ सही दशमलव स्थानों की संख्या दोगुनी हो जाती है।

न्यूटन की विधि का चरण-दर-चरण उदाहरण

आइए न्यूटन की विधि को f(x) = x^2 - 2 पर लागू करें। इस फलन का मूल x = sqrt(2) ≈ 1.4142 है — यानी, हम 2 का वर्गमूल निकाल रहे हैं।

अवकलज f'(x) = 2x है, इसलिए अपडेट नियम यह बन जाता है:

उदाहरण (अपडेट नियम)

आइए प्रारंभिक अनुमान x_0 = 2.5 से शुरू करें।

आवृत्ति 1:

उदाहरण (आवृत्ति 1)

आवृत्ति 2:

उदाहरण (आवृत्ति 2)

आवृत्ति 3:

उदाहरण (आवृत्ति 3)

सिर्फ तीन आवृत्तियों में ही हम चार दशमलव स्थानों तक सटीक हो चुके हैं। त्रुटि x_0 पर 1.086 से घटकर x_3 पर 0.0001 हो गई — और हर कदम के साथ घटती जाती है।

यहाँ देखें कि यह अनुमान और त्रुटि मान दृश्य रूप में कैसे काम करते हैं:

अनुमान और त्रुटि का दृश्य अवलोकन

बाएँ पैनल में दिखता है कि हर अनुमान sqrt(2) ≈ 1.4142 के और क़रीब आता है, जबकि दाएँ पैनल में लघुगणकीय पैमाने पर त्रुटि घटती दिखाई देती है — हर आवृत्ति पिछले की तुलना में लगभग वर्गानुपाती सटीकता ला देती है।

न्यूटन की विधि का अभिसरण

न्यूटन की विधि तेज़ी से अभिसरित हो सकती है, पर सही परिस्थितियों में ही।

जब आपका प्रारंभिक अनुमान मूल के क़रीब हो और उस क्षेत्र में फलन समतल और अवकलनीय हो, तो विधि द्विघात अभिसरण दिखाती है। यही उस उदाहरण में आपने देखा: हर आवृत्ति में त्रुटि लगभग पिछले की तुलना में वर्ग हो जाती है। दो सही दशमलव स्थान चार बन जाते हैं, चार आठ, और आगे भी।

इसके लिए दो शर्तें पूरी होनी चाहिए:

• अच्छा प्रारंभिक अनुमान: x_0 जितना वास्तविक मूल के पास होगा, विधि उतनी तेज़ अभिसरित होगी। यदि आप बहुत दूर से शुरू करते हैं, तो उस बिंदु पर स्पर्शरेखा आपको गलत दिशा में भेज सकती है।
• सुव्यवस्थित फलन: मूल के पास फलन का समतल और अवकलनीय होना ज़रूरी है। तीखे मोड़ या समतल क्षेत्र स्पर्शरेखा सन्निकटन में बाधा डाल सकते हैं।

सबसे सामान्य विफलता एक शून्य के पास अवकलज होना है। 

यदि f'(x_n) शून्य के क़रीब है, तो अपडेट नियम में आप बहुत छोटे संख्या से भाग दे रहे होते हैं, जो अगले अनुमान को मूल से बहुत दूर भेज देता है। सबसे बुरे मामले में f'(x_n) = 0 हो जाता है और गणनाएँ रुक जाती हैं क्योंकि आप शून्य से भाग नहीं दे सकते।

खराब प्रारंभिक बिंदु विधि को दोलित या अपसारी भी कर सकता है। मूल के पास आने की बजाय, अनुमान आगे-पीछे उछलते हैं या हर आवृत्ति में और दूर चले जाते हैं।

न्यूटन की विधि अच्छा सेटअप मांगती है। एक उचित प्रारंभिक अनुमान और सुव्यवस्थित फलन — इन्हीं से यह अभिसरित होती है, और तेज़ी से।

न्यूटन की विधि के लाभ

सही परिस्थितियों में, न्यूटन की विधि को मात देना कठिन है।

सबसे बड़ा लाभ द्विघात अभिसरण है। अधिकांश संख्यात्मक विधियाँ रैखिक दर से मूल के पास आती हैं, यानी हर आवृत्ति में त्रुटि एक निश्चित मात्रा से घटती है। न्यूटन की विधि त्रुटि का वर्ग कर देती है, इसलिए बहुत कम आवृत्तियों में तेज़ी से सटीक हो जाती है।

यह सर्वसामान्य प्रयोजन की भी है। आप इसे बहुपद, त्रिकोणमितीय, घातांकीय — व्यापक श्रेणी के फलनों पर बिना कुछ बदले लागू कर सकते हैं। इसलिए यह इंजीनियरिंग सिमुलेशन से लेकर मशीन लर्निंग मॉडल प्रशिक्षण तक अनगिनत क्षेत्रों में दिखती है।

न्यूटन की विधि की सीमाएँ

उस गति के बदले न्यूटन की विधि कुछ माँग करती है। ध्यान रखने लायक कुछ सीमाएँ ये हैं:

• अवकलज की आवश्यकता: एक भी आवृत्ति चलाने से पहले आपको f'(x) का विश्लेषणात्मक व्यंजक चाहिए। जिन फलनों का अवकलज निकालना कठिन है (या होता ही नहीं), वहाँ आपको अन्य तरीका अपनाना होगा।

• प्रारंभिक अनुमान के प्रति संवेदनशील: यदि आप मूल से बहुत दूर से शुरू करते हैं, तो विधि आपको गलत दिशा में भेज सकती है।

• अभिसरित न होना: यदि फलन में समतल क्षेत्र या तीखे वक्र हों, तो स्पर्शरेखा सन्निकटन काम नहीं करता।

• अपसरण या दोलन: खराब मामलों में, अनुमान अभिसरित होने के बजाय मूल से दूर जाते रहते हैं या अनिश्चितकाल तक आगे-पीछे उछलते रहते हैं।

तो न्यूटन की विधि अपनाने से पहले, अपने फलन को समझ लें।

न्यूटन की विधि बनाम अन्य मूल-खोज विधियाँ

न्यूटन की विधि मूल ढूँढने का एकमात्र तरीका नहीं है, और हमेशा आपके लिए सही विकल्प भी नहीं।

दो और विधियाँ अक्सर सामने आती हैं: द्विखंडन (bisection) विधि और सेकेंट विधि। संक्षेप में इन्हें समझें।

द्विखंडन (Bisection) विधि

द्विखंडन विधि तीनों में सबसे सरल है। आप ऐसे अंतराल [a, b] से शुरू करते हैं जहाँ फलन का चिह्न बदलता है — यानी भीतर कहीं न कहीं मूल मौजूद है। फिर आप बार-बार अंतराल को आधा करते हैं, और वही हिस्सा रखते हैं जिसमें अभी भी चिह्न परिवर्तन है।

यह काम करती है, लेकिन धीमी है। हर आवृत्ति में त्रुटि आधी होती है, जो रैखिक अभिसरण है। पर यह तब तक गारंटी से काम करती है जब तक फलन सतत हो और आपका प्रारंभिक अंतराल किसी मूल को ब्रैकेट करता हो। अवकलज की ज़रूरत नहीं।

सेकेंट विधि

सेकेंट विधि न्यूटन की विधि की करीबी रिश्तेदार है। विश्लेषणात्मक रूप से अवकलज निकालने की बजाय, यह उसे दो पिछले अनुमानों से सन्निकट करती है:

सेकेंट विधि का सूत्र

जब अवकलज निकालना कठिन हो, तब यह अच्छा तरीका है। इसकी कीमत अभिसरण गति में चुकानी पड़ती है — सेकेंट विधि द्विखंडन से तेज़ लेकिन न्यूटन से धीमी है।

न्यूटन की विधि के अनुप्रयोग

न्यूटन की विधि विज्ञान, इंजीनियरिंग और मशीन लर्निंग में हर जगह दिखती है। आइए देखें, कैसे।

समीकरणों का संख्यात्मक हल

सबसे प्रत्यक्ष अनुप्रयोग। जब किसी फलन का क्लोज़्ड-फॉर्म हल नहीं होता, न्यूटन की विधि मूल ढूँढती है। यह वैज्ञानिक कंप्यूटिंग में लगातार आता है — जैसे रासायनिक अभिक्रियाओं में संतुलन बिंदु खोजना या सिग्नल प्रोसेसिंग में परामित (transcendental) समीकरणों को हल करना।

सर्वोत्तमकरण (Optimization)

किसी फलन f(x) का न्यूनतम या अधिकतम ढूँढना मतलब यह ढूँढना कि उसका अवकलज कहाँ f'(x) = 0 है। यह मूल-खोज समस्या है — यानी न्यूटन की विधि लागू हो सकती है। आप एल्गोरिथ्म को f(x) के बजाय f'(x) पर चलाते हैं, और पहले अवकलज की जगह दूसरा अवकलज f''(x) लेते हैं।

इसे सर्वोत्तमकरण के लिए न्यूटन की विधि कहते हैं, और यह समतल, सुव्यवस्थित फलनों पर ग्रेडिएंट डीसेंट से तेज़ अभिसरित होती है।

मशीन लर्निंग

मशीन लर्निंग में, किसी मॉडल को प्रशिक्षित करना एक हानि फलन को न्यूनतम करना है। न्यूटन की विधि और इसके रूपांतर यहाँ कई जगह दिखते हैं।

L-BFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno) एक क्वाज़ी-न्यूटन ऑप्टिमाइज़र है जो दूसरे अवकलज का प्रत्यक्ष गणन से बचने के लिए उसका सन्निकटन करता है। यह लॉजिस्टिक रिग्रेशन और अन्य उत्तल (convex) समस्याओं के लिए मानक विकल्प है। न्यूटन की विधि सांख्यिकीय मॉडल फिटिंग, जैसे generalized linear models, में प्रयुक्त Newton-Raphson अपडेट्स का आधार भी है।

भौतिकी और इंजीनियरिंग

न्यूटन की विधि सिमुलेशन और डिज़ाइन में हर जगह है। इंजीनियर इसे भौतिक प्रणालियों का वर्णन करने वाले अरेखीय समीकरण तंत्रों को हल करने में उपयोग करते हैं — जैसे संरचनात्मक तनाव विश्लेषण और द्रव गतिकी। हर मामले में, अंतर्निहित समस्या इस पर सिमटती है कि समीकरणों का समूह कहाँ शून्य के बराबर होता है।

न्यूटन की विधि के साथ आम गलतियाँ

न्यूटन की विधि में अधिकांश त्रुटियाँ चार ही गलतियों पर आ टिकती हैं। आइए इन्हें देखें:

• मूल से बहुत दूर से शुरू करना: खराब प्रारंभिक अनुमान विधि के अपसरण या दोलन का सबसे आम कारण है। यदि आपको मूल का अंदाज़ा नहीं, तो पहले फलन का प्लॉट बनाएँ। इससे आपको शुरुआत कहाँ से करनी है, यह पता चलेगा।

• अवकलज गलत लेना: अपडेट नियम f'(x) पर निर्भर है। गणना की गलती या कोडिंग त्रुटि से गलत अवकलज पहले ही कदम से गलत अनुमान देगा, और त्रुटि आवृत्तियों के साथ बढ़ती जाती है।

• शून्य से भाग देने की जाँच न करना। यदि f'(x_n) शून्य के बराबर है या उसके बहुत क़रीब जाता है, तो अपडेट कदम काम नहीं करेगा। अपने इम्प्लीमेंटेशन में गार्ड जोड़ें: यदि अवकलज किसी छोटे थ्रेशहोल्ड से नीचे चला जाए, तो कोई बकवास परिणाम देने की बजाय रोकें और विफलता रिपोर्ट करें।

• बहुत जल्दी रोक देना। अभिसरण से पहले आवृत्तियाँ रोक देने से आपके पास ऐसा उत्तर रह जाता है जो दिखने में क़रीब है पर है नहीं। अपनी रोकने की शर्त वास्तविक त्रुटि पर रखें — या तो |f(x_n)| पर, या |x_{n+1} - x_n| किसी सोच-समझकर चुने थ्रेशहोल्ड से नीचे आने पर; सिर्फ तयशुदा आवृत्तियों की संख्या पर नहीं।

निष्कर्ष

न्यूटन की विधि संख्यात्मक कंप्यूटिंग के सबसे उपयोगी औज़ारों में से एक है। एक ही अपडेट नियम, जिसे बार-बार लागू किया जाए, कुछ ही आवृत्तियों में मनचाही सटीकता तक मूल ढूँढ सकता है।

उस गति के लिए कुछ शर्तें चुकानी पड़ती हैं। तेज़ अभिसरण के लिए आपको अच्छा प्रारंभिक अनुमान, गैर-समतल, गैर-नुकीला (स्पाइकी) फलन और शून्य-से-भिन्न अवकलज चाहिए। इन शर्तों को समझ लें, तो आपको पता होगा कब न्यूटन की विधि अपनानी है और कब कुछ और (जैसे द्विखंडन या सेकेंट) बेहतर है।

यह अंतर्ज्ञान विकसित करने का सबसे अच्छा तरीका सरल उदाहरणों पर अभ्यास करना है। f(x) = x^2 - 2 से शुरू करें, अलग-अलग प्रारंभिक बिंदु आज़माएँ, और देखें क्या होता है। फिर बहु-मूल या समतल क्षेत्रों वाले फलनों पर जाएँ और देखें विधि कहाँ टूटती है।

यदि आपको आवृत्तियों के ज़रिए सर्वोत्तमकरण की अवधारणा पसंद आई, तो आपको ग्रेडिएंट डीसेंट के बारे में जानना चाहिए। हमारा Gradient Descent in Machine Learning: A Deep Dive पढ़ें और जानें कि यह मशीन लर्निंग के लिए मॉडलों को कैसे ऑप्टिमाइज़ करता है।