GPT-5.2 Codex ट्यूटोरियल: VSCode में डेटा पाइपलाइन बनाएं

इस ट्यूटोरियल में, हम VSCode एक्सटेंशन के जरिए GPT-5.2 Codex का उपयोग करके एक एंड-टू-एंड डेटा इंजीनियरिंग पाइपलाइन बनाना सीखेंगे। मॉडल से एक साथ सब कुछ बनवाने के बजाय, हम MVP को परत-दर-परत बनाएंगे और एजेंट को डिजाइन, इम्प्लीमेंटेशन और टेस्टिंग के हर चरण में चरणबद्ध तरीके से निर्देशित करेंगे। 

यह तरीका दर्शाता है कि व्यावहारिक रूप से GPT-5.2 Codex सबसे अच्छा कैसे काम करता है और यह वास्तविक दुनिया की डेटा इंजीनियरिंग वर्कफ़्लोज़ का प्रतिबिंब है। सुनिश्चित करें कि आप मॉडल के नए संस्करण पर हमारी गाइड, GPT-5.3 Codex, और OpenAI के नए थिंकिंग मॉडल, GPT-5.4, भी देखें।

यदि आप OpenAI इकोसिस्टम के साथ काम करने के बारे में अधिक सीखना चाहते हैं, तो मैं Working with the OpenAI API कोर्स देखने की सलाह देता/देती हूँ। 

GPT-5.2 Codex क्या है?

GPT 5.2 Codex OpenAI के एजेंटिक कोडिंग मॉडलों की नवीनतम पीढ़ी है, जिसे वास्तविक सॉफ्टवेयर इंजीनियरिंग वर्कफ़्लोज़ के लिए बनाया गया है। यह लंबे संदर्भ की समझ, बड़े रिफैक्टर्स और माइग्रेशंस, भरोसेमंद टूल उपयोग, और मजबूत नेटिव Windows सपोर्ट में हालिया सुधारों पर आधारित है। 

ये सुधार विशेष रूप से VSCode जैसे IDEs के अंदर लंबे समय तक चलने वाले, एंड-टू-एंड डेवलपमेंट कार्य के लिए इसे प्रभावी बनाते हैं। पिछले कुछ महीनों में OpenAI Codex VSCode एक्सटेंशन ने काफी सुधार किया है और अब Claude Code के साथ जटिल, एजेंट-ड्रिवन डेवलपमेंट के लिए सीधे प्रतिस्पर्धा कर रहा है।

1. GitHub रिपॉज़िटरी बनाएँ

हम अपनी डेटा इंजीनियरिंग MVP के लिए एक नई GitHub रिपॉज़िटरी बनाकर शुरू करेंगे।

1. यहाँ जाएँ https://github.com/new
2. एक Repository name और वैकल्पिक description दर्ज करें
3. रिपॉज़िटरी की visibility को Public पर सेट करें
4. सक्रिय करें Initialize this repository with a README
5. क्लिक करें Create repository

रिपॉज़िटरी बनने के बाद, रिपॉज़िटरी URL कॉपी करें। अगले चरण में हम इस URL का उपयोग प्रोजेक्ट को लोकली क्लोन करने के लिए करेंगे।

2. VSCode में GPT-5.2 Codex इंस्टॉल और कॉन्फ़िगर करें

शुरू करने से पहले, सुनिश्चित करें कि आपके पास Visual Studio Code इंस्टॉल है और एक सक्रिय ChatGPT Plus अकाउंट है। फ्री और Go प्लान VSCode एक्सटेंशन में Codex मॉडलों तक पहुंच नहीं देते।

1. उस URL का उपयोग करके रिपॉज़िटरी क्लोन करें जिसे आपने पहले कॉपी किया था।

2. रिपॉज़िटरी डायरेक्टरी में जाएँ और VSCode लॉन्च करें।

git clone https://github.com/kingabzpro/data-engineering-analytics-mvp.git
cd data-engineering-analytics-mvp
code .संचालित द्वारा

3. एक्सटेंशंस (Ctrl + Shift + X) में जाएँ, OpenAI Codex खोजें और इंस्टॉल करें। यह केवल कुछ सेकंड लेगा।

4. Codex एक्सटेंशन लॉन्च करने के लिए बाएँ पैनल में OpenAI आइकन पर क्लिक करें। आपको अपने ChatGPT अकाउंट या API अकाउंट का उपयोग करके साइन इन करने के लिए कहा जाएगा। ChatGPT अकाउंट चुनें, जो आपको ब्राउज़र में एक्सेस अप्रूव करने के लिए रीडायरेक्ट करेगा। अप्रूवल के बाद VSCode पर लौटें, और Codex उपयोग के लिए तैयार होगा।

3. डेटा इंजीनियरिंग प्रोजेक्ट बनाएं

यह प्रोजेक्ट जानबूझकर Minimum Viable Product (MVP) के रूप में परिभाषित है। लक्ष्य एक प्रोडक्शन-ग्रेड डेटा प्लेटफ़ॉर्म बनाना नहीं है, बल्कि एक पूरा, एंड-टू-एंड डेटा इंजीनियरिंग स्लाइस बनाना है जो दिखाता है कि वास्तविक एनालिटिक्स सिस्टम कैसे संरचित होते हैं।

इस MVP में, हम एक सरल लेकिन भरोसेमंद एनालिटिक्स पाइपलाइन बनाते हैं जो:

1. एक CSV फ़ाइल इनजेस्ट करती है जिसमें इवेंट डेटा है
2. डेटा को DuckDB में लोड करती है एक रॉ वेयरहाउस टेबल (raw_events) के रूप में
3. SQL-आधारित ट्रांसफ़ॉर्मेशन लागू करती है ताकि एक साफ, एनालिटिक्स-रेडी फैक्ट टेबल (fct_events) तैयार हो
4. तीन कोर मेट्रिक्स की गणना करती है DuckDB SQL का उपयोग करके
5. उन मेट्रिक्स को एक लोकल Streamlit डैशबोर्ड में दिखाती है

पूरा फ़्लो इस प्रकार दिखता है:

CSV file
  ↓
raw_events        (raw ingestion, 1:1 with source)
  ↓
fct_events        (typed, deduplicated, transformed)
  ↓
metrics           (daily count, 7-day rolling avg, top category)
  ↓
Streamlit UI      (local dashboard)संचालित द्वारा

4. GPT-5.2 Codex से प्रोजेक्ट स्कैफोल्ड करें

इस चरण में, हम GPT-5.2 Codex का उपयोग प्रोजेक्ट की शुरुआती संरचना जनरेट करने के लिए करते हैं। लक्ष्य अभी फीचर्स बनाना नहीं है, बल्कि एक साफ, रननेबल आधार तैयार करना है जिसे हम चरण-दर-चरण बढ़ाएँगे।

Codex को केंद्रित रखने के लिए, हम एक छोटा कंट्रोल ब्लॉक उपयोग करते हैं जिसे Codex Harness कहा जाता है। यह हार्नेस हर प्रॉम्प्ट के शीर्ष पर पेस्ट किया जाता है और सुनिश्चित करता है कि Codex MVP स्कोप के भीतर रहे, सुसंगत आउटपुट दे, और साफ, रिव्यूएबल बदलाव कमिट करे।

Codex Harness (हर कार्य में पेस्ट करें):

You are GPT-5.2 Codex working in my GitHub repository.

MVP ONLY:
CSV → raw table → transform → 3 metrics → Streamlit dashboard.

SCOPE RULES:
- Implement ONLY what this task asks.
- No auth, schedulers, cloud services, or extra pages.

OUTPUT:
- Be descriptive.
- After changes include:
  1) What changed
  2) Files touched
  3) How to run locally
  4) Quick verification step
- Commit after each major step with a clear message.संचालित द्वारा

कोड लिखने से पहले, Codex को स्पष्ट रूप से वेब सर्च का उपयोग करके सभी डिपेंडेंसीज़ के नवीनतम Python 3.11 संगत संस्करण सत्यापित करने के लिए कहा जाता है। इससे पुराने या असंगत पैकेज इंस्टॉल होने से बचा जा सकता है।

IMPORTANT: USE WEB SEARCH FIRST
TASK 1 (SCAFFOLD):
Use Python 3.11 + uv + DuckDB + Streamlit + Pydantic + pytest.

Create repo structure:
- backend/
  - db.py
  - ingest.py
  - pipeline.py
  - models.py
  - sql/
- app/
  - app.py
- data/
  - sample.csv
- tests/

Add:
1) data/sample.csv (~50 rows) with columns:
   event_time, user_id, event_name, category, amount
2) DuckDB schema for raw_events
3) a command to ingest sample.csv and print row count
4) pyproject.toml for uv
5) README with exact local run steps

Stop after scaffolding. Commit.संचालित द्वारा

स्कैफोल्डिंग कार्य से तैयार होता है:

• बैकएंड लॉजिक, SQL ट्रांसफ़ॉर्म, UI, डेटा और टेस्ट के लिए एक स्पष्ट फ़ोल्डर संरचना
• एक छोटा sample.csv डेटासेट
• DuckDB का raw_events टेबल स्कीमा
• एक रननेबल इनजेशन कमांड जो रो काउंट प्रिंट करती है
• एक काम करने वाला pyproject.toml और README

प्रॉम्प्ट पेस्ट करने के बाद, मॉडल को Agent (Full Access) पर स्विच करें और सुनिश्चित करें कि GPT-5.2 Codex चयनित है (यह डिफ़ॉल्ट है)।

कार्य पूरा हो जाने पर, आप देखेंगे कि सभी फ़ोल्डर और फ़ाइलें स्वतः बन गई हैं।

स्कैफोल्ड को मान्य करने के लिए, Codex से लोकली इंस्टॉलेशन और वेरिफिकेशन स्टेप्स चलाने के लिए कहें। 

आपको सभी डिपेंडेंसीज़ सफलतापूर्वक इंस्टॉल होती दिखनी चाहिए और क्विक वेरिफिकेशन स्क्रिप्ट यह पुष्टि करती है कि सैंपल डेटासेट से 50 पंक्तियाँ इनजेस्ट हुईं।

इस चरण में, सैंपल डेटा जानबूझकर छोटा है। आगे के चरणों में, हम इसे बड़े, अधिक यथार्थवादी डेटासेट से बदलेंगे।

अंत में, यदि आप https://chatgpt.com/codex/settings/usage चेक करते हैं, तो आपको दिखेगा कि आपके उपयोग कोटा का अधिकांश भाग उपलब्ध है, यानी आप निश्चिंत होकर इस प्रोजेक्ट को बनाना और दोहराना जारी रख सकते हैं, और जरूरत पड़ने पर इसे अधिक प्रोडक्शन-रेडी पाइपलाइन तक बढ़ा सकते हैं।

5. आइडेम्पोटेंट डेटा इनजेशन लागू करें

इस चरण में, हम सुनिश्चित करते हैं कि इनजेशन प्रक्रिया आइडेम्पोटेंट हो, यानी इसे सुरक्षित रूप से फिर से चलाया जा सके बिना डुप्लिकेट डेटा बनाए। यह डेटा इंजीनियरिंग में एक बुनियादी आवश्यकता है, क्योंकि इनजेशन जॉब्स को अक्सर रिट्राई या दोबारा चलाने की आवश्यकता पड़ती है।

TASK 2 (IDEMPOTENT INGEST):
Make CSV ingestion idempotent.
- Rerunning ingest must not duplicate rows
- Validate required columns
- Validate event_time parseable and amount numeric

Add pytest:
- ingest twice → row count unchanged

Update README verification section.
Commit.संचालित द्वारा

यह चरण क्या हासिल करता है:

• अब वही CSV कई बार इनजेस्ट करने पर भी इनजेशन लॉजिक डुप्लिकेट पंक्तियों को रोकता है
• इनजेस्ट समय पर बेसिक डेटा वैलिडेशन लागू होता है
• एक pytest टेस्ट दो बार इनजेस्ट चलाकर और रो काउंट अपरिवर्तित रहने की जाँच करके आइडेम्पोटेंसी की पुष्टि करता है

कार्य पूरा होने के बाद, आप VSCode में Git इतिहास की समीक्षा कर सकते हैं और देख सकते हैं कि एआई एजेंट बड़े अपडेट के बाद स्वचालित रूप से बदलाव कमिट करता है। यह एक साफ और ट्रेसेबल डेवलपमेंट इतिहास प्रदान करता है।

हमने इस कार्य के हिस्से के रूप में GPT-5.2 Codex से टेस्ट सूट चलाने के लिए कहा। नतीजतन, टेस्ट सफलतापूर्वक चले और सभी चेक पास हुए।

6. ट्रांसफ़ॉर्मेशन लेयर जोड़ें (DuckDB SQL)

इस चरण में, हम पाइपलाइन की ट्रांसफ़ॉर्मेशन लेयर जोड़ते हैं। ट्रांसफ़ॉर्मेशन DuckDB SQL का उपयोग करके इम्प्लीमेंट किए जाते हैं, जिससे हम रॉ इनजेस्टेड डेटा को एक साफ, एनालिटिक्स-रेडी फैक्ट टेबल में बदल पाते हैं।

TASK 3 (TRANSFORM SQL):
Create backend/sql/010_fct_events.sql:
- typed columns
- deterministic dedupe

Execute transform from backend/pipeline.py.
Add sanity checks to README:
- raw_events count
- fct_events count

Commit.संचालित द्वारा

यह चरण क्या हासिल करता है:

• एक SQL-आधारित ट्रांसफ़ॉर्मेशन जो raw_events को fct_events में बदलता है
• सुसंगत स्कीमा सुनिश्चित करने के लिए स्पष्ट टाइप कास्टिंग
• डुप्लिकेट विश्लेषणात्मक रिकॉर्ड रोकने के लिए नियतात्मक डिडुप्लीकेशन
• README में स्पष्ट वैलिडेशन स्टेप्स, ताकि रॉ और ट्रांसफ़ॉर्म्ड रो काउंट्स की तुलना की जा सके

7. Pydantic के साथ मेट्रिक्स लेयर बनाएं

इस चरण में, हम मेट्रिक्स लेयर जोड़ते हैं, जो ट्रांसफ़ॉर्म किए गए डेटा से विश्लेषणात्मक आउटपुट की गणना करने के लिए जिम्मेदार है। मेट्रिक्स DuckDB SQL का उपयोग करके निकाले जाते हैं और सिस्टम के बाकी हिस्से के लिए एक टाइप्ड Python इंटरफ़ेस के जरिए प्रस्तुत किए जाते हैं।

TASK 4 (METRICS):
Create backend/sql/020_metrics.sql.
Expose metrics via a Python function returning a Pydantic model.

Add pytest validating:
- keys exist
- types correct

Commit.संचालित द्वारा

यह चरण क्या हासिल करता है:

• एक समर्पित SQL फ़ाइल जो कोर विश्लेषणात्मक मेट्रिक्स को परिभाषित करती है
• एक Python फ़ंक्शन जो डेटा लेयर और UI के बीच एक स्पष्ट अनुबंध की तरह कार्य करता है
• Pydantic का उपयोग करके मेट्रिक आउटपुट का सख्त टाइपिंग
• स्वचालित टेस्ट जो मेट्रिक्स की संरचना और शुद्धता दोनों की पुष्टि करते हैं

8. Streamlit डैशबोर्ड से विज़ुअलाइज़ करें

इस चरण में, हम Streamlit का उपयोग करके लोकल एनालिटिक्स डैशबोर्ड बनाते हैं। डैशबोर्ड केवल विज़ुअलाइज़ेशन के लिए जिम्मेदार है। यह मेट्रिक्स की गणना नहीं करता या डेटा ट्रांसफ़ॉर्म नहीं करता। सभी मान पिछले चरण में बनी मेट्रिक्स लेयर से पढ़े जाते हैं।

TASK 5 (STREAMLIT UI):
Build app/app.py:
- 3 KPI cards
- line chart for daily_count
- UI calls backend metrics function

Add a minimal smoke test.
Commit.संचालित द्वारा

कार्य पूरा होने के बाद, Codex DuckDB डेटाबेस को फिर से बनाने और पूरी डेटा पाइपलाइन चलाने के निर्देश देता है। इस चरण के लिए, हम एक नए डेटाबेस का उपयोग करते हैं जिसमें बड़ा डेटासेट भरा गया है।

python backend\ingest.py --csv data\sample.csv
python backend\pipeline.pyसंचालित द्वारा

इनजेशन चलाने के बाद, आउटपुट DuckDB में लोड किए गए रॉ इवेंट्स की संख्या की पुष्टि करता है:

raw_events row count: 3738संचालित द्वारा

पाइपलाइन पूरी होने के बाद, Streamlit एप्लिकेशन शुरू करें:

streamlit run app\app.pyसंचालित द्वारा

आप अपने ब्राउज़र में http://localhost:8501 URL खोलकर डैशबोर्ड एक्सेस कर सकते हैं।

You can now view your Streamlit app in your browser.

  Local URL: http://localhost:8501
  Network URL: http://192.168.18.10:8501संचालित द्वारा

यदि डैशबोर्ड पहली बार लोड होने पर कोई त्रुटि दिखाई दे, तो शुरुआती इटरेशन के दौरान यह अपेक्षित है। त्रुटि संदेश कॉपी करें और GPT-5.2 Codex को दें।

Codex समस्या की पहचान करेगा और आवश्यक फिक्स लागू करेगा। सुधार के बाद, एप्लिकेशन सफलतापूर्वक चलता है और यह प्रदर्शित करता है:

• इवेंट्स की कुल संख्या
• यूनिक उपयोगकर्ताओं की संख्या
• कुल ट्रांज़ैक्शन अमाउंट
• कई वर्षों में दैनिक इवेंट काउंट दिखाने वाला एक लाइन चार्ट

इस बिंदु पर, एंड-टू-एंड MVP पाइपलाइन पूरी और पूर्णत: कार्यात्मक है।

9. टेस्टिंग और भरोसा

अंतिम चरण में, हम सत्यापन और विश्वसनीयता पर ध्यान केंद्रित करते हैं। उद्देश्य एक ऐसा सिंगल कमांड प्रदान करना है जो यह साबित करे कि पूरी पाइपलाइन इनजेशन से लेकर मेट्रिक्स और टेस्टिंग तक सही से काम करती है।

TASK 6 (VERIFY):
Add a verify command that:
- rebuilds DB from scratch
- ingests sample.csv
- runs transforms
- runs pytest

Document as "Local Demo" and "Verify" in README.
Commit.संचालित द्वारा

यह चरण क्या हासिल करता है:

• एक सिंगल वेरिफिकेशन कमांड जो पूरे एंड-टू-एंड पाइपलाइन को मान्य करता है
• इनजेशन, ट्रांसफ़ॉर्मेशन और टेस्ट्स का सही क्रम में स्वचालित निष्पादन
• स्पष्ट डॉक्यूमेंटेशन जो किसी को भी लोकली परिणाम दोहराने की अनुमति देता है

हमने Codex से README अपडेट करने, सभी बदलाव कमिट करने और उन्हें GitHub रिमोट रिपॉज़िटरी पर पुश करने के लिए कहा है।

परिणाम एक पूर्ण और सुव्यवस्थित GitHub रिपॉज़िटरी है जिसमें सभी स्क्रिप्ट्स, टेस्ट्स, बैकएंड लॉजिक और प्रोजेक्ट को चलाने और सत्यापित करने के लिए स्पष्ट निर्देश शामिल हैं।

स्रोत: kingabzpro/data-engineering-analytics-mvp

अंतिम विचार 

मैंने पहले कभी-कभी CLI और VSCode में Codex का उपयोग किया है, लेकिन GPT-5.2 Codex के हालिया अपडेट्स ने एक स्पष्ट अंतर पैदा किया है। मॉडल संपूर्ण सिस्टम बनाने, समस्याओं को डिबग करने और MCP व आंतरिक टूलिंग जैसे टूल्स के साथ काम करने में काफी बेहतर है। यह मौजूदा कोडबेस की समझ में भी कहीं अधिक मजबूत है, जिससे इटरेटिव डेवलपमेंट कहीं अधिक कुशल हो जाता है।

शुरू से अंत तक, इस पूरे MVP को मुझे स्कैफोल्ड, डिबग और एंड-टू-एंड चलाने में तीस मिनट से भी कम समय लगा। Codex ने बहुत कम मैनुअल हस्तक्षेप के साथ रिपॉज़िटरी सेटअप, डिपेंडेंसी मैनेजमेंट, डेटा इनजेशन, SQL ट्रांसफ़ॉर्मेशन, टेस्टिंग और Streamlit डैशबोर्ड संभाला। डेवलपमेंट लूप कसावटभरा और अनुमानित लगा, जो कि तेज़ी से निर्माण करते समय आप बिल्कुल चाहते हैं।

यह प्रोजेक्ट जानबूझकर एक MVP है। प्रोडक्शन-रेडी बनने के लिए इसमें अतिरिक्त इटरेशन और हार्डनिंग की आवश्यकता होगी। फिर भी, कोर संरचना वास्तविक डेटा इंजीनियरिंग सिस्टम्स के डिज़ाइन से काफ़ी मेल खाती है, जो इसे आगे निर्माण करने के लिए एक ठोस आधार बनाती है।

यदि आप इस प्रोजेक्ट को अधिक प्रोडक्शन-ओरिएंटेड डेटा प्लेटफ़ॉर्म की ओर बढ़ाने में रुचि रखते हैं, तो निम्नलिखित घटक स्वाभाविक अगले कदम हैं लेकिन स्कोप केंद्रित रखने के लिए यहाँ जानबूझकर शामिल नहीं किए गए:

• वर्कफ़्लो ऑर्केस्ट्रेशन टूल्स जैसे Airflow, Prefect, या Dagster
• क्लाउड डेटा वेयरहाउस जैसे Snowflake, BigQuery, Redshift, या Databricks
• dbt को एक अलग ट्रांसफ़ॉर्मेशन फ़्रेमवर्क के रूप में, क्योंकि SQL मॉडल सीधे DuckDB में लिखे गए हैं
• स्ट्रीमिंग और रियल-टाइम इनजेशन प्लेटफ़ॉर्म जैसे Kafka, Pulsar, Kinesis, या Flink
• सेमांटिक लेयर्स और मेट्रिक्स स्टोर्स जैसे Looker, Cube, Druid, या Pinot
• प्रमाणीकरण, प्राधिकरण, और मल्टी-टेनेंसी
• क्लाउड इन्फ्रास्ट्रक्चर, CI/CD पाइपलाइंस, और इन्फ्रास्ट्रक्चर ऐज़ कोड जैसे टूल्स का उपयोग करते हुए Terraform या GitHub Actions
• एडवांस्ड परफ़ॉर्मेंस ट्यूनिंग और बड़े पैमाने पर ऑप्टिमाइज़ेशन
• डेटा गवर्नेंस और ऑब्ज़र्वेबिलिटी टूलिंग, जिनमें लिनिएज, कैटलॉग्स, और डेटा क्वालिटी प्लेटफ़ॉर्म शामिल हैं

ये टूल्स प्रोडक्शन सिस्टम्स में आम हैं, लेकिन उन्हें यहाँ शामिल न करना प्रोजेक्ट को सरल, लोकल और समझने में आसान रखता है, जबकि फिर भी वास्तविक दुनिया के डेटा इंजीनियरिंग पैटर्न को दर्शाता है।