Big Data Processing - UPSSSC Mains

Comprehensive Concept Mindmap: Big Data Architecture, Hadoop, Spark & NoSQL विस्तृत संकल्पना माइंडमैप: बिग डेटा प्रोसेसिंग, हडूप पारिस्थितिकी, स्पार्क एवं NoSQL

Exhaustive Thematic Flow • 6 Pillars • The 5 V's of Big Data • Hadoop (HDFS, YARN, MapReduce) • Apache Spark In-Memory • NoSQL & CAP Theorem • UP State Analytics समग्र विषयवार संकल्पना प्रवाह • 6 प्रमुख स्तंभ • बिग डेटा के 5 V's • हडूप (HDFS, YARN, मैप-रिड्यूस) • अपाचे स्पार्क इन-मेमोरी • NoSQL एवं CAP प्रमेय • उप्र शासन डेटा एनालिटिक्स

Big Data Distributed Computing Architecture बिग डेटा वितरित कंप्यूटिंग वास्तुकला

1. Definition & The 5 V's 1. बिग डेटा परिभाषा एवं 5 V's

Doug Laney 2001 • 5 V's

The 5 V's Dimensions बिग डेटा के 5 प्रमुख आयाम

Volume (Terabytes to Zettabytes) Velocity (Real-Time Streams) Variety (Structured / Semi / Unstructured) Veracity (Trustworthiness & Noise) Value (Actionable Business ROI) Doug Laney (Original 3 V's, 2001)

Detailed Meaning of Each Dimension प्रत्येक आयाम का विस्तृत अर्थ

Big Data Definition: Massive, complex datasets that exceed processing capacity of conventional Relational Database Management Systems (RDBMS). Doug Laney introduced original 3 V's (Volume, Velocity, Variety) in 2001 at META Group/Gartner. बिग डेटा परिभाषा: इतना विशाल व जटिल डेटा जिसे पारंपरिक रिलेशनल डेटाबेस (RDBMS) द्वारा प्रोसेस नहीं किया जा सकता। डग लैनी ने 2001 में मूल 3 V's (वॉल्यूम, वेलोसिटी, वैरायटी) प्रस्तुत किए।
Volume, Velocity & Variety: Volume: Sheer scale of data generated (PB, EB, ZB). Velocity: Speed at which data arrives and must be processed (batch vs real-time IoT feeds). Variety: Diverse types (text, clickstreams, images, audio, video). वॉल्यूम, वेलोसिटी एवं वैरायटी: वॉल्यूम: डेटा का विशाल परिमाण (पेटाबाइट, जेटाबाइट)। वेलोसिटी: डेटा उत्पादन व प्रवाह की तीव्र गति (रियल-टाइम)। वैरायटी: डेटा के विभिन्न प्रकार (ऑडियो, वीडियो, टेक्स्ट, लॉग्स)।
Veracity & Value: Veracity: Cleanliness, reliability, and accuracy of data (handling noise, bias, anomalies). Value: Ultimate business or governance outcome extracted from analyzing raw data. वेरासिटी एवं वैल्यू: वेरासिटी (सत्यता): डेटा की प्रामाणिकता, शुद्धता और विश्वसनीयता (शोर व गलतियों की छंटनी)। वैल्यू (मूल्य): विश्लेषण के पश्चात प्राप्त उपयोगी परिणाम व निर्णय शक्ति।

UPSSSC Top Note: Doug Laney introduced the original 3 V's in 2001; the expanded 5 V's are Volume, Velocity, Variety, Veracity, and Value! UPSSSC मुख्य बिंदु: डग लैनी ने 2001 में मूल 3 V's दिए थे; बिग डेटा के 5 V's हैं: वॉल्यूम, वेलोसिटी, वैरायटी, वेरासिटी और वैल्यू!

2. Data Types & Formats 2. डेटा प्रारूप एवं स्टोरेज फॉर्मेट्स

Structured • Parquet • ORC

Classifications & Formats डेटा श्रेणियां एवं स्टोरेज प्रारूप

Structured (RDBMS Tables, SQL) Semi-Structured (JSON, XML, YAML) Unstructured (80% Data, Video/Audio/PDF) Apache Parquet (Columnar, Fast Analytics) Apache ORC (Optimized Row Columnar) Apache Avro (Row-based, Schema Evolution)

Characteristics & Columnar Storage विशेषताएं एवं कॉलमनर स्टोरेज का महत्व

Three Data Formats: Structured Data: Predefined schema, tabular rows and columns (e.g. MySQL, Oracle, bank ledgers). Semi-Structured: Self-describing schema with hierarchical tags (JSON, XML, CSV). Unstructured Data: No predefined data model (~80-90% of all data; text emails, PDF contracts, CCTV video, social media posts). डेटा के तीन रूप: संरचित (Structured): निश्चित स्कीमा, पंक्ति-स्तंभ युक्त टेबल (SQL डेटाबेस)। अर्ध-संरचित (Semi-Structured): टैग्स व की-वैल्यू पर आधारित (JSON, XML)। असंरचित (Unstructured): बिना किसी पूर्व-निर्धारित संरचना वाला ~80% डेटा (वीडियो, ऑडियो, ईमेल, PDF)।
Columnar Storage (Parquet / ORC): Unlike row-oriented formats (CSV, Avro), Columnar storage groups data by column. When querying specific columns (e.g. SELECT AVG(salary)), it only reads relevant disk blocks, reducing disk I/O by 90%+ and enabling extreme data compression (Snappy). कॉलमनर स्टोरेज (Parquet / ORC): डेटा को पंक्तियों के बजाय स्तंभों में संग्रहीत करता है; जब केवल कुछ स्तंभ पढ़ने हों तो पूरे डेटा को पढ़ने की आवश्यकता नहीं होती, जिससे 90%+ डिस्क I/O बचता है।

UPSSSC Top Note: ~80-90% of enterprise data is Unstructured; Apache Parquet is a columnar storage file format optimized for fast analytical queries! UPSSSC मुख्य बिंदु: विश्व का लगभग 80-90% डेटा 'असंरचित' (Unstructured) है; अपाचे पारकेट (Parquet) कॉलमनर स्टोरेज प्रारूप है जो तेज एनालिटिक्स देता है!

3. Apache Hadoop Ecosystem 3. अपाचे हडूप वितरित पारिस्थितिकी

Doug Cutting 2006 • HDFS

Hadoop Components & Architecture हडूप के घटक एवं वास्तुकला

Doug Cutting & Mike Cafarella (2006) HDFS (NameNode Master, DataNode Worker) Block Size (Default 128 MB) Replication Factor (Default 3 Copies) YARN (Yet Another Resource Negotiator) MapReduce (Map -> Shuffle & Sort -> Reduce) Hive & Pig (SQL & Scripting)

HDFS & MapReduce Mechanics HDFS एवं मैप-रिड्यूस कार्यप्रणाली

Hadoop Origins (2006): Created by Doug Cutting & Mike Cafarella based on Google's GFS (2003) and MapReduce (2004) whitepapers; named after toy yellow elephant. Open-source framework for distributed storage and processing across clusters of commodity hardware. हडूप का उद्भव (2006): डग कटिंग व माइक कैफेरेला द्वारा गूगल के शोधपत्रों पर आधारित; सामान्य हार्डवेयर क्लस्टर पर विशाल डेटा संचयन व प्रोसेसिंग का ओपन-सोर्स ढांचा।
HDFS Master-Worker Architecture: NameNode (Master): Manages filesystem namespace, metadata, and maps data blocks to DataNodes. DataNode (Worker): Stores actual data blocks on local disks. Default block size is 128 MB; default replication factor is 3 (rack awareness prevents data loss). HDFS मास्टर-वर्कर वास्तुकला: नेमनोड (NameNode - मास्टर): मेटाडेटा और फाइल डायरेक्टरी रखता है। डेटानेम (DataNode - वर्कर): वास्तविक डेटा ब्लॉक्स सुरक्षित रखता है। डिफॉल्ट ब्लॉक आकार 128 MB तथा डिफॉल्ट प्रतिकृति (Replication Factor) 3 है।
MapReduce Computation: Map: Takes input chunks, applies user function, outputs key-value pairs (K1, V1) -> list(K2, V2). Shuffle & Sort: Groups all values sharing identical key. Reduce: Aggregates intermediate values for each key (K2, list(V2)) -> list(K3, V3). मैप-रिड्यूस प्रोसेसिंग: मैप: इनपुट डेटा को की-वैल्यू पेयर में तोड़ता है। शफल व सॉर्ट: समान की (Keys) वाले डेटा को एक साथ समूहीकृत करता है। रिड्यूस: एकत्रित डेटा का योग या गणना कर अंतिम परिणाम देता है।

UPSSSC Top Note: HDFS default block size is 128 MB; default replication factor is 3; NameNode is the Master storing metadata while DataNode stores actual data! UPSSSC मुख्य बिंदु: HDFS में डिफॉल्ट ब्लॉक आकार 128 MB और रेप्लिकेशन फैक्टर 3 होता है; नेमनोड मेटाडेटा का मास्टर है तथा डेटानेम वास्तविक डेटा रखता है!

4. Apache Spark & In-Memory 4. अपाचे स्पार्क एवं इन-मेमोरी कंप्यूटिंग

100x Faster • RDD • DAG

Spark Core & Ecosystem स्पार्क के घटक एवं अमूर्त संरचनाएं

Matei Zaharia (UC Berkeley AMPLab 2009) 100x Speed (In-Memory Processing) RDD (Resilient Distributed Dataset) DAG Engine (Directed Acyclic Graph) Lazy Evaluation (Transformations vs Actions) Spark SQL & DataFrames Spark Streaming & MLlib

Spark In-Memory Architecture vs MapReduce स्पार्क इन-मेमोरी बनाम हडूप मैप-रिड्यूस

Why Spark is 100x Faster: MapReduce writes intermediate state back to slow physical disks between every map and reduce phase. Apache Spark keeps intermediate computation in cluster RAM (In-Memory Computing), performing iterative algorithms up to 100x faster than MapReduce. स्पार्क 100 गुना तेज क्यों है: मैप-रिड्यूस प्रत्येक चरण के बाद डेटा को धीमी हार्ड डिस्क पर लिखता है। स्पार्क मध्यवर्ती गणनाओं को सीधे क्लस्टर की रैम (इन-मेमोरी) में रखता है, जिससे चक्रीय एल्गोरिदम 100 गुना तेज चलते हैं।
RDD (Resilient Distributed Dataset): Fundamental data structure of Spark. Immutable, fault-tolerant collection of elements partitioned across cluster nodes. Fault tolerance achieved via Lineage Graph (re-computes lost partitions without data replication). RDD (रेज़िलिएंट डिस्ट्रीब्यूटेड डेटासेट): स्पार्क की मूल संरचना। अपरिवर्तनीय, फॉल्ट-टॉलरेंट डेटा समूह। यदि कोई नोड क्रैश हो जाए तो लीनिएज ग्राफ खोए हुए हिस्से को मेमोरी में पुनः बना लेता है।
Transformations vs Actions: Transformations: Create new RDD from existing RDD (e.g. map(), filter()); evaluated lazily (computation NOT executed until action called). Actions: Trigger actual computation and return value to driver (e.g. count(), collect(), save()). ट्रांसफॉर्मेशन बनाम एक्शन: ट्रांसफॉर्मेशन: नया RDD बनाते हैं (map, filter); लेज़ी इवैल्यूएशन (तुरंत निष्पादित नहीं होते)। एक्शन: वास्तविक गणना शुरू कराते हैं (count, collect, save)।

UPSSSC Top Note: Spark is up to 100x faster than MapReduce due to in-memory processing; RDD is the core abstraction; Spark uses Lazy Evaluation! UPSSSC मुख्य बिंदु: इन-मेमोरी प्रोसेसिंग के कारण स्पार्क मैप-रिड्यूस से 100 गुना तेज है; RDD स्पार्क की मुख्य इकाई है; स्पार्क लेज़ी इवैल्यूएशन पर कार्य करता है!

5. NoSQL & The CAP Theorem 5. NoSQL डेटाबेस एवं CAP प्रमेय

Not Only SQL • Brewer 2000

NoSQL Models & CAP Constraints NoSQL प्रकार एवं CAP सिद्धांत

Document Store (MongoDB, JSON/BSON) Key-Value Store (Redis, Fast Cache) Column-Family (Cassandra, HBase) Graph Database (Neo4j, Nodes & Edges) CAP Theorem (Consistency, Availability, Partition) BASE Properties (Eventual Consistency)

NoSQL Paradigms & CAP Proof NoSQL प्रकार एवं CAP प्रमेय की शर्तें

Four NoSQL Database Categories: 1. Document Store: Stores semi-structured JSON/BSON documents with flexible schema (MongoDB, CouchDB). 2. Key-Value: Ultra-fast hash table lookups (Redis, DynamoDB). 3. Wide-Column: Massive write throughput partitioned across rows and dynamic columns (Cassandra, HBase). 4. Graph: Models interconnected nodes and relationships (Neo4j). NoSQL के 4 प्रमुख प्रकार: 1. डॉक्यूमेंट स्टोर: JSON/BSON में लचीला डेटा संचयन (MongoDB)। 2. की-वैल्यू: अति-तीव्र हैश टेबल (Redis)। 3. वाइड-कॉलम: भारी राइट क्षमता (Cassandra, HBase)। 4. ग्राफ डेटाबेस: संबंधों और नेटवर्कों का विश्लेषण (Neo4j)।
Eric Brewer's CAP Theorem (2000): Any distributed data store can guarantee at most TWO of three properties simultaneously: Consistency (C): Every read receives most recent write. Availability (A): Every non-failing node returns response. Partition Tolerance (P): System operates despite network dropped messages. Distributed systems must pick CP (MongoDB, HBase) or AP (Cassandra, CouchDB). एरिक ब्रेवर का CAP प्रमेय (2000): किसी वितरित डेटाबेस में तीन में से केवल दो गुण ही एक साथ संभव हैं: कंसिस्टेंसी (C): हर बार नवीनतम डेटा मिलना। अवेलेबिलिटी (A): सिस्टम का सदैव उत्तर देना। पार्टिशन टॉलरेंस (P): नेटवर्क टूटने पर भी चलते रहना। वितरित प्रणालियां CP या AP चुनती हैं।

UPSSSC Top Note: CAP Theorem states a distributed database can only achieve 2 of C, A, and P; MongoDB is a Document-based NoSQL database; Redis is Key-Value! UPSSSC मुख्य बिंदु: CAP प्रमेय के अनुसार वितरित डेटाबेस C, A और P में से केवल 2 चुन सकता है; MongoDB डॉक्यूमेंट-आधारित तथा Redis की-वैल्यू डेटाबेस है!

6. Big Data in India & UP State 6. भारत एवं उत्तर प्रदेश में बिग डेटा गवर्नेंस

Aadhaar • GSTN • UP HMIS

National Systems & UP Megaprojects राष्ट्रीय प्रणालियां एवं उप्र मेगाप्रोजेक्ट्स

UIDAI Aadhaar (1.4+ Billion Biometrics) GSTN System (Billions of Invoices) UPI Mega-Engine (10+ Billion Tx/Month) UP Health MIS (HMIS District Health) UP CCTNS (Police Crime Network) UP CM Dashboard (darpan.up.gov.in)

Mega-Scale Data Architecture & UP Portals विशाल डेटा वास्तुकला एवं उप्र पोर्टल प्रभाव

UIDAI Aadhaar Architecture: World's largest biometric identity database storing multimodal biometrics (fingerprints, iris, photo) of 1.4+ billion residents; processes millions of daily e-KYC authentications using massive Hadoop and NoSQL distributed clusters. UIDAI आधार वास्तुकला: 1.4 अरब से अधिक नागरिकों के फिंगरप्रिंट व आइरिस बायोमेट्रिक वाला विश्व का सबसे बड़ा डेटाबेस; हडूप व NoSQL क्लस्टर द्वारा दैनिक करोड़ों ई-KYC प्रमाणीकरण।
UP CM Dashboard (Darpan Portal): Real-time big data analytical portal (darpan.up.gov.in) monitoring performance, KPI scores, fund utilization, and flagship public schemes across all 75 districts and 18 divisions of Uttar Pradesh. उप्र सीएम डैशबोर्ड (दर्पण पोर्टल): राज्य के 75 जिलों और 18 मंडलों में सरकारी योजनाओं, फंड उपयोग व विकास कार्यों की रियल-टाइम बिग डेटा मॉनिटरिंग प्रणाली।
UP CCTNS Police Network: Crime and Criminal Tracking Network & Systems integrates 1,500+ police stations across Uttar Pradesh into a centralized big data store for criminal record analytics and instant inter-district lookups. उप्र CCTNS पुलिस नेटवर्क: उत्तर प्रदेश के 1,500 से अधिक थानों को केंद्रीकृत बिग डेटा नेटवर्क से जोड़कर अपराध व अपराधियों के रिकॉर्ड का त्वरित विश्लेषण।

UPSSSC Top Note: UIDAI Aadhaar is the world's largest biometric database powered by Big Data; UP CM Dashboard monitors all 75 districts using real-time KPI data analytics! UPSSSC मुख्य बिंदु: UIDAI आधार बिग डेटा पर संचालित विश्व का सबसे बड़ा बायोमेट्रिक डेटाबेस है; उप्र सीएम डैशबोर्ड राज्य के सभी 75 जिलों की रियल-टाइम मॉनिटरिंग करता है!

1. Definition, 5 V's Characteristics & Types of Big Data 1. बिग डेटा की परिभाषा, 5 V's लक्षण एवं डेटा के प्रकार

Definition of Big Data:
• Extremely large, complex, and rapidly growing datasets that cannot be captured, stored, managed, or analyzed using traditional Relational Database Management Systems (RDBMS).
• Term popularized in the late 1990s by John Mashey (SGI); formal framework of 3 V's defined by analyst Doug Laney (2001) at Gartner, later expanded to the 5 V's. बिग डेटा की परिभाषा:
• डेटा का वह अत्यंत विशाल, तीव्र गति से बढ़ने वाला और विविधतापूर्ण संग्रह, जिसे पारंपरिक रिलेशनल डेटाबेस (RDBMS जैसे SQL Server, Oracle) द्वारा संग्रहीत, प्रबंधित या विश्लेषित नहीं किया जा सकता।
• 2001 में गार्टनर के विश्लेषक डग लेसी (Doug Laney) ने इसके 3 V's मॉडल को प्रतिपादित किया था, जो बाद में 5 V's के रूप में प्रसिद्ध हुआ।

The 5 V's5 V's लक्षण	Core Definitionमूल परिभाषा	Practical Examplesव्यावहारिक उदाहरण
1. Volume (विशालता)	The astronomical quantity of generated and stored data, scaling from Terabytes (TB) → Petabytes (PB) → Exabytes (EB) → Zettabytes (ZB).डेटा का अभूतपूर्व आकार; टेराबाइट से बढ़कर पेटाबाइट, एक्साबाइट और जेटाबाइट में पहुंचना।	Aadhaar biometric database (1.4+ billion records), Walmart transactions, YouTube video archives
2. Velocity (गति)	The astonishing speed at which new data is generated, transmitted, and needs to be processed in real-time or near real-time.डेटा उत्पन्न होने और उसके विश्लेषण की तीव्र गति (मिलीसेकंड में निर्णय)।	UPI payments, stock exchange trading feeds, Formula 1 telemetry, Twitter/X posts feed
3. Variety (विविधता)	The diverse forms and formats of incoming data: Structured (tables), Semi-structured (JSON, XML), and Unstructured (video, audio).डेटा के विविध प्रारूप: संरचित (तालिकाएं), अर्ध-संरचित (JSON/XML), एवं असंरचित (वीडियो, चित्र, पीडीएफ)।	Emails, WhatsApp voice notes, CCTV surveillance video, IoT sensor telemetry, hospital MRI scans
4. Veracity (सत्यता / गुणवत्ता)	The trustworthiness, quality, accuracy, and reliability of the data. Dirty, duplicate, or noisy data requires scrubbing.डेटा की विश्वसनीयता और प्रामाणिकता। अपूर्ण, फर्जी या त्रुटिपूर्ण डेटा को साफ (Cleaning) करना।	Spam social reviews, incomplete GPS breadcrumbs, sensor signal noise filtering
5. Value (मूल्य / उपयोगिता)	The ultimate objective: The actionable business insights, predictive capability, or governance policy derived from analyzing Big Data.अंतिम उद्देश्य: भारी डेटा के विश्लेषण से निकलने वाले उपयोगी निष्कर्ष, जिससे नीतियां या निर्णय लिए जा सकें।	Predicting disease outbreaks, detecting financial tax evasion (GSTN), reducing traffic congestion

The Three Data Structures (Structured vs Semi-Structured vs Unstructured): डेटा के तीन मुख्य प्रारूप (संरचित, अर्ध-संरचित एवं असंरचित):

Structured Data (संरचित डेटा ~20% of data): Organized into fixed, predefined schemas with strict rows and columns. Easily searchable using SQL. Examples: RDBMS tables (MySQL, Oracle, PostgreSQL), Excel spreadsheets, bank account transaction tables. संरचित डेटा (~20%): निश्चित स्कीमा, पंक्तियों और कॉलमों में व्यवस्थित। SQL द्वारा आसानी से खोजा जा सकता है (जैसे बैंक लेजर, छात्र अंक तालिका)।
Semi-Structured Data (अर्ध-संरचित डेटा): Does not conform to rigid tabular schemas, but contains internal markers, tags, or hierarchies to separate data elements. Examples: JSON (JavaScript Object Notation), XML, HTML files, NoSQL document stores. अर्ध-संरचित डेटा: कठोर टेबल में नहीं होता, परंतु इसमें डेटा तत्वों को अलग करने हेतु टैग्स या की-वैल्यू पेयर होते हैं (जैसे JSON, XML, NoSQL)।
Unstructured Data (असंरचित डेटा ~80% of all data): Has no predefined conceptual structure, model, or schema. Heavily text, audio, or video based. Examples: CCTV footage, audio recordings, scanned PDFs, social media posts, satellite imagery. असंरचित डेटा (~80%): कोई पूर्व-निर्धारित संरचना या मॉडल नहीं होता। वीडियो, ऑडियो, सीसीटीवी फुटेज, सोशल मीडिया पोस्ट, उपग्रह चित्र।

2. The Apache Hadoop Ecosystem & Storage Architecture (HDFS & MapReduce) 2. अपाचे हडूप इकोसिस्टम एवं स्टोरेज वास्तुकला (HDFS एवं मैपरिड्यूस)

What is Apache Hadoop?
• An open-source software framework created in 2006 by Doug Cutting and Mike Cafarella (originally inspired by Google's GFS and MapReduce white papers; named after Cutting's son's yellow toy elephant).
• Enables distributed storage and distributed processing of very large datasets across clusters of commodity hardware using simple programming models.
• Highly fault-tolerant with automatic data replication across nodes. अपाचे हडूप (Apache Hadoop) क्या है?
• वर्ष 2006 में डग कटिंग (Doug Cutting) और माइक कैफेरेला द्वारा विकसित ओपन-सोर्स फ्रेमवर्क (गूगल के GFS और MapReduce पेपर से प्रेरित; नाम डग कटिंग के बेटे के खिलौना हाथी पर रखा गया)।
• सामान्य सस्ते कंप्यूटरों (Commodity Hardware) के क्लस्टर पर भारी डेटा को समानांतर रूप से संग्रहीत और संसाधित करने में सक्षम।
HDFS (Hadoop Distributed File System) Architecture:
• Operates on a Master-Slave Architecture:
• NameNode (Master): High-performance server that manages the file system namespace, maintains directory tree, and tracks the location of data blocks across the cluster (stores metadata in fsimage and edits log in RAM).
• DataNodes (Slaves/Workers): Standard worker servers that physically store and retrieve the actual data blocks as instructed by the NameNode; send periodic Heartbeat signals (every 3 seconds) to verify health.
• Block Size: Files are split into large blocks (default 128 MB in Hadoop 2.x/3.x, compared to 4 KB in OS).
• Replication Factor: By default, each block is replicated 3 times across different racks/nodes for fault tolerance. HDFS वास्तुकला (मास्टर-स्लेव मॉडल):
• नेम-नोड (NameNode - मास्टर): केंद्रीय सर्वर जो पूरे फाइल सिस्टम का मेटाडेटा (Metadata - फाइलें किस नोड पर हैं) रखता है।
• डेटा-नोड्स (DataNodes - स्लेव): वे कंप्यूटर जहां वास्तविक डेटा के ब्लॉक संग्रहीत होते हैं। ये हर 3 सेकंड में नेम-नोड को हार्टबीट सिग्नल भेजते हैं।
• डिफ़ॉल्ट ब्लॉक साइज: हडूप 2.x/3.x में 128 MB (पारंपरिक OS के 4 KB की तुलना में बहुत बड़ा)।
• प्रतिकृति कारक (Replication Factor): डिफ़ॉल्ट रूप से प्रत्येक ब्लॉक की 3 प्रतियां (Copies) अलग-अलग नोड्स पर बनाई जाती हैं।
MapReduce Distributed Processing:
• Software programming model for processing massive datasets in parallel across two primary phases:
  1. Map Phase: Master node takes input, partitions it, and applies worker tasks to filter and transform raw data into intermediate <key, value> pairs.
  2. Shuffle & Sort: Gathers all intermediate values sharing the same key.
  3. Reduce Phase: Aggregates and combines the sorted values to produce the final output. मैपरिड्यूस (MapReduce) प्रोसेसिंग मॉडल:
• विशाल डेटा को समानांतर रूप से प्रोसेस करने का गणितीय मॉडल:
  1. मैप चरण (Map): इनपुट डेटा को विभाजित कर की-वैल्यू <Key, Value> युग्मों में बदलता है।
  2. शफल एवं सॉर्ट: समान 'Key' वाले डेटा को एक साथ समूहीकृत करता है।
  3. रिड्यूस चरण (Reduce): समूहीकृत डेटा पर गणना (जैसे योग, औसत) कर अंतिम परिणाम देता है।
YARN (Yet Another Resource Negotiator - Hadoop 2.x+):
• Decoupled resource management from processing. Manages CPU, memory, and disk resources across the cluster via ResourceManager (cluster-level) and NodeManagers (per-machine). YARN: हडूप क्लस्टर में CPU और RAM जैसे संसाधनों का प्रबंधन करने वाला तंत्र।

3. Apache Spark, In-Memory Analytics & NoSQL Databases 3. अपाचे स्पार्क (इन-मेमोरी कंप्यूटिंग) एवं NoSQL डेटाबेस प्रणालियाँ

Technologyतकनीक	Core Architectureमूल संरचना	Speed Advantageगति एवं लाभ	Key Components / Examplesघटक / उदाहरण
Apache Spark	In-Memory Distributed Engine: Processes data in RAM rather than writing intermediate steps back to hard disks (unlike Hadoop MapReduce).इन-मेमोरी प्रोसेसिंग: डेटा को हार्ड डिस्क के बजाय सीधे RAM में रखकर प्रोसेस करता है।	Up to 100x faster than Hadoop MapReduce for iterative workloads (machine learning).हडूप मैपरिड्यूस से 100 गुना अधिक तीव्र।	RDD (Resilient Distributed Datasets), Spark SQL, Spark Streaming, MLlib (Machine Learning), GraphX.RDD (रेजिलिएंट डिस्ट्रीब्यूटेड डेटासेट), स्पार्क स्ट्रीमिंग, MLlib।
NoSQL Databases (Not Only SQL)	Non-relational, schema-less/flexible databases designed for horizontal scaling (scale-out across hundreds of servers) with high availability.गैर-रिलेशनल, बिना निश्चित स्कीमा वाले डेटाबेस जो सैकड़ों सर्वरों पर क्षैतिज रूप से फैल सकते हैं।	Massive read/write throughput for unstructured and semi-structured big data.विशाल डेटा हेतु तीव्र पठन/लेखन गति।	Document: MongoDB, CouchDB Column: Apache Cassandra, HBase Key-Value: Redis, DynamoDB Graph: Neo4jदस्तावेज: मोंगोDB कॉलम: कैसेंड्रा, HBase की-वैल्यू: रेडिस ग्राफ: नियो4j

The CAP Theorem (Brewer's Theorem, 2000): States that a distributed data store can simultaneously provide at most two out of three guarantees:
• C - Consistency: Every read receives the most recent write or an error.
• A - Availability: Every request receives a non-error response (without guarantee of latest write).
• P - Partition Tolerance: The system continues to operate despite network partitions/dropped messages. (In real-world networks, $P$ is mandatory, forcing a choice between $CP$ or $AP$). CAP प्रमेय (ब्रूअर का प्रमेय): किसी भी वितरित डेटाबेस में एक समय में केवल दो गुण ही संभव हैं:
• C (निरंतरता - Consistency): हर नोड पर एकदम अद्यतन डेटा मिले।
• A (उपलब्धता - Availability): नेटवर्क हर अनुरोध पर उत्तर अवश्य दे।
• P (विभाजन सहिष्णुता - Partition Tolerance): नेटवर्क कनेक्शन टूटने पर भी सिस्टम चलता रहे।

Key One-Liner Exam Facts (UPSSSC Computer Special) महत्वपूर्ण वन-लाइनर परीक्षा तथ्य (UPSSSC कंप्यूटर विशेष)

Exam Question Topicपरीक्षा प्रश्न विषय	Core Exam Fact & Detailsमहत्वपूर्ण तथ्य एवं विवरण
The 5 V's of Big Dataबिग डेटा के 5 V's लक्षण	Volume, Velocity, Variety, Veracity, Value.Volume, Velocity, Variety, Veracity, Value।
Co-creators of Apache Hadoopअपाचे हडूप के सह-निर्माता	Doug Cutting and Mike Cafarella (2006).डग कटिंग एवं माइक कैफेरेला (2006)।
Default block size in Hadoop 2.x and 3.x HDFSHDFS में डिफ़ॉल्ट डेटा ब्लॉक आकार	128 MB (Hadoop 1.x used 64 MB).128 MB (हडूप 1.x में 64 MB था)।
Default data replication factor in HDFSHDFS में डिफ़ॉल्ट प्रतिकृति कारक (प्रतियों की संख्या)	3 (Three copies stored across cluster nodes).3 प्रतियां (विश्वसनीयता हेतु)।
Master node in HDFS architecture storing file metadataHDFS में मेटाडेटा रखने वाला मास्टर नोड	NameNode (DataNodes act as workers/slaves).नेम-नोड (NameNode)।
Distributed computing framework operating in-memory (RAM)RAM में इन-मेमोरी कार्य करने वाला तीव्र फ्रेमवर्क	Apache Spark (uses RDD - Resilient Distributed Datasets).अपाचे स्पार्क (Apache Spark)।
Full form of NoSQLNoSQL का पूर्ण रूप	Not Only SQL.Not Only SQL।
Prominent Document-oriented NoSQL databaseप्रमुख डॉक्यूमेंट-आधारित NoSQL डेटाबेस	MongoDB (stores data in JSON/BSON format).मोंगोDB (MongoDB) (JSON प्रारूप)।
Three guarantees of the CAP TheoremCAP प्रमेय के तीन घटक	Consistency, Availability, Partition Tolerance (Brewer's Theorem).Consistency, Availability, Partition Tolerance।
National tax platform processing Big Data invoices in Indiaभारत में बिग डेटा पर आधारित राष्ट्रीय कर प्रणाली	GSTN (Goods and Services Tax Network).GSTN (वस्तु एवं सेवा कर नेटवर्क)।

Big Data Processing बिग डेटा प्रोसेसिंग