Hadoop是一种开源的分布式大数据处理框架，由Apache软件基金会开发，主要用于存储和处理海量数据。其设计哲学基于“分布式计算”，通过将数据分散存储在多个节点上实现并行处理，从而提升系统性能和可靠性。
核心技术组成
HDFS（Hadoop Distributed File System） 提供高吞吐量、低延迟的分布式文件存储系统，支持大容量数据存储，具有高容错性，适合存储海量数据。
MapReduce
分布式计算模型，负责将大数据集分解为小任务并行处理，最后合并结果。它简化了大数据分析的编程模型，但计算效率受限于其批处理特性。
YARN（Yet Another Resource Negotiator）
资源调度和管理系统，负责分配计算资源（如CPU、内存）给不同的MapReduce任务，优化资源利用率。
技术优势
可扩展性： 支持动态扩展集群规模，适应数据量增长需求。 成本效益
容错性：通过数据副本机制（默认3份）和节点故障恢复策略，确保系统稳定性。
应用场景
数据存储：适用于日志分析、文件存储等场景。
批量处理：如电商网站的用户行为分析、日志聚合等。
数据湖架构：作为底层存储层，支持多种数据处理工具（如Hive、Spark）。
发展生态
Hadoop生态圈包含Hive（SQL化工具）、Spark（内存计算框架）、Kafka（流处理平台）等组件，形成完整的大数据解决方案。
综上，Hadoop通过分布式存储与计算能力，成为处理海量数据的基础架构，但其局限性（如MapReduce的延迟）也促使后续技术（如Spark）的涌现。