《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础，深入剖析了HDFS 2.X中各个模块的实现细节，包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章，其中第1章从总体上介绍了HDFS的组件、概念以及典型的流程，同时详细介绍了HDFS各个组件间RPC接口的定义。第2章介绍了Hadoop RPC框架的实现，Hadoop RPC是HDFS各个组件间通信所依赖的底层框架，可以理解为HDFS的神经系统。第3~5章分别介绍了Namenode、Datanode以及HDFS客户端这三个组件的实现细节，同时穿插介绍了HDFS 2.X的新特性，例如Namenode HA、Federation Namenode等。 阅读《Hadoop 2.X HDFS源码剖析》可以帮助读者从架构设计与源码实现角度了解HDFS 2.X，同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧以及编程规范等。这些对于读者全面提高自己的技术水平有很大的帮助。

在windows下对hadoop进行Java API操作的配置文件

官网是hadoop的0.20版本的，改写为hadoop的2.4.1版本的hdfs-over-ftp，改动详情如我的博客地址http://blog.csdn.net/zhulin40/article/details/38444875

NCDC天气数据集Hadoop MapReduce猪蜂巢 国家气候数据中心（NCDC）是世界上最大的实时气象数据存档。 我下载了1930年的NCDC数据并将其加载到HDFS系统中。 我实现了MapReduce程序和Pig，Hove脚本，以找到不同站点的Min，Max，avg温度。 编译了Java文件：javac -classpath /home/student3/hadoop-common-2.6.1.jar:/home/student3/hadoop-mapreduce-client-core-2.6.1.jar:/home/student3/commons-cli -2.0.jar -d MaxTemperature.java MaxTemperatureMapper.java MaxTemperatureReducer.java 创建了JAR文件：jar -cvf hadoop-

ZooKeeper服务器是用Java创建的，它运行在JVM之上。需要安装JDK 7或更高版本。zookeeper是一个分布式协调服务，接下来我会详细介绍大数据中一个重要集群zookeeper的详细安装步骤。

hdfs 文件的上传，hdfs fs -put /文件名

parquet-tools,查看hdfs中parquet文件

hadoop(HDFS)思维导图.xmind

hdfs api，研究hadoop的可以下来参考

教程包括：HDFS分布式文件系统的基本shell命令使用，还有配置MapReduce分布式计算系统的类库环境配置以及运行MapReduce程序