2025年10月08日瀏覽 53

我在 GitHub 上的開(kāi)源項目

Github Stats 所有開(kāi)源項目倉庫項目簡(jiǎn)介 Stars fork 編程語(yǔ)言 hadoop_book Hadoop 學(xué)習筆記。 3 0 flink_book Flink學(xué)習筆記，持續更新。。。 2 0 bolo-fantastic 基于官方的bo ......

2025年10月08日瀏覽 74 大數據

Journal 源碼詳解

簡(jiǎn)介 Active Namenode與StandBy Namenode之間的綠色區域就是JournalNode,當然數量不一定只有1個(gè),作用相當于NFS共享文件系統.Active Namenode往里寫(xiě)editlog數據,StandBy再從里面讀取數據進(jìn)行 ......

2025年07月06日瀏覽 466 大數據

Zookeeper啟動(dòng)源碼詳解

簡(jiǎn)介啟動(dòng)源碼分析 Zookeeper啟動(dòng)的主類(lèi)為QuorumPeerMain.java 。入口函數文為initializeAndRun，如下所示，在往下的核心函數為runFromConfig。 QuorumPeerMain main = new Quo ......

2025年06月28日瀏覽 522 大數據

用idea 運行Zookeeper是報錯 com.codahale.metrics.Reservoir找不見(jiàn)

問(wèn)題現象用idea 運行Zookeeper是報錯 com.codahale.metrics.Reservoir找不見(jiàn)。問(wèn)題原因 Zookeeper-server下面的pom.xml 里面引用jar的時(shí)候加了<scope>provided&l ......

2025年06月15日瀏覽 588 大數據

distributedShell 樣例源碼詳解

簡(jiǎn)介 distributedShell是Yarn自帶的應用程序，和MR類(lèi)似，當前工具可以用來(lái)對Yarn進(jìn)行壓測。使用示例參考命令如下： ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applicati ......

2025年06月08日瀏覽 403 大數據

HDFS 報錯：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01

背景新建的HDFS使用web短上傳文件的時(shí)候報錯： Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解決在core-site.xml中增加下面配置,其中hadoop01 ......

2025年05月25日瀏覽 430 大數據

DistCp源碼解析

說(shuō)明 DistCp（分布式拷貝）是用于大規模集群內部和集群之間拷貝的工具。它使用Map/Reduce實(shí)現文件分發(fā)，錯誤處理和恢復，以及報告生成。它把文件和目錄的列表作為map任務(wù)的輸入，每個(gè)任務(wù)會(huì )完成源列表中部分文件的拷貝。由于使用了Map/Redu ......

2025年05月25日瀏覽 305 大數據

leaseManager詳解

簡(jiǎn)介 HDFS作為一個(gè)分布式文件系統，只允許一個(gè)客戶(hù)端同時(shí)對一個(gè)文件進(jìn)行修改操作。租約就是為了實(shí)現獨占的寫(xiě)操作的機制。 HDFS租約的主要實(shí)現類(lèi)是LeaseManager。 Lease 的使用場(chǎng)景如下：客戶(hù)端在申請創(chuàng )建新的文件或者向文件追加都會(huì )先向N ......

2025年05月16日瀏覽 407 大數據

webhdfs詳解

簡(jiǎn)介 hdfs提供了一種除了通過(guò)rpc的方式進(jìn)行文件操作的方式之外，還提供了http的方式對文件進(jìn)行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。其中Router和NameNode都支持了webhd ......

2025年04月13日瀏覽 344 大數據

【Hadoop仿真】如何在仿真NodeManager中實(shí)現心跳

Hadoop自帶的hadoop-sls只能用于壓測調度器，可在實(shí)際中影響ResourceManager性能的因素比較多，不能只看調度器。當前項目可構造海量的Fake NM節點(diǎn)，用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景，進(jìn)行優(yōu)化。首先需要對NM進(jìn)行仿真。