2025年04月13日瀏覽 346 大數據

【Hadoop仿真】如何在仿真NodeManager中實(shí)現心跳

Hadoop自帶的hadoop-sls只能用于壓測調度器，可在實(shí)際中影響ResourceManager性能的因素比較多，不能只看調度器。當前項目可構造海量的Fake NM節點(diǎn)，用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景，進(jìn)行優(yōu)化。首先需要對NM進(jìn)行仿真。

2025年03月29日瀏覽 326 大數據

Mapredcue作業(yè)啟動(dòng)

Mapreduce作業(yè)啟動(dòng)源碼解析，從源碼開(kāi)始理解Mapreduce。

2025年03月09日瀏覽 450 博客相關(guān)

Gitea 自建代碼倉流量大坑

背景前端時(shí)間租的騰訊云服務(wù)器是按照流量計費的，最近一段時(shí)間流量走的老快了，并且發(fā)現默認1G的帶寬老是卡。原因通過(guò)分析nginx的日志發(fā)現有大量的爬蟲(chóng)在大批量的訪(fǎng)問(wèn)代碼倉。導致占用了大量帶寬。解決 nginx中過(guò)濾爬蟲(chóng) 在nginx中配置下面信息，過(guò) ......

2025年03月02日瀏覽 201 大數據

container-executor 詳解

簡(jiǎn)介 container-executor 是NodeManager管理Container很重要的一個(gè)工具，是深入學(xué)習Yarn作業(yè)調度不可缺少的一個(gè)知識點(diǎn)，值得深入學(xué)習。本文只描述比較基礎的功能點(diǎn)(目前不會(huì )包含Docker相關(guān))。核心功能點(diǎn) checks ......

2024年12月01日瀏覽 327 其他

Idea Hadoop 源碼YarnServiceProtos無(wú)法補全問(wèn)題

問(wèn)題現象使用IDEA打開(kāi)Hadoop源碼之后，發(fā)現YarnServiceProtos部分代碼無(wú)法補全，已經(jīng)安裝了protobuf相關(guān)的插件。原因以及解決方法再打開(kāi)YarnServiceProtos文件的時(shí)候會(huì )提示類(lèi)似文件過(guò)大無(wú)法打開(kāi)的文字，所以可能是 ......

2024年11月04日瀏覽 223 大數據

Capacity調度器源碼解析

簡(jiǎn)介源碼解析 Capacity 調度器的核心類(lèi)是CapacityScheduler。在初始化CapacityScheduler的時(shí)候，在構造函數initAsyncSchedulingProperties，里面會(huì )初始化調度器相關(guān)。核心類(lèi)是AsyncSc ......

2024年10月10日瀏覽 392 大數據

router啟動(dòng)詳解

簡(jiǎn)介為了解決HDFS的水平擴展性問(wèn)題，社區從Apache Hadoop 0.23.0版本開(kāi)始引入了HDFS federation。HDFS Federation是指 HDFS集群可同時(shí)存在多個(gè)NameNode/Namespace，每個(gè)Namespace之 ......

2024年09月22日瀏覽 495 大數據

hadoop 主備倒換控制器：ZKFailoverController詳解

簡(jiǎn)介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK實(shí)現主備倒換的。核心的類(lèi)為：ZKFailoverController.java, 選舉的核心類(lèi)為ActiveStandbyElector.java 主備選舉主備選舉的核 ......

2024年09月01日瀏覽 737 大數據

Hadoop 認證模塊詳解

客戶(hù)端認證客戶(hù)端的入口函數為 KerberosAuthenticator.authenticate函數連接HTTP服務(wù)端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......

2024年08月01日瀏覽 586 大數據

ContainerManager詳解

簡(jiǎn)介 ContainerManager主要負責NM中管理所有Container生命周期，其主要包含啟動(dòng)Container、恢復Container、停止Container等功能。主要功能由ContainerManagerImpl類(lèi)實(shí)現，具體代碼可以參考當前 ......