2024年07月21日瀏覽 1.07K 大數據

BPServiceActor詳解

簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類(lèi)。主要功能如下：與 namenode 進(jìn)行預注冊握手。向 namenode 注冊。定期向 namenode 發(fā)送心跳。處理從 namenode 收到的命令。 ......

2024年06月09日瀏覽 2.01K 其他

neovim 從0開(kāi)始配置優(yōu)化

neovim是從vim的一個(gè)分支fork出來(lái)的，從性能等方面來(lái)講都比vim強很多，所以從vim轉到neovim了。本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-config/src/branch/ma ......

2024年06月02日瀏覽 1.93K 其他

docker stop container 報錯：tried to kill container, but did not receive an exit event

問(wèn)題現象執行docker stop xxxx報錯如下： Error response from daemon: cannot stop container: xxxx: tried to kill container, but did not recei ......

2024年05月26日瀏覽 1.41K 大數據

【Hadoop】jobhistory 作業(yè)緩存源碼詳解

jobhistory 作業(yè)緩存 jobhistory 一般會(huì )保存一部分作業(yè)信息到內存中，查詢(xún)作業(yè)信息的時(shí)候一般會(huì )從內存查詢(xún)，如果內存查詢(xún)不到就會(huì )從磁盤(pán)上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩存，默認情況下guava的緩存個(gè)數是 ......

2024年04月25日瀏覽 1.52K 大數據

【Hadoop】NameNode客戶(hù)端協(xié)議詳解

NameNode客戶(hù)端協(xié)議詳解協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......

2024年03月31日瀏覽 1.86K 大數據

【Hadoop】FSDirectory詳解

Namenode最重要的兩個(gè)功能之一就是維護整個(gè)文件系統的目錄樹(shù)（即命名空間namesystem）。 HDFS文件系統的命名空間（namespace），也就是以“/”為根的整個(gè)目錄樹(shù)，是通過(guò)FSDirectory類(lèi)來(lái)管理的。 FSNamesyste ......

2023年12月07日瀏覽 2.13K 大數據

【Hadoop】Yarn 作業(yè)啟動(dòng)源碼解讀

作業(yè)啟動(dòng) 作業(yè)提交的客戶(hù)端比較核心的類(lèi)是Job.java，看作業(yè)啟動(dòng)的源碼需要從這個(gè)類(lèi)開(kāi)始看。 Job.java 作業(yè)啟動(dòng)的入口函數為waitForCompletion函數。當前函數的核心函數為submit()，主要如下： public void subm ......

2023年11月29日瀏覽 2.1K 大數據

【Hadoop】【持續更新】hdfs 常見(jiàn)命令

常見(jiàn)命令記錄，總結篇

2023年11月28日瀏覽 1.55K 大數據

【Hadoop】Yarn 狀態(tài)機以及事件機制

簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型：所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接 ......

2023年11月25日瀏覽 2K 大數據

【Hadoop】ResourceManager簡(jiǎn)介

簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成：調度器：根據容量、隊列限制條件將系統資源分配給各個(gè)應用。資源分配的單位是container，container是一個(gè)動(dòng)態(tài)資源單 ......