Flink大數據常見(jiàn)問(wèn)題總結。

今天同事找我幫忙看一個(gè)Flink的問(wèn)題，現象是前幾天還能提交的客戶(hù)端，就在今天突然提交不了作業(yè)了，報錯提示大概如下（公司的東西涉密）， Caused by: org.apache.flink.api.common.InvalidProgramExcepti ......

底層原理簡(jiǎn)介 LState:存儲左邊數據流中的數據。 RState：存儲右邊數據流中的數據。 當左邊數據流數據到達的時(shí)候會(huì )保存到LState，并且到RState中進(jìn)行Join。將Join生成的結果數據發(fā)送到下游。 右邊數據流中數據到達的時(shí)候，會(huì )保存到R ......

設置空閑狀態(tài)保留時(shí)間 不設置空閑狀態(tài)保留時(shí)間會(huì )導致?tīng)顟B(tài)爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的數據都會(huì )一直保存在狀態(tài)里，不會(huì )清理！要么設置 TTL ，要么使用 Flink SQL 的 ......

數據傾斜原理 數據傾斜就是數據的分布嚴重不均，流入部分算子的數據明顯多余其他算子，造成這部分算子壓力過(guò)大。 影響 單點(diǎn)問(wèn)題 數據集中在某些分區上（Subtask），導致數據嚴重不平衡。 GC 頻繁 過(guò)多的數據集中在某些 JVM（TaskManager）， ......

簡(jiǎn)介 反壓（backpressure）是實(shí)時(shí)計算應用開(kāi)發(fā)中，特別是流式計算中，十分常見(jiàn)的問(wèn)題。反壓意味著(zhù)數據管道中某個(gè)節點(diǎn)成為 瓶頸，處理速率跟不上上游發(fā)送數據的速率，而需要對上游進(jìn)行限速。由于實(shí)時(shí)計算應用通常使用消息隊列來(lái)進(jìn)行生產(chǎn)端和 消費端的解耦，消費 ......

RocksDB 介紹 RocksDB 是嵌入式的 Key-Value 數據庫，在 Flink 中被用作 RocksDBStateBackend 的底層存儲。如下圖所示，RocksDB 持久化的 SST文件在本地文件系統上通過(guò)多個(gè)層級進(jìn)行組織，不同層級之間會(huì ) ......

redis一款高并發(fā)的內存K-V數據庫，提供了好多命令，但是其中有部分對于生產(chǎn)環(huán)境來(lái)說(shuō)比較危險，需要禁用掉。高危命令有：keys、flushdb、flushall、config、debug、eval、script、evalsha、shutdown

已經(jīng)安裝openssl，編譯redis還是提示找不到<openssl/ssl.h>

Redis被經(jīng)常用來(lái)實(shí)現分布式鎖，本文主要講述redis如何實(shí)現一個(gè)分布式鎖的demo。