blog更新

xxzuo · Jul 22, 2022 · 424d94f · 424d94f
1 parent f7b5e40
commit 424d94f
Show file tree

Hide file tree

Showing 4 changed files with 100 additions and 0 deletions.
diff --git a/source/_posts/azkaban任务一直preparing.md b/source/_posts/azkaban任务一直preparing.md
@@ -0,0 +1,21 @@
+---
+title: azkaban任务一直preparing
+author: xxzuo
+date: 2022-07-22 21:53:47
+tags:
+categories:
+- azkaban
+---
+
+
+
+内存问题：
+过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 会认为 集群资源不够， 不会将任务交由该主机执行，需要修改 azkaban-web下的azkaban.properties配置文件，去掉MinimumFreeMemory
+
+```properties
+# 原来
+azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
+
+# 新
+azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
+```
diff --git a/source/_posts/azkaban重启-webserver报没有激活的执行器.md b/source/_posts/azkaban重启-webserver报没有激活的执行器.md
@@ -0,0 +1,27 @@
+---
+title: azkaban重启 webserver报没有激活的执行器
+author: xxzuo
+date: 2022-07-22 21:54:31
+tags:
+categories:
+- azkaban
+---
+
+azkaban 重启后 webserver报错
+
+azkaban重启时
+
+先重启执行器
+在 /usr/local/azkaban/azkaban-exec-server 目录下执行 bin/start-exec.sh
+
+在 /usr/local/azkaban/azkaban-web-server 目录下执行 bin/start-exec.sh
+
+报 :ERROR [ExecutorManager] [main] [Azkaban] No activee executors found
+
+需要去 Azkaban配置数据库中更新 port=12321的执行器激活数量为1
+
+update executors set active = 1 where port = 12321
+
+并且使用接口启用
+
+curl -G "http://localhost:12321/executor?action=activate" && echo
diff --git a/source/_posts/hdfs组成架构.md b/source/_posts/hdfs组成架构.md
@@ -0,0 +1,45 @@
+---
+title: hdfs组成架构
+author: xxzuo
+date: 2022-07-18 22:04:52
+tags:
+- hdfs
+categories:
+- hadoop
+---
+
+### HDFS组成架构
+
+- NameNode(nn): 就是Master, 它是一个主管，管理者
+  - 管理 HDFS 的名称空间(namespace)
+  - 配置副本策略
+  - 管理数据块(block)映射信息
+  - 处理客户端读写请求
+- DataNode():就是 Slave.NameNode 下达命令，DataNode执行操作
+  - 存储实际数据
+  - 执行数据块 读/写 操作‘
+- Client
+  - 文件切分,文件上传到 HDFS 的时候，客户端将文件切分成一个一个的 Block
+  - 和 NameNode 交互 获取文件位置信息
+  - 和 DataNode交互，读取或者写入数据
+  - 提供HDFS 管理命令
+- Secondary NameNode: 并非 NameNode 的热备。当NameNode 挂掉的时候，，并不能马上替换 NameNode并提供服务
+  - 辅助NameNode ，分担工作量，比如定期合并 Fsimage和 Edits,并推送给NameNode
+  - 紧急情况下，可以辅助恢复 NameNode
+
+
+
+
+
+### HDFS文件块大小
+
+HDFS 文件在物理上是分块存储(block)，块的大小可以通过配置参数(dfs.blocksize)来规定，默认为 128M
+
+
+
+
+
+#### HDFS块不能设置的太大也不能太小
+
+- 如果设置太小，会增加寻址时间，程序一直在找块的开始位置
+- 如果设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序处理数据会变慢
diff --git a/source/_posts/ssh远程登陆时一些命令无法使用.md b/source/_posts/ssh远程登陆时一些命令无法使用.md
@@ -0,0 +1,7 @@
+---
+title: ssh远程登陆时一些命令无法使用
+author: xxzuo
+date: 2022-07-22 21:53:26
+tags:
+categories:
+---