首先,检查pdsh的Rcmd type配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
$ pdsh -q -w localhost
-- DSH-specific options --
Separate stderr/stdout Yes
Path prepended to cmd none
Appended to cmd none
Command: none
Full program pathname /usr/bin/pdsh
Remote program path /usr/bin/pdsh

-- Generic options --
Local username zhangjc
Local uid 1000
Remote username zhangjc
Rcmd type rsh


one ^C will kill pdsh No
Connect timeout (secs) 10
Command timeout (secs) 0
Fanout 32
Display hostname labels Yes
Debugging No

-- Target nodes --
localhost

从配置项中可以看到Rcmd type为rsh,应该配置为ssh。在 .bashrc 中添加环境变量:

阅读全文 »

Hadoop的代理用户是代表其他用户执行操作的超级用户。

在 etc/hadoop/core-site.xml 中添加以下配置:

1
2
3
4
5
6
7
8
<property>
<name>hadoop.proxyuser.zhangjc.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.zhangjc.groups</name>
<value>*</value>
</property>
阅读全文 »

确认已经配置了Hadoop的超级代理用户(配置方式见:Hadoop代理用户),并且也重启了NameNode服务。后来发现是因为ResourceManager没有重启,任务提交到Yarn时出现权限不够导致的。

使用以下刷新命令,不必重启:

1
2
$ hdfs dfsadmin -refreshSuperUserGroupsConfiguration
$ yarn rmadmin -refreshSuperUserGroupsConfiguration
阅读全文 »

Hive支持按照分区字段范围删除多个分区。

数据准备:

1
2
3
4
5
6
7
8
9
10
11
12
13
create table mytable(
name string
)
partitioned by(dt string);

insert into mytable
values
('a', '20240801'),
('b', '20240802'),
('c', '20240803'),
('d', '20240804'),
('e', '20240805'),
('f', '20240806');
阅读全文 »

在本地安装了MySQL8.0,但忘记了root密码,通过以下方式重置root密码。

  1. 停止MySQL服务。
  2. 跳过权限检查启动MySQL服务:
1
sudo mysqld_safe --skip-grant-tables &
阅读全文 »

安装完成Oracle后,通过sqlplus使用system用户访问提示“ORA-12543: TNS: 无法连接目标主机”错误,经过排查发现是由于密码中包含@符号导致。

解决方法如下:

  • 打开 cmd,输入:sqlplus /nolog,无用户名登录。
  • 输入 conn /as sysdba,连接到数据库。
  • 重新设置 system 用户密码:
阅读全文 »

SQLite是一个轻量级的基于文件的数据库,开发、测试和迁移都很方便。在通过源码编译安装Python时可通过下面的方式启用SQLite模块。

首先需要安装SQLite及开发库:

1
sudo apt install sqlite3 libsqlite3-dev
阅读全文 »

安装PySide6后,QtDesigner无法输入中文,需要手动编译fcitx-qt5时启用对QT6的支持。

安装编译需要的依赖包:

1
2
3
4
5
6
7
8
9
sudo apt install git
sudo apt-get install cmake
sudo apt install fcitx-libs-dev
sudo apt install extra-cmake-modules
sudo apt install libxkbcommon-dev
sudo apt install qt6-remoteobjects-dev
sudo apt-get install bison
sudo apt-get install libgl1-mesa-dev libglu1-mesa-dev
sudo apt-get install qt6-base-private-dev
阅读全文 »
0%