一张假钞的真实世界

大道至简

发表于 更新于 分类于 ， 阅读次数： Changyan： 
1
2
3
4
5
6
7
sudo apt-get update
sudo apt-get install make gcc linux-headers-$(uname -r) build-essential git

git clone https://github.com/lwfinger/rtw89.git -b v5
cd rtw89 && make && sudo make install

sudo modprobe rtw89pci

执行完成后重启。

参考链接：https://askubuntu.com/questions/1352731/ubuntu-20-04-no-wifi-adapter-found-lenovo-ideapad-realtek

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

异常信息如下：

1
2
3
4
5
$ sudo -i
>>> /etc/sudoers.d/dev: 语法错误 near line 1 <<<
sudo: /etc/sudoers.d/dev 中第 1 行附近有解析错误
sudo: 没有找到有效的 sudoers 资源，退出
sudo: 无法初始化策略插件

使用以下命令编辑sudoers文件：

阅读全文 »

发表于 更新于 阅读次数： Changyan：

向GitHub Push代码的时候出现以下错误：

1
2
$ git push origin master
fatal: unable to access 'https://github.com/zhang-jc/zhangjc.git/': LibreSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443

解决方法：将项目clone协议改为SSH。可以直接修改项目目录下.git/config配置文件中的项目地址。

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

设计目标

  • 简单的：方便使用以实现复杂的业务应用。
  • 复制式的：跟Zookeeper协调的分布式进程一样，它也是在一组服务器上复制的。集群的每个节点间互相知道。它们维护一个状态数据在内存中的镜像、一个事务日志和持久存储的快照。只要集群的多数节点可用则Zookeeper服务可用。客户端连接到一个Zookeeper服务器。客户端维持一个TCP连接来发送请求、获取响应、获取监听事件、发送心跳。如果这个TCP连接中断，则客户端会连接另外一个服务器。
  • 顺序的：Zookeeper赋予每次更新操作一个数字戳以标明事务的顺序。其后的操作可以用这个顺序实现高级别的抽象，例如同步原语。
  • 快速的：在读取操作占优势的场景尤其快速。Zookeeper应用运行在上千台机器上，在读操作比写操作常见的情况下很高效，通常读写比例为10：1。

保障

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

在部署单节点Hadoop集群时，执行sbin/start-dfs.sh出现以下错误：

1
2
3
4
5
6
7
$ sbin/start-dfs.sh
Starting namenodes on [localhost]
pdsh@frin: localhost: rcmd: socket: Permission denied
Starting datanodes
pdsh@frin: localhost: rcmd: socket: Permission denied
Starting secondary namenodes [frin]
pdsh@frin: frin: rcmd: socket: Permission denied

解决方法：在/etc/pdsh/下创建rcmd_default文件，输入内容：ssh。

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

今天在用npm install的时候出现了github项目访问不了的异常：

1
2
3
4
5
6
7
8
9
npm ERR! Error while executing:
npm ERR! /bin/git ls-remote -h -t https://github.com/nhn/raphael.git
npm ERR! 
npm ERR! fatal: unable to access 'https://github.com/nhn/raphael.git/': Encountered end of file
npm ERR! 
npm ERR! exited with error code: 128

npm ERR! A complete log of this run can be found in:
npm ERR!     /home/ycs/.npm/_logs/2021-11-10T09_14_23_017Z-debug.log

ping及curl测试都无法访问。但服务器是可以访问互联网的，怀疑是被墙了。

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

目前各大数据组件部署其实都比较简单，几乎接近开箱即用。此处只记录部署时遇到的问题。

问题一：java.lang.ClassNotFoundException: org.apache.log4j.spi.Filter

异常信息如下：

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

编程接口

  • RDD：弹性分布式数据集（Resilient Distributed Dataset ）。Spark2.0之前的编程接口。Spark2.0之后以不再推荐使用，而是被Dataset替代。
  • Dataset：Spark2.0之后的编程接口，用来替代RDD。与RDD不同Dataset是强数据类型的，但是这一点不适用与pyspark，因为Python是弱类型的。Spark引擎针对Dataset做了更丰富的优化，所以比RDD有更高的性能。
  • Dataframe：在Python（Pandas）和R中Dataset的组织形式；在Scala中没有这个概念。

架构

阅读全文 »
0%