一张假钞的真实世界

大道至简

发表于 更新于 分类于 ， 阅读次数： Changyan：

在大数据Hive数据仓库的开发中，主要是shell + HQL的脚本开发。脚本的测试需要放到适当的大数据环境中进行。如果大家共用GitLab项目上的同一个Branch进行测试需要代码频繁合并，影响效率。我的思路是每个Developer在自己的Branch开发并经过测试后发起Merge Request。

在我的开发场景中GitLab在内网中通过端口映射后允许从外网访问，GitLab中的IP都是内网的，GitLab上的项目链接地址都是内网的，如（ssh://git@192.168.1.10:50022/test/test.git）。并且我的Jenkins也是在内网中的，所以需要通过一层代理接收外部的REST API请求。这一点给最终的实现带来一些难点。

系统架构

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

Jenkins安装插件时报网络不通的错误，根据错误信息看是连接https://www.google.com网络不通。解决这个问题的方法是修改“Update Site”的URL地址，将默认地址由https改为http。
“Update Site”配置项位置在“插件管理->Advanced”中，修改后如下图：

Jenkins Update Site

发表于 更新于 分类于 ， 阅读次数： Changyan：

Python虚拟环境主要是为了解决Python多版本及模块间版本兼容的问题。创建虚拟环境的方法很简单，使用下面的命令即可：

1
python3 -m venv PySparkEnv

PySparkEnv即虚拟环境的主目录。如果要启用这个虚拟环境的话，使用以下命令：

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

ORC介绍

ORC文件格式是Hive 0.11.0版本引入的一种文件格式。ORC的引入是为了解决其他Hive文件格式的局限性。使用ORC文件格式提升Hive读取、写入及处理数据的性能。

与RCFile对比，ORC文件格式有很多优点：

阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Changyan：

代码如下：

1
2
3
4
5
6
7
8
9
mongoClient = MongoClient('mongodb://172.16.72.213:27017/')
opsDb = mongoClient.ops
azScheduled = opsDb.azScheduledFlow

bulkOpers = []
for flow in scheduledFlows.values():
    bulkOpers.append(UpdateOne({'opsDt': opsDt, 'projectId': flow['projectId'], 'projectName': flow['projectName'], 'flowName': flow['flowName']}, {'$set': {'opsDateTime': opsDtStr, 'status': flow['status'], 'startTime': flow['startTime'], 'endTime': flow['endTime'], 'elapsed': flow['elapsed']}}, upsert=True))

azScheduled.bulk_write(bulkOpers)
0%