ORC介绍

ORC文件格式是Hive 0.11.0版本引入的一种文件格式。ORC的引入是为了解决其他Hive文件格式的局限性。使用ORC文件格式提升Hive读取、写入及处理数据的性能。

与RCFile对比,ORC文件格式有很多优点:

阅读全文 »

代码如下:

1
2
3
4
5
6
7
8
9
mongoClient = MongoClient('mongodb://172.16.72.213:27017/')
opsDb = mongoClient.ops
azScheduled = opsDb.azScheduledFlow

bulkOpers = []
for flow in scheduledFlows.values():
bulkOpers.append(UpdateOne({'opsDt': opsDt, 'projectId': flow['projectId'], 'projectName': flow['projectName'], 'flowName': flow['flowName']}, {'$set': {'opsDateTime': opsDtStr, 'status': flow['status'], 'startTime': flow['startTime'], 'endTime': flow['endTime'], 'elapsed': flow['elapsed']}}, upsert=True))

azScheduled.bulk_write(bulkOpers)

异常描述

如果在MongoDB的SECONDARY上查询数据时会报如下错误信息:

1
2
3
4
5
6
7
> show databases;
2018-09-20T17:40:55.377+0800 E QUERY [thread1] Error: listDatabases failed:{ "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 } :
_getErrorWithCode@src/mongo/shell/utils.js:25:13
Mongo.prototype.getDBs@src/mongo/shell/mongo.js:62:1
shellHelper.show@src/mongo/shell/utils.js:781:19
shellHelper@src/mongo/shell/utils.js:671:15
@(shellhelp2):1:1
阅读全文 »

Java读取Properties文件有两种简单方法,就是使用ClassLoader中的资源读取方法。

  • public InputStream getResourceAsStream(String name)
    该方法是非静态方法,所以不能在静态代码中使用。
  • public static InputStream getSystemResourceAsStream(String name)
    该方法是静态方法,可以在静态代码中使用。
0%