Python3操作MongoDB批量upsert

发表于 2018-11-19 更新于 2025-09-04 分类于编程语言， Python 阅读次数： Changyan：

代码如下：

mongoClient = MongoClient('mongodb://172.16.72.213:27017/')
opsDb = mongoClient.ops
azScheduled = opsDb.azScheduledFlow

bulkOpers = []
for flow in scheduledFlows.values():
    bulkOpers.append(UpdateOne({'opsDt': opsDt, 'projectId': flow['projectId'], 'projectName': flow['projectName'], 'flowName': flow['flowName']}, {'$set': {'opsDateTime': opsDtStr, 'status': flow['status'], 'startTime': flow['startTime'], 'endTime': flow['endTime'], 'elapsed': flow['elapsed']}}, upsert=True))

azScheduled.bulk_write(bulkOpers)

Python3连接MongoDB并写入数据

发表于 2018-11-15 更新于 2025-09-04 分类于编程语言， Python 阅读次数： Changyan：

安装PyMongo

1 2	$ pip3 install pymongo Successfully installed pymongo-3.7.2

连接MongoDB并且批量插入操作

阅读全文 »

Python3连接MySQL并且读取Blob字段信息

发表于 2018-11-15 更新于 2025-09-04 分类于编程语言， Python 阅读次数： Changyan：

安装驱动

1
2
3

$ pip3 install mysql-connector-python
Command 'pip3' not found, but can be installed with:
sudo apt install python3-pip

根据提示信息安装pip3。

阅读全文 »

MySQL修改max_allowed_packet

发表于 2018-10-12 更新于 2025-09-04 分类于数据库， MySQL 阅读次数： Changyan：

通过global参数设置：

1	set global max_allowed_packet = 3210241024;

注意，下面的写法是不正确的：

阅读全文 »

MongoDB：listDatabases failed : not master and slaveOk=false

发表于 2018-09-27 更新于 2025-09-04 分类于数据库， MongoDB 阅读次数： Changyan：

异常描述

如果在MongoDB的SECONDARY上查询数据时会报如下错误信息：

> show databases;
2018-09-20T17:40:55.377+0800 E QUERY [thread1] Error: listDatabases failed:{ "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 } :
_getErrorWithCode@src/mongo/shell/utils.js:25:13
Mongo.prototype.getDBs@src/mongo/shell/mongo.js:62:1
shellHelper.show@src/mongo/shell/utils.js:781:19
shellHelper@src/mongo/shell/utils.js:671:15
@(shellhelp2):1:1

阅读全文 »

Java读取Properties文件的方法

发表于 2017-09-28 更新于 2025-09-04 分类于编程语言， Java 阅读次数： Changyan：

Java读取Properties文件有两种简单方法，就是使用ClassLoader中的资源读取方法。

public InputStream getResourceAsStream(String name)
该方法是非静态方法，所以不能在静态代码中使用。
public static InputStream getSystemResourceAsStream(String name)
该方法是静态方法，可以在静态代码中使用。

org.apache.kafka.common.errors.TimeoutException

发表于 2017-08-24 更新于 2025-09-04 分类于大数据，实时计算阅读次数： Changyan：

使用kafka-console-producer.sh向远端Kafka写入数据时遇到以下错误：

$ bin/kafka-console-producer.sh --broker-list 172.16.72.202:9092 --topic test
This is a message
[2017-08-24 11:47:48,286] ERROR Error when sending message to topic test with key: null, value: 17 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test-0: 1523 ms has passed since batch creation plus linger time
八月 24, 2017 11:50:55 上午 sun.rmi.transport.tcp.TCPTransport$AcceptLoop executeAcceptLoop
警告: RMI TCP Accept-0: accept loop for ServerSocket[addr=0.0.0.0/0.0.0.0,localport=38175] throws
java.io.IOException: The server sockets created using the LocalRMIServerSocketFactory only accept connections from clients running on the host where the RMI remote objects have been exported.
	at sun.management.jmxremote.LocalRMIServerSocketFactory$1.accept(LocalRMIServerSocketFactory.java:114)
	at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.executeAcceptLoop(TCPTransport.java:400)
	at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.run(TCPTransport.java:372)
 	at java.lang.Thread.run(Thread.java:748)

在没有配置advertised.host.name的情况下，Kafka并没有广播我们配置的host.name，而是广播了主机配置的hostname。远端的客户端并没有配置hosts，所以自然是连接不上这个hostname的，所以在远端客户端配置hosts。在客户端/etc/hosts中添加以下内容后问题解决：

阅读全文 »