目标： 监控Oracle某张记录表，有新增数据则获取表数据，并推送到微信企业。
流程： Kafka实时监控Oracle指定表，获取该表操作信息（日志），使用Spark Structured Streaming消费Kafka，获取数据后清洗后存入指定目录，Python实时监控该目录，提取文本里面数据并推送到微信。（Oracle一台服务器，Kafka及Spark在另外一台服务器）
架构： Oracle+Kafka+Spark Structured Streaming+Python
centos7
oracle 11g
apache-maven-3.6.3-bin.tar.gz
kafka-connect-oracle-master.zip
hadoop-2.7.1.tar.gz
kafka_2.11-2.4.1.tgz （scala版本必须与系统及连接spark的jar包一致，这里是2.11）
spark-2.4.0-bin-without-hadoop.tgz
spark-streaming-kafka-0-8_2.11-2.4.0.jar
Java 1.8
python 3.6
一、Oracle侧
这边设置比较简单，使用SYS或者SYSTEM账户开启归档日志及附加日志即可，一般实际工作出于数据安全考虑日志都会开启状态，故不再多赘述，有搭建及开启问题可以随时私信。
二、Kafka侧
①配置maven，并添加进环境变量
#下载地址： #解压 所有配置文件默认放在/usr/local路径 tar xvf apache-maven-3.6.3-bin.tar.gz -C /usr/local/ #修改环境变量 vi /etc/profile #加入下面内容 export MAVEN_HOME=http://www.likecs.com/usr/local/apache-maven export PATH=$PATH:${MAVEN_HOME}/bin #刷新配置 source /ect/profile②配置kafka-connect-oracle-master，config文件按oracle侧信息配置，然后使用maven工具编译。
#压缩包下载地址：https://github.com/erdemcer/kafka-connect-oracle #解压 unzip kafka-connect-oracle-master.zip #修改config下的配置文件 vi kafka-connect-oracle-master/config/OracleSourceConnector.properties #修改内容如下： db.name.alias=dbserver #oracle实例名称：select instance_name from v$instance tasks.max=1 topic=cdczztar #kafka主体名称 db.name=DBSERVER #oracle服务器：select name from v$database; db.hostname=192.168.81.159 #oracle服务器地址 db.port=1521 #oracle端口，一般默认1521 db.user=test #数据库用户名 db.user.password=123456 #数据库密码 db.fetch.size=1 table.whitelist=LINHL.LHL_TEST #需要监控的表名，可以使用*号监控所有，必须大写 table.blacklist= #不监控的表名，没有为空，缺少该行会报错 parse.dml.data=true reset.offset=true start.scn= multitenant=false #编译 ,成功会有提示，并生成target文件夹 cd /usr/local/kafka-connect-oracle-master mvn clean package③解压kafka，并放入前面master文件夹下的几个jar包及配置文件
#解压 下载地址： tar xvf kafka_2.11-2.4.1.tgz -C /usr/local/ #改名 mv ./kafka_2.11-2.4.1 ./kafka #复制配置文件 cp /usr/local/kafka-connect-oracle-master/target/kafka-connect-oracle-1.0.71.jar /usr/local/kafka/libs/ cp /usr/local/kafka-connect-oracle-master/lib/ojdbc7.jar /usr/local/kafka/libs/ cp /usr/local/kafka-connect-oracle-master/config/OracleSourceConnector.properties /usr/local/kafka/config/④开启Kafka
#进入Kafka文件夹 cd /usr/local/kafka/bin/ #下面全都在单独的窗口开启服务，勿关闭窗口，测试状态，故没有在后台运行 #启动zookeeper ./zookeeper-server-start.sh ../config/zookeeper.properties #启动kafka服务 ./kafka-server-start.sh ../config/server.properties #建立topic-cdczztar ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic cdczztar #查看所有topic ./kafka-topics.sh --zookeeper localhost:2181 --list #启动连接oracle ./connect-standalone.sh ../config/connect-standalone.properties ../config/OracleSourceConnector.properties #启动消费端 #消费端此处只是为了展示用，后续使用spark做消费端 ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic cdczztar三、Spark侧
Structured Streaming需要启用HDFS，这里都在本地测试环境实现，因此关于java及hadoop的安装，可以参考这篇的伪分布式配置dblab.xmu.edu.cn/blog/install-hadoop
①配置