欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

從Oracle用goldengate抽取數(shù)據(jù)到kafka-創(chuàng)新互聯(lián)

Goldengate到kafka配置詳解

站在用戶的角度思考問題，與客戶深入溝通，找到金秀網(wǎng)站設計與金秀網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設計與互聯(lián)網(wǎng)技術結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：做網(wǎng)站、成都網(wǎng)站設計、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、域名申請、網(wǎng)絡空間、企業(yè)郵箱。業(yè)務覆蓋金秀地區(qū)。

環(huán)境介紹：

源端數(shù)據(jù)庫版本

源端OGG版本

目標端OGG版本

Kafka集群

目標端數(shù)據(jù)庫GP

11.2.0.3

12.2.0.1.1

ggs_Adapters_Linux_x64

切記OGG版本是for big data

12.3.0.1.0

源端配置：

1.1安裝OGG軟件。

OGG軟件不做要求12版本即可

配置MGR

PORT 7810

DYNAMICPORTLIST 7811-7914

AUTORESTART REPLICAT dpe*, WAITMINUTES 1, RETRIES 5

AUTORESTART REPLICAT ext*, WAITMINUTES 1, RETRIES 5

PURGEOLDEXTRACTS /home/ogg/kafka_ogg/dirdat/kf*,USECHECKPOINTS, minkeephours 6

配置ext抽取進程參數(shù)：

EXTRACT extkaf

--setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

userid goldengate@ogg ,password  Golden_1230

--getupdatebefores

GETTRUNCATES

REPORTCOUNT EVERY 15 MINUTES, RATE

DISCARDFILE ./dirrpt/extkaf.dsc,APPEND,MEGABYTES 1024

--THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 90000 IOLATENCY 90000

DBOPTIONS  ALLOWUNUSEDCOLUMN

--WARNLONGTRANS 2h,CHECKINTERVAL 3m

EXTTRAIL ./dirdat/kf

-- TRANLOGOPTIONS  CONVERTUCS2CLOBS

TRANLOGOPTIONS EXCLUDEUSER goldengate

TRANLOGOPTIONS DBLOGREADER

-- TRANLOGOPTIONS _noReadAhead Any

--DYNAMICRESOLUTION

Table schema1.tablename1;

Table schema1.tablename2;

Table schema1.tablename3 ;

Table4schema1.tablename4;

配置投遞進程：

extract dpekaf

rmthost 172.31.31.10,mgrport 7810

passthru

numfiles 500

rmttrail /home/ogg/kafka_ogg/dirdat/kf

------------------------------------------------------------       

Table schema1.tablename1;

Table schema1.tablename2;

Table schema1.tablename3 ;

Table4schema1.tablename4;

-----===========================目標端配置==================

Goldengate  for  big data

目標端配置MGR：

PORT 7810

DYNAMICPORTLIST 7811-7914

AUTORESTART REPLICAT rep*, WAITMINUTES 1, RETRIES 5

PURGEOLDEXTRACTS /home/ogg/kafka_ogg/dirdat/kf*,USECHECKPOINTS, minkeephours 6

配置replicat進程：

入庫進程1：

replicat repykaf1

--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)

--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)

--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)

--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)

--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)

--getenv (JAVA_HOME)

--getenv (JRE_HOME)

--getenv (CLASSPATH)

--getenv (LD_LIBRARY_PATH)

--getenv (PATH)

TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka1.props

GETTRUNCATES

REPORTCOUNT EVERY 1 MINUTES ,RATE

GROUPTRANSOPS 1000

Table schema1.tablename1;

入庫進程2：

replicat repykaf2

--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)

--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)

--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)

--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)

--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)

--getenv (JAVA_HOME)

--getenv (JRE_HOME)

--getenv (CLASSPATH)

--getenv (LD_LIBRARY_PATH)

--getenv (PATH)

TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka2.props

GETTRUNCATES

REPORTCOUNT EVERY 1 MINUTES ,RATE

GROUPTRANSOPS 1000

Table schema1.tablename2;

入庫進程3：

replicat repykaf3

--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)

--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)

--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)

--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)

--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)

--getenv (JAVA_HOME)

--getenv (JRE_HOME)

--getenv (CLASSPATH)

--getenv (LD_LIBRARY_PATH)

--getenv (PATH)

TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka3.props

GETTRUNCATES

REPORTCOUNT EVERY 1 MINUTES ,RATE

GROUPTRANSOPS 1000

Table schema1.tablename3;

入庫進程4：

replicat repykaf4

--setenv (JAVA_HOME=/home/ogg/jdk1.8.0_111)

--setenv (JRE_HOME=/home/ogg/jdk1.8.0_111/jre)

--setenv (PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH)

--setenv (CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib)

--setenv (LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/home/ogg/kafka_ogg/lib)

--getenv (JAVA_HOME)

--getenv (JRE_HOME)

--getenv (CLASSPATH)

--getenv (LD_LIBRARY_PATH)

--getenv (PATH)

TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka4.props

GETTRUNCATES

REPORTCOUNT EVERY 1 MINUTES ,RATE

GROUPTRANSOPS 1000

Table schema1.tablename4;

配置去kafka的參數(shù)文件

我的OGG解壓目錄是：kafka_ogg

在OGG的解壓目錄下有：AdapterExamples 文件夾

從Oracle用goldengate抽取數(shù)據(jù)到kafka

cp /home/ogg/kafka_ogg/AdapterExamples/big-data/kafka/*   /home/ogg/kafka_ogg/dirprm/

編輯：

Vi   custom_kafka_producer.properties

###bootstrap.servers=ip:端口,ip:端口 例子

bootstrap.servers=172.31.31.10:6667,172.31.31.11:6667,172.31.31.12:6667,172.31.31.13:6667

acks=1

reconnect.backoff.ms=1000

compression.type=gzip

value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer

key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer

# 100KB per partition

batch.size=102400

linger.ms=10000

max.request.size=10240000

send.buffer.bytes=10240000                                                                                                                                          

編輯

Kafka1.props

gg.handlerlist = kafkahandler

gg.handler.kafkahandler.type=kafka

gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties

gg.handler.kafkahandler.topicMappingTemplate=topic-name

（這里寫你創(chuàng)建的topic  name ）

gg.handler.kafkahandler.format=json

gg.handler.kafkahandler.BlockingSend =false

gg.handler.kafkahandler.includeTokens=false

gg.handler.kafkahandler.mode=tx

goldengate.userexit.timestamp=utc

goldengate.userexit.writers=javawriter

javawriter.stats.display=TRUE

javawriter.stats.full=TRUE

gg.log=log4j

gg.log.level=INFO

gg.report.time=30sec

gg.classpath=dirprm/:/home/ogg/kafka_ogg/ggjava/resources/lib/*:/usr/hdp/2.4.0.0-169/kafka/libs/*

javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar

goldengate.userexit.utf8mode=true

gg.handler.kafkahandler.keyMappingTemplate=HH

gg.handler.kafkahandler.format.includePrimaryKeys=true

分享題目：從Oracle用goldengate抽取數(shù)據(jù)到kafka-創(chuàng)新互聯(lián)
鏈接地址：http://www.aaarwkj.com/article14/gjede.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供標簽優(yōu)化、營銷型網(wǎng)站建設、自適應網(wǎng)站、網(wǎng)站排名、網(wǎng)站內(nèi)鏈、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化
国产男女免费视频观看| av手机天堂网免费观看| av在线中文字幕剧情| 性生活免费在线观看视频| 午夜视频免费看一区二区| 最新免费观看男女啪啪视频| 国产丝袜肉丝在线播放| 高清国语对白刺激av在线播放| 久久久久国产综合精品| 亚洲精品不卡一区二区| 午夜福利中文字幕在线亚洲| 亚洲黄色av网站在线| 欧美日韩久久亚洲精品| 日本韩国三级理伦久久久| 国产深夜福利在线观看| 加勒比视频在线观看一区| 国产一级内射在线视频| 久草视频免费福利资源站| 亚洲免费av第一区第二区| 日韩永久免费av网站| 欧美av精品一区二区三区| 亚洲成av人在线播放| 又黄又爽又刺激的性视频 | 少妇被按摩高潮在线观看| 色综合久久国产原创野外| 午夜视频在线观看日韩| 婷婷精品国产欧美精品亚洲| 亚洲欧美成人高清在线观看| 亚洲欧美日韩专区一区| 欧美日韩性生活视频在线 | 99热在线播放精品观看| 亚洲国产综合六月深深爱| 天堂网一区二区三区四区| 欧美成人黄色免费在线网站| 国产成人综合久久三区北岛玲| 成人午夜三级在线观看| 日韩人妻熟妇中文字幕| 丰满人妻大屁一区二区| 国产精品老熟女一区二区| 日韩亚洲毛片全在线播放| 久久五月婷婷爱综合亚洲|