设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
请教一下各位佬,关于 ETL 落地技术方案的讨论 ...
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
为啥最近小红书疯狂推送关于红楼梦及明朝相
›
儿子去外地见网友,有什么定位软件推荐?
›
跟大家讲个笑话 - 关于面基失败
›
入职体检问题
›
偶然发现我的老婆的皮肤摸起来麻麻的。
今日热议主题
太奇怪了,每隔一段时间就会有一个不同的噪
从 Demo 到生产:打造我的技术资讯 + 知识
求推荐在 windows11 笔记本上好用的语音输
MegaETH - 智能合约开发工程师(钱包)(全
为 c++ 提供模式匹配
MegaETH - 资深运维开发专家(全职,远程)
下午摸鱼玩了个地图拼图,结果被俄罗斯的“
关于 dns 的奇怪问题
美区 Paypal 免费赠送 12 个月 Perplexity
[独立开发] 写了个 AI 养鱼助手 (TankMate
显示全部
|
最新评论
15 条回复
·
1701 次点击
11#
beihanggmj
小成
2025-8-4 17:40:34
分批次慢慢导出数据,用时间换算力。方案有很多,比如设置一个秒级别的 crontab 任务,一秒导出 1 万条这样的形式,时间间隔和单次 batch_size 可以按时间交付时间/需求设置具体的变量满足客户要求。
12#
aarones
小成
2025-8-4 17:52:29
按照需要,一个任务只跑几个库或者几个表就行了,这点数据没多少,找个凌晨 3 点跑一下就完事
13#
min
小成
2025-8-4 17:52:43
参数设置好,100 分钟跑完就无压力咯
14#
cccssss
初学
2025-8-4 18:14:17
去客户机房硬盘对拷一份,然后跑增量
15#
glacer
初学
2025-8-4 18:25:27
如果不开 binlog ,实时同步基本就做不了了。 只能分批次在深夜启动任务做全量同步,全量结束后,同样在深夜拉最新一天的数据做日增量即可。
16#
cloudzhou
小成
2025-8-4 18:35:54
你这个应该要确定下方案先,尤其是否 binlog ,这个方案就差别很大了
1
2
/ 2 页
浏览过的版块
职场话题
返回顶部