设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
数据库
›
大数据量联表操作
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
我的人生好像有点坏掉了,请大家给点建议
›
长话短说 大家觉得花三十万结婚,存款花完
›
域名不用了记得要及时注销备案
›
离线听书 App 上架 Google Play,寻找封闭测
›
重度苹果用户投华做了两面派
今日热议主题
设计前端后端岗位上新~~上海游戏厂
有人想在你公司交社保,怎么操作正规一些
fitness+初体验,有点上瘾,希望能坚持下去
阿里 和 腾讯,谁先倒?
我用 DuckDB 搓了个“本地” Excel As Chat
想买便宜的 macbook,不知道会不会有坑
关于日用 LLM 模型的选择及渠道
我做了一个,可能是全世界第一个真正能用不
你们见过体系员工吗
有没有智能音箱执行指令,播放本地音乐,投
显示全部
|
最新评论
37 条回复
·
1214 次点击
11#
lolizeppelin
小成
2024-7-30 16:43:14
首先...数据库是不是 mysql?
如果是...抬走!
12#
wysnxzm
小成
2024-7-30 16:50:08
数据库 join 改为代码 join
优点:笛卡尔积优化为 hash(你写个双重循环当我没说);硬盘查找变为内存查找;可跨库关联且不限制数据来源;可使用缓存优化性能
缺点:需要更多内存;数据库事务失效需要自己实现分布式事务或者不使用事务
13#
746970179
小成
2024-7-30 17:12:47
个人经验, 外键设置正常, 不会很慢
1 走索引: 业务上绝大部分查询, 都是使用唯一单号(运单号, 订单号, 产品 sku 等)或者时间, 这些字段设置好索引, 就挺快
2 只取要用的字段: 分两步, 第一步是获取当前页的 id, 第二步是针对这一页的 id, 再查询数据.
3 减少查询次数: 一页 100 条数据, 不要每个字段都是 1 个 sql, 同一字段的可以一个 sql 生成字典
14#
thinkwei2012
小成
2024-7-30 17:51:00
技术上这种详情表再关联订单表进行某字段搜索查询确实很慢,最简单的方法就是做冗余,大胆一点就单独拉一张宽表专门搜索数据双写。
要么改下页面设计,比如让产品重新设计页面拆分一些到不同的查询表单中,尽量避免少的联表
15#
simen513
小成
2024-7-30 18:18:54
最常用的做法是:
特大数据量的表,按时间做 partition 分表。
查询时分时段查询,再汇总到周、月、年,一级一级汇总。
16#
kestrelBright
小成
2024-7-30 20:20:30
这种上 es 吧
17#
jjx
小成
2024-7-30 20:27:47
erp 很难
表现在客户查询条件巴不得每个字段都可以用来查询
报表页面必须有小计总计, 使得优化困难
数据一定要实时性, 高度要求数据正确
数据查看需要各种制约,比方说按地区/员工/合作伙伴/部门等等, 不得不联表
当然,这些还仅仅是 erp 变态需求中的一部分
18#
volvo007
小成
2024-7-30 22:29:51
我一直以为是我使用数据库的方法有问题,原来大家也都会遇到类似的问题。不过这里想问问,所谓的查询速度快是多快呢?
对于内部用户,我认为百万级的多个表关联(例如 10 张表),返回 100 条以内的数据的响应时间在 3 秒内算是可以接受。如果面向 toB 用户,那么秒级差不多;而面向 toC 用户,大概要在 100 ms 这个水平?
19#
flxaq
小成
2024-7-31 00:57:24
先看你 pg 硬件配置,我们公司一个表几亿的,pg 连几十个表没什么问题,ssd 的还要做好数据库参数优化,要改成适合 ssd 的参数,让 sql 能走合理的索引,连表关键要看索引是否合理,对应表要看具体业务场景,有时间纬度的可以按时间分区。数据库内存 等参数要合理分配
20#
feifan19
小成
2024-7-31 08:51:16
分库分表,数据缓存,读写分离之类的没什么好说的,
提供一种冷热分离的思路,我们项目中每天凌晨会有一个定时任务,把 7 天前的交易数据压缩为 zip 上传到 Blob 上
7 天内的数据自动查 DB 表,7 天以前的数据都会从 Blob 上下载下来读取到内存后再返回给前台画面
Blob 速度也挺快的,目前系统一切都很正常
下一页 »
1
2
3
4
/ 4 页
下一页
浏览过的版块
程序员
问与答
优惠信息
分享发现
生活
iPhone
职场话题
酷工作
分享创造
返回顶部