41 条回复  ·  1115 次点击
jorneyr 小成 2024-8-23 09:11:41

关于断点续传

4G 左右的文件计算 MD 需要 13+S ,这个耗时前后端都不可避免,需要验证文件的完整性是有必要的。

至于后端小文件合并成大文件,可以使用一个线程合并,也可以使用多个线程分部分合并,然后继续往上合并。
后端也可以使用文件内存映射直接写入文件中对应的 fragment ,不把收到的部分写入小文件。

具体要分析是哪个部分慢,例如是计算 MD5 32 慢,看看是否改成 MD5 16 也能够满足需求。
lerry 小成 2024-8-23 09:17:23

关于断点续传

有轮子就直接用。
minio 是 golang 实现的,很容易部署,我是用的 docker ,直接下载一个单文件应该也可以。
TOUJOURSER 初学 2024-8-23 09:17:44

关于断点续传

正好前段时间遇到类似的需求,我们采用的是 tus + minio
shenyansycn 小成 2024-8-23 10:03:02

关于断点续传

放硬盘里,人肉过去传输,最快。
unknown404 小成 2024-8-23 10:15:41

关于断点续传

请使用支持 S3 的相关存储(公有云对象存储或者私有云 minio),建议 op 好好重读下 http 的 RFC ,https://datatracker.ietf.org/doc/html/rfc7233#section-4.2 有标准的协议不用,你去造轮子 https://i.imgur.com/U3hKhrT.png
Rorysky 小成 2024-8-23 10:15:58

关于断点续传

@MoHen9  你说的是多线程下载,和断点续传有什么关系?
MoYi123 小成 2024-8-23 11:59:49

关于断点续传

@unknown404 这是下载, 不是上传.
xingjue 小成 2024-8-23 12:16:33

关于断点续传

minio
v2tudnew 小成 2024-8-23 12:22:37

关于断点续传

去看看 BT 软件是如何实现就完事了,只是把一对多改成一对一。
duglik 小成 2024-8-23 14:01:19

关于断点续传

tus ( https://tus.io/)感觉可以满足楼主需求
返回顶部