朋友公司在全国有 200 多个分支机构
平均每个分支每周要给公司传递超过 3000 个文件，一般都是 1MB 以内的文件
公司用网盘软件、在自己的服务器上搭建了一个网盘给分支机构
硬件用 7200 转的企业硬盘，16TB 的也很快就满了，统计了一下、有将近 1300 万个文件
现在的问题是：由于都是 1MB 以内大小的文件，造成硬盘读写非常缓慢，为了防止数据丢失，做了数据备份，结果每次备份就要 5~6 天才能完成。
我想到的办法是：把文件按分支机构压缩成 RAR，然后再备份。但压缩的过程也非常缓慢。
不知道各位兄弟有没有什么好的解决办法？
學習一下，
有点好奇什么类型的业务，
另外备份是一周一次备份？
每个机构每天 400 个左右文件， 每个文件传到总部的时候直接备份呢？（我瞎说的）
对象存储就搞定了
这个文件量也不是很大，你们搞复杂了
搞个云存储就好了，不用自己搞服务器
备份到哪里? 每次都是全量备份?
文件现在一块固态上缓存，每超过 100G 自动集合成压缩文件（不要使用任何压缩算法，纯粹合并成一个文件）然后放到机械硬盘上。
每天晚上定时压缩 100-200G 咯，压缩的时候关闭网盘连接
压缩的时候可以调压缩等级，调到仅存储的话就非常快了，基本上可以接近硬盘读写速度
用对象存储，你这场景对象存储天生适配，搭个 minio 就行
太懂，学习一下大佬们的解决办法！
用 seaweedfs 对象存储，你们小文件居多，比 minio 性能好占用存储也更少
https://github.com/seaweedfs/seaweedfs
这跟 juicefs 没啥区别吧
问 AI 给的方案是自建 minio 或者买 S3 之类的对象存储，原理是对象存储不是传统文件系统，没有 inode 瓶颈，专门为海量对象设计