-
Notifications
You must be signed in to change notification settings - Fork 0
Description
网盘一般都支持断点续传和文件秒传功能,减少了网络波动和网络带宽对文件的限制,大大提高了用户体验
- 文件分块:将大文件拆分成小文件,将小文件上传\下载,最后再将小文件组装成大文件;
- 断点续传:在文件分块的基础上,将每个小文件采用单独的线程进行上传\下载,如果碰到网络故障,可以从已经上传\下载的部分开始继续上传\下载未完成的部分,而没有必要从头开始上传\下载;
- 文件秒传:资源服务器中已经存在该文件,其他人上传时直接返回该文件的URI。
RandomAccessFile
平时我们都会使用FileInputStream,FileOutputStream,FileReader以及FileWriter等IO流来读取文件
RandomAccessFile它是一个直接继承Object的独立的类,底层实现中它实现的是DataInput和DataOutput接口。该类支持随机读取文件,随机访问文件类似于文件系统中存储的大字节数组。
它的实现基于文件指针(一种游标或者指向隐含数组的索引),文件指针可以通过getFilePointer方法读取,也可以通过seek方法设置。
输入时从文件指针开始读取字节,并使文件指针超过读取的字节,如果写入超过隐含数组当前结尾的输出操作会导致扩展数组。该类有四种模式可供选择:
- r: 以只读方式打开文件,如果执行写入操作会抛出IOException;
- rw: 以读、写方式打开文件,如果文件不存在,则尝试创建文件;
- rws: 以读、写方式打开文件,要求对文件内容或元数据的每次更新都同步写入底层存储设备;
- rwd: 以读、写方式打开文件,要求对文件内容的每次更新都同步写入底层存储设备;
在rw模式下,默认是使用buffer的,只有cache满的或者使用RandomAccessFile.close()关闭流的时候才真正的写到文件。
API
1、void seek(long pos):设置下一次读取或写入时的文件指针偏移量,通俗点说就是指定下次读文件数据的位置。
偏移量可以设置在文件末尾之外,只有在偏移量设置超出文件末尾后,才能通过写入更改文件长度;
2、native long getFilePointer():返回当前文件的光标位置;
3、native long length():返回当前文件的长度;
4、读方法
5、写方法
6、readFully(byte[] b):这个方法的作用就是将文本中的内容填满这个缓冲区b。如果缓冲b不能被填满,那么读取流的过程将被阻塞,如果发现是流的结尾,那么会抛出异常;
7、FileChannel getChannel():返回与此文件关联的唯一FileChannel对象;
8、int skipBytes(int n):试图跳过n个字节的输入,丢弃跳过的字节;
RandomAccessFile的绝大多数功能,已经被JDK1.4的NIO的内存映射文件取代了,即把文件映射到内存后再操作,省去了频繁磁盘io。
文件分块
文件分块需要在前端进行处理,可以利用强大的js库或者现成的组件进行分块处理。需要确定分块的大小和分块的数量,然后为每一个分块指定一个索引值。
为了防止上传文件的分块与其它文件混淆,采用文件的md5值来进行区分,该值也可以用来校验服务器上是否存在该文件以及文件的上传状态。
- 如果文件存在,直接返回文件地址;
- 如果文件不存在,但是有上传状态,即部分分块上传成功,则返回未上传的分块索引数组;
- 如果文件不存在,且上传状态为空,则所有分块均需要上传。
在调用上传接口前,通过slice方法来取出索引在文件中对应位置的分块。
之后调用上传接口完成上传。
断点续传、文件秒传
后端基于spring boot开发,使用redis来存储上传文件的状态和上传文件的地址。
如果文件完整上传,返回文件路径;部分上传则返回未上传的分块数组;如果未上传过返回提示信息。
在上传分块时会产生两个文件,一个是文件主体,一个是临时文件。临时文件可以看做是一个数组文件,为每一个分块分配一个值为127的字节。
校验MD5值时会用到两个值:
- 文件上传状态:只要该文件上传过就不为空,如果完整上传则为true,部分上传返回false;
- 文件上传地址:如果文件完整上传,返回文件路径;部分上传返回临时文件路径。
分块上传、文件合并
利用文件的md5值来维护分块和文件的关系,因此我们会将具有相同md5值的分块进行合并,由于每个分块都有自己的索引值,所以我们会将分块按索引像插入数组一样分别插入文件中,形成完整的文件。
分块上传时,要和前端的分块大小、分块数量、当前分块索引等对应好,以备文件合并时使用,此处我们采用的是磁盘映射的方式来合并文件。
每当完成一次分块的上传,还需要去检查文件的上传进度,看文件是否上传完成。
然后更新文件的上传进度到Redis中。