经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 程序设计 » Go语言 » 查看文章
Go实现文件分片上传
来源：jb51　　时间：2022/7/25 19:15:49　　对本文有异议

Go语言在写HTTP服务程序时，会经常用到文件上传和文件下载，文件上传和文件下载都可以用http包，默认的功能基本上够用了。http包支持文件下载的断点续传和进度显示，文件上传貌似不支持断点续传，不知道是不是要web端来实现。

然后我自己配合web端实现了大文件分片上传，来完成断点续传和进度显示的功能。

基本思想是，在web端将上传的文件进行分片处理，然后向服务端发送上传请求（UploadRequest）包括文件名，MD5，文件大小，和文件总片数。
然后开始一片一片的上传（Upload）。如果暂停了或者断网失败了，就记录当前上传片的片数，下一次上传，重发UploadRequest，chunkPos为续传位置片数，然后从这个记录的片数开始接着上传（Upload）。在服务端，记录首次请求的文件名，MD5，文件大小，文件总片数，然后开始接收每一片，将每一个片保存为一个单独的文件，在接收完最后一个片时，将所有的分片份文件进行合并。保存为对应的文件名。最后再校验MD5码。

对于不同用户的请求，将文件上传的信息存储到session中，当前文件上传暂停后，上传其它文件时，向session增加新文件的信息。暂停后，接着上传最开始的文件，则直接从session中取得该文件的信息，包括文件名，上传到某一个片的信息等。

服务端实现代码：

  1. func UploadRequest(w http.ResponseWriter, r *http.Request) {
  2. ?? ?log.WithFields(log.Fields{
  3. ?? ??? ?"HTTP": r.Method,
  4. ?? ??? ?"FUNC": "UploadRequest",
  5. ?? ?}).Info("HTTP REQUEST")
  6.  
  7. ?? ?header := w.Header()
  8. ?? ?header.Add("Content-Type", "application/json")
  9.  
  10. ?? ?/* session authentication */
  11. ?? ?sess := session.GlobalSessions.SessionCheck(w, r)
  12. ?? ?if sess == nil {
  13. ?? ??? ?log.Error("sess check error")
  14. ?? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check error")
  15. ?? ??? ?return
  16. ?? ?}
  17.  
  18. ?? ?defer r.Body.Close()
  19. ?? ?con, _ := ioutil.ReadAll(r.Body) //获取post的body数据
  20.  
  21. ?? ?log.Info("UploadRequest json: ", string(con))
  22.  
  23. ?? ?var uploadReq uploadRequest
  24. ?? ?err := json.Unmarshal([]byte(con), &uploadReq) /* 解析json字符串数据到结构体中 */
  25. ?? ?if err != nil {
  26. ?? ??? ?log.Error("json unmarshal error")
  27. ?? ??? ?fmt.Fprintf(w, config.FmtStr, "2000", "error", "json unmarshal error")
  28. ?? ??? ?return
  29. ?? ?}
  30.  
  31. ?? ?switch uploadReq.Option {
  32. ?? ?case "reUploadFile":
  33. ?? ??? ?{
  34. ?? ??? ??? ?sess.Set("currentFile", uploadReq)
  35. ?? ??? ??? ?err := os.Remove("./tmp/" + uploadReq.FileName + "/" + uploadReq.FileName + "_" + uploadReq.ChunkPos)
  36. ?? ??? ??? ?if err != nil {
  37. ?? ??? ??? ??? ?log.Error(err)
  38. ?? ??? ??? ?}
  39. ?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "reupload request success")
  40. ?? ??? ?}
  41. ?? ?case "uploadFile":
  42. ?? ??? ?{
  43. ?? ??? ??? ?err = os.Mkdir("./tmp/"+uploadReq.FileName, 0777)
  44. ?? ??? ??? ?if err != nil {
  45. ?? ??? ??? ??? ?log.Info(err)
  46. ?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "mkdir error")
  47. ?? ??? ??? ?} else {
  48. ?? ??? ??? ??? ?log.Infof("create dir %s ok\r\n", uploadReq.FileName)
  49. ?? ??? ??? ?}
  50. ?? ??? ??? ?// 文件上传信息保存，保存到session中，用于分片续传时使用
  51. ?? ??? ??? ?sess.Set(uploadReq.FileName, uploadReq)
  52. ?? ??? ??? ?sess.Set("currentFile", uploadReq)
  53.  
  54. ?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload request success")
  55. ?? ??? ?}
  56. ?? ?case "uploadCancel":
  57. ?? ??? ?{
  58. ?? ??? ??? ?err = os.RemoveAll("./tmp/" + uploadReq.FileName)
  59. ?? ??? ??? ?if err != nil {
  60. ?? ??? ??? ??? ?log.Fatal(err)
  61. ?? ??? ??? ?}
  62.  
  63. ?? ??? ??? ?sess.Delete(uploadReq.FileName)
  64. ?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
  65. ?? ??? ??? ?return
  66. ?? ??? ?}
  67. ?? ?default:
  68. ?? ??? ?{
  69. ?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "2000", "error", "upload request option error")
  70. ?? ??? ?}
  71. ?? ?}
  72.  
  73. }
  74.  
  75. /* 分片上传功能实现 */
  76. func Upload(w http.ResponseWriter, r *http.Request) {
  77. ?? ?log.WithFields(log.Fields{
  78. ?? ??? ?"HTTP": r.Method,
  79. ?? ??? ?"FUNC": "Upload",
  80. ?? ?}).Info("HTTP REQUEST")
  81.  
  82. ?? ?header := w.Header()
  83. ?? ?header.Add("Content-Type", "application/json")
  84.  
  85. ?? ?/* session authentication */
  86. ?? ?sess := globalSessions.SessionCheck(w, r) //session 检查的接口封装
  87. ?? ?if sess == nil {
  88. ?? ??? ?log.Error("session check failed")
  89. ?? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check failed")
  90. ?? ??? ?return
  91. ?? ?}
  92. ?? ?current_dir := sess.Get("current_dir")
  93. ?? ?log.Info("current dir: ", current_dir)
  94. ?? ?up_dir := sess.Get("up_dir")
  95. ?? ?log.Info("up_dir: ", up_dir)
  96.  
  97. ?? ?// var current_dir string = "./river/test"
  98. ?? ?/* 表单上传文件 */
  99. ?? ?if r.Method == "GET" {
  100. ?? ??? ?crutime := time.Now().Unix()
  101. ?? ??? ?h := md5.New()
  102. ?? ??? ?io.WriteString(h, strconv.FormatInt(crutime, 10))
  103. ?? ??? ?token := fmt.Sprintf("%x", h.Sum(nil))
  104.  
  105. ?? ??? ?t, _ := template.ParseFiles("upload.gtpl")
  106. ?? ??? ?t.Execute(w, token)
  107. ?? ?} else {
  108. ?? ??? ?r.ParseMultipartForm(32 << 20)
  109. ?? ??? ?file, _, err := r.FormFile("uploadfile")
  110. ?? ??? ?if err != nil {
  111. ?? ??? ??? ?log.Error(err)
  112. ?? ??? ??? ?return
  113. ?? ??? ?}
  114. ?? ??? ?defer file.Close()
  115.  
  116. ?? ??? ?var uploadFileInfo uploadRequest
  117. ?? ??? ?uploadFileInfo = sess.Get("currentFile").(uploadRequest)
  118.  
  119. ?? ??? ?// fmt.Fprintf(w, "%v", sess.Get("fileName"))
  120. ?? ??? ?var fileName string = uploadFileInfo.FileName + "_" + uploadFileInfo.ChunkPos
  121.  
  122. ?? ??? ?/* 判断上传的文件是否已经存在，可能发生同名的情况 */
  123. ?? ??? ?log.Debug("fileName: ", fileName)
  124. ?? ??? ?_, err = os.Stat("./tmp/" + uploadFileInfo.FileName + "/" + fileName)
  125. ?? ??? ?var f *os.File
  126. ?? ??? ?if err == nil {
  127. ?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "file is exsited")
  128. ?? ??? ??? ?return
  129. ?? ??? ?} else {
  130. ?? ??? ??? ?f, err = os.OpenFile("./tmp/"+uploadFileInfo.FileName+"/"+fileName, os.O_WRONLY|os.O_CREATE, 0666) // 此处假设当前目录下已存在test目录
  131. ?? ??? ?}
  132.  
  133. ?? ??? ?defer f.Close()
  134.  
  135. ?? ??? ?if err != nil {
  136. ?? ??? ??? ?log.Error(err)
  137. ?? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "create file error")
  138. ?? ??? ??? ?return
  139. ?? ??? ?}
  140. ?? ??? ?io.Copy(f, file) //这里进行大文件copy会导致内存占用过大。一段时候后会进行GC回收
  141. ?? ??? ?log.Info("copy ok")
  142.  
  143. ?? ??? ?// 判断是否单个文件是否上传完毕，上传完毕则合并文件到目标文件夹
  144. ?? ??? ?if uploadFileInfo.ChunkPos == uploadFileInfo.ChunkNum {
  145. ?? ??? ??? ?f.Close()
  146. ?? ??? ??? ?_, err = os.Stat(current_dir.(string) + uploadFileInfo.FileName)
  147. ?? ??? ??? ?var fii *os.File
  148. ?? ??? ??? ?if err == nil {
  149. ?? ??? ??? ??? ?// 如果已经存在这个文件了，则在当前文件名后增加日期
  150. ?? ??? ??? ??? ?time := time.Now().Format("2006-01-02_15-04-05")
  151. ?? ??? ??? ??? ?log.Debug("Time: ", time)
  152.  
  153. ?? ??? ??? ??? ?var fileName []byte = []byte(current_dir.(string) + uploadFileInfo.FileName)
  154. ?? ??? ??? ??? ?var fileNameFinal []byte = fileName
  155. ?? ??? ??? ??? ?log.Debug("file_name: ", string(fileName))
  156. ?? ??? ??? ??? ?var preFileName []byte
  157. ?? ??? ??? ??? ?var sufFileName []byte
  158. ?? ??? ??? ??? ?for i := len(fileName) - 1; i > 0; i-- {
  159. ?? ??? ??? ??? ??? ?if fileName[i] == '.' {
  160. ?? ??? ??? ??? ??? ??? ?preFileName = fileName[:i] // 文件名前缀 test
  161. ?? ??? ??? ??? ??? ??? ?sufFileName = fileName[i:] // 文件名后缀 .txt
  162. ?? ??? ??? ??? ??? ??? ?fileNameFinal = []byte(string(preFileName) + "_" + time + string(sufFileName))
  163. ?? ??? ??? ??? ??? ??? ?log.Info("fileNameFile: ", fileNameFinal)
  164. ?? ??? ??? ??? ??? ??? ?break
  165. ?? ??? ??? ??? ??? ?}
  166. ?? ??? ??? ??? ?}
  167.  
  168. ?? ??? ??? ??? ?fii, err = os.OpenFile(string(fileNameFinal), os.O_WRONLY|os.O_CREATE, 0777) // 此处假设当前目录下已存在test目录
  169. ?? ??? ??? ?} else {
  170. ?? ??? ??? ??? ?fii, err = os.OpenFile(current_dir.(string)+uploadFileInfo.FileName, os.O_CREATE|os.O_WRONLY|os.O_APPEND, os.ModePerm)
  171. ?? ??? ??? ?}
  172. ?? ??? ??? ?defer fii.Close()
  173.  
  174. ?? ??? ??? ?if err != nil {
  175. ?? ??? ??? ??? ?log.Error(err)
  176. ?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open object file error")
  177. ?? ??? ??? ??? ?return
  178. ?? ??? ??? ?}
  179. ?? ??? ??? ?index, _ := strconv.Atoi(uploadFileInfo.ChunkNum)
  180. ?? ??? ??? ?for i := 1; i <= index; i++ {
  181. ?? ??? ??? ??? ?f11, err := os.OpenFile("./tmp/"+uploadFileInfo.FileName+"/"+uploadFileInfo.FileName+"_"+strconv.Itoa(int(i)), os.O_RDONLY, os.ModePerm)
  182. ?? ??? ??? ??? ?if err != nil {
  183. ?? ??? ??? ??? ??? ?log.Error(err)
  184. ?? ??? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open slice file error")
  185. ?? ??? ??? ??? ??? ?return
  186. ?? ??? ??? ??? ?}
  187. ?? ??? ??? ??? ?b, err := ioutil.ReadAll(f11)
  188. ?? ??? ??? ??? ?if err != nil {
  189. ?? ??? ??? ??? ??? ?log.Error(err)
  190. ?? ??? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "ioutil readall error")
  191. ?? ??? ??? ??? ??? ?return
  192. ?? ??? ??? ??? ?}
  193. ?? ??? ??? ??? ?fii.Write(b)
  194. ?? ??? ??? ??? ?f11.Close()
  195. ?? ??? ??? ?}
  196.  
  197. ?? ??? ??? ?err = os.RemoveAll("./tmp/" + uploadFileInfo.FileName)
  198. ?? ??? ??? ?if err != nil {
  199. ?? ??? ??? ??? ?log.Error(err)
  200. ?? ??? ??? ?}
  201.  
  202. ?? ??? ??? ?sess.Delete(uploadFileInfo.FileName)
  203.  
  204. ?? ??? ??? ?fii.Close()
  205. ?? ??? ??? ?if uploadFileInfo.MD5 == FileMD5(fii.Name()) {
  206. ?? ??? ??? ??? ?err := os.Remove(current_dir.(string) + fii.Name())
  207. ?? ??? ??? ??? ?if err != nil {
  208. ?? ??? ??? ??? ??? ?log.Error(err)
  209. ?? ??? ??? ??? ?}
  210. ?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "3000", "error", "upload file md5 error")
  211. ?? ??? ??? ?} else {
  212. ?? ??? ??? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload one file all slice success")
  213. ?? ??? ??? ?}
  214. ?? ??? ??? ?return
  215. ?? ??? ?}
  216.  
  217. ?? ??? ?chunkPos, err := strconv.Atoi(uploadFileInfo.ChunkPos)
  218. ?? ??? ?if err != nil {
  219. ?? ??? ??? ?log.Error(err)
  220. ?? ??? ?}
  221. ?? ??? ?uploadFileInfo.ChunkPos = strconv.Itoa(chunkPos + 1)
  222. ?? ??? ?sess.Set(uploadFileInfo.FileName, uploadFileInfo)
  223. ?? ??? ?sess.Set("currentFile", uploadFileInfo)
  224.  
  225. ?? ??? ?fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
  226. ?? ?}
  227. }
  228.  
  229. func FileMD5(file string) string {
  230. ?? ?f, err := os.Open(file)
  231. ?? ?defer f.Close()
  232. ?? ?if err != nil {
  233. ?? ??? ?log.Info(err)
  234. ?? ??? ?return ""
  235. ?? ?}?? ?buffer, _ := ioutil.ReadAll(f)
  236. ?? ?data := buffer
  237. ?? ?has := md5.Sum(data)
  238. ?? ?md5str := fmt.Sprintf("%x", has)
  239. ?? ?return md5str
  240. }

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持w3xue。

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Go语言热门文章

  • Golang从文件服务器获取图片显示到客户端
  • 谈谈Go语言中的内存重排
  • Golang&nbsp;模块引入及表格读写业务快速实现示例
  • 创建并使用https证书
  • golang的reflection（转）
  • TICK技术栈（一）TICK技术栈介绍
  • beego解读Cache之MemoryCache
  • go语言reflect包最佳实践之struct操作（遍历、赋值与方法调用）
  • golang中gin框架接入jwt使用token验证身份
  • Golang解析、验证、修改URL之Host、Port、Path

    • Go语言推荐文章

  • Go 互斥锁 Mutex 源码分析(二)
  • golang对遍历目录操作的优化
  • 美团VS饿了么，到底谁更胜一筹？
  • 解码 xsync 的 map 实现
  • [golang]在Gin框架中使用JWT鉴权
  • Golang 依赖注入设计哲学｜12.6K &#127775; 的依赖注入库 wire
  • 这么简单的问题都不会，那还面试什么！？
  • golang select 和外层的 for 搭配
  • Go语言的100个错误使用场景（61-68）｜并发实践
  • 实战：如何优雅的从 Skywalking 切换到 OpenTelemetry

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号