经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Python » 查看文章
python批量翻译excel表格中的英文
来源:jb51  时间:2023/2/20 15:16:29  对本文有异议

需求背景

女朋友的论文需要爬取YouTube视频热评,但爬下来的都是外文。

主要设计

  •  读取一个表格文件,获取需要翻译的文本
  •  使用百度翻译 API 进行翻译,获取翻译结果
  •  将翻译结果保存到原表格中,然后提取需要的列组成一个新的 DataFrame
  •  处理多个表格文件,将它们的翻译结果分别保存
  •  使用线程池加速翻译过程,可以同时翻译多个表格
  •  显示进度条

分析

  • 目标文件为xlsx格式,可以借助pandas进行读取文件和生成文件的操作。在这里我的源文件有若干列,其中第2列评论内容为我的目标列。
  • 在这里我用的是百度翻译api接口。也可以googletrans、translate,这些库可以在本地使用,不需要申请API密钥,但是翻译质量和速度可能不如云服务。
  • 由于我每个表格有2000行数据,总共有10个表格,一个个来的话不仅麻烦效率还低。
  • 我需要知道任务的进度,不想一直等下去

具体实现

表格操作

  1. def TranslateTable(sInputFilename, sOutputFilename):
  2. # 读取表格A并选择需要翻译的列
  3. df_a = pd.read_excel(sInputFilename) # 获取df对象
  4. df_a = df_a.iloc[:, [1, 2]] # iloc和loc很像,i=index,
  5. # 翻译英文列
  6. df_a['translation'] = df_a.iloc[:, 0].apply(Translate)
  7. # 创建表格B并保存
  8. df_b = pd.DataFrame({
  9. '原文': df_a.iloc[:, 0],
  10. '译文': df_a.iloc[:, 2]
  11. })
  12. df_b.to_excel(sOutputFilename, index=False)

请求百度翻译api

  1. def Translate(sText, from_lang='en', to_lang='zh'):
  2. appid = 'xxxxxx'
  3. secret_key = 'xxxxxx'
  4. url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'
  5. salt = random.randint(32768, 65536)
  6. sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()
  7. params = {
  8. 'q': sText,
  9. 'from': from_lang,
  10. 'to': to_lang,
  11. 'appid': appid,
  12. 'salt': salt,
  13. 'sign': sign
  14. }
  15. response = requests.get(url, params=params)
  16. result = json.loads(response.content.decode())
  17. if result.get('error_code') is not None:
  18. return None
  19. return result['trans_result'][0]['dst']

多线程

使用concurrent.futures库中的 ThreadPoolExecutor类来实现多线程处理。

  • 创建一个 ThreadPoolExecutor对象。
  • 在循环中遍历每个表格A,并使用 submit方法向线程池提交任务。 submit方法将表格A的文件名和表格B的文件名作为参数传递给 translate_column函数,该函数将在单独的线程中执行。

ThreadPoolExecutor会自动管理线程池的大小,并在有空闲线程时分配新任务。这种方式可以利用多个CPU核心来并行处理多个表格,提高处理速度。

  1. def TranslateTables(sInputFolder, sOutputFolder):
  2. sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]
  3. with ThreadPoolExecutor() as executor:
  4. lstFutures = []
  5. for sInputFilename in sInputFilenames:
  6. sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]
  7. sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻译结果.xlsx')
  8. lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))
  9. for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):
  10. pass

控制台显示进度

使用 concurrent.futures.as_completed 函数显示进度条。

完整源码

  1. # -*- coding: utf-8 -*-
  2. # time: 2022/2/17 03:06
  3. # file: test.py
  4. # author: Shi Yasong
  5.  
  6. """
  7. 主要功能功能:
  8. ? ? 1、读取一个表格文件,获取需要翻译的文本。
  9. ? ? 2、使用百度翻译 API 进行翻译,获取翻译结果。
  10. ? ? 3、将翻译结果保存到原表格中,然后提取需要的列组成一个新的 DataFrame。
  11. ? ? 4、处理多个表格文件,将它们的翻译结果合并到一个 DataFrame 中,然后分别保存。
  12. ? ? 5、使用线程池加速翻译过程,可以同时翻译多个表格
  13. ? ? 6、使用 ?concurrent.futures.as_completed 函数显示进度条。
  14. """
  15.  
  16.  
  17. from concurrent.futures import ThreadPoolExecutor, as_completed
  18. from tqdm import tqdm ?# 进度条库,需要先安装
  19.  
  20. import pandas as pd
  21. import requests
  22. import json
  23. import os
  24. import hashlib
  25. import random
  26.  
  27.  
  28. def Translate(sText, from_lang='en', to_lang='zh'):
  29. ? ? appid = 'xxxx'
  30. ? ? secret_key = 'xxxxx'
  31. ? ? url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'
  32. ? ? salt = random.randint(32768, 65536)
  33. ? ? sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()
  34. ? ? params = {
  35. ? ? ? ? 'q': sText,
  36. ? ? ? ? 'from': from_lang,
  37. ? ? ? ? 'to': to_lang,
  38. ? ? ? ? 'appid': appid,
  39. ? ? ? ? 'salt': salt,
  40. ? ? ? ? 'sign': sign
  41. ? ? }
  42. ? ? response = requests.get(url, params=params)
  43. ? ? result = json.loads(response.content.decode())
  44. ? ? if result.get('error_code') is not None:
  45. ? ? ? ? return None
  46. ? ? return result['trans_result'][0]['dst']
  47.  
  48.  
  49. def TranslateTable(sInputFilename, sOutputFilename):
  50. ? ? # 读取表格A并选择需要翻译的列
  51. ? ? df_a = pd.read_excel(sInputFilename) # 获取df对象
  52. ? ? df_a = df_a.iloc[:, [1, 2]] ?# ilocloc很像,i=index
  53. ? ? # 翻译英文列
  54. ? ? df_a['translation'] = df_a.iloc[:, 0].apply(Translate)
  55. ? ? # 创建表格B并保存
  56. ? ? df_b = pd.DataFrame({
  57. ? ? ? ? '原文': df_a.iloc[:, 0],
  58. ? ? ? ? '译文': df_a.iloc[:, 2]
  59. ? ? })
  60. ? ? df_b.to_excel(sOutputFilename, index=False)
  61.  
  62.  
  63. def TranslateTables(sInputFolder, sOutputFolder):
  64. ? ? sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]
  65. ? ? with ThreadPoolExecutor() as executor:
  66. ? ? ? ? lstFutures = []
  67. ? ? ? ? for sInputFilename in sInputFilenames:
  68. ? ? ? ? ? ? sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]
  69. ? ? ? ? ? ? sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻译结果.xlsx')
  70. ? ? ? ? ? ? lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))
  71. ? ? ? ? for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):
  72. ? ? ? ? ? ? pass
  73.  
  74.  
  75. # 调用函数翻译多个表格
  76. sInputFolder = r'C:\Users\lenovo\Desktop\english' ?# 修改为实际的表格文件夹路径
  77. sOutputFolder = r'C:\Users\lenovo\Desktop\zh' ?# 修改为实际的表格文件夹路径
  78. TranslateTables(sInputFolder, sOutputFolder)

到此这篇关于python批量翻译excel表格中的英文的文章就介绍到这了,更多相关python批量翻译内容请搜索w3xue以前的文章或继续浏览下面的相关文章希望大家以后多多支持w3xue!

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号