(数据科学学习手札154)geopandas 0.14版本新特性一览
本文示例代码已上传至我的Github仓库https: github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,就在前两天,Python生态中的GIS运算神器geopandas发布了其0.14.0新版本,在这次新版本更新中,不仅是...[2023/9/18]
每日一库:lumberjack -- 日志轮换和管理
在开发应用程序时,记录日志是一项关键的任务,以便在应用程序运行时追踪问题、监视性能和保留审计记录。Go 语言提供了灵活且强大的日志记录功能,可以通过多种方式配置和使用。其中一个常用的日志记录库是 github.com/natefinch/lumberjack,它提供了一个方便的方式来处理日志文件...[2023/9/14]
Pytest 框架执行用例流程浅谈
背景: 根据以下简单的代码示例,我们将从源码的角度分析其中的关键加载执行步骤,对pytest整体流程架构有个初步学习。 代码示例: import pytest def test_add(): a ert 1 + 1 == 2 def test_sub(): a ert 2...[2023/8/30]
Pandas 使用教程 CSV
CSV(Comma-Separated Values,逗号分隔值,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。 CSV 是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。 AttributeError: partially i...[2023/8/29]
【pytorch】从零开始,利用yolov5、crnn+ctc进行车牌识别
笔者的运行环境:python3.8+pytorch2.0.1+pycharm+kaggle 用到的网络框架:yolov5、crnn+ctc 项目地址:GitHub - WangPengxing/plate_identification: 利用yolov5、crnn+ctc进行车牌识别 1....[2023/8/29]
torch.nn基础学习教程 | PyTorch nn Basic Tutorial
基于torch.nn搭建神经网络的基础教程大纲: 1. 引言 在我们开始深入探讨torch.nn之前,我们首先需要理解PyTorch及其神经网络库的基础知识。这一部分的内容将帮助你对PyTorch有一个整体的了解。 1.1 为什么选择PyTorch? 动态计算图:PyTorch使用动态计...[2023/8/29]
利用pytorch自定义CNN网络(四):损失函数和优化器
本文是利用pytorch自定义CNN网络系列的第四篇,主要介绍如何训练一个CNN网络,关于本系列的全文见这里。 笔者的运行设备与软件:CPU (AMD Ryzen? 5 4600U) + pytorch (1.13,CPU版) + jupyter; 训练模型是为了得到合适的参数权重,设计模...[2023/8/11]
终于搞懂了python2和python3的encode(编码)与decode(解码)
终于搞懂了python2的编码 在python2下碰到非常多次的中文乱码,这次来梳理一下编码问题。 在python 2中默认编码是 ASCII,而在python 3中默认编码是 unicode。 unicode是中间编码,任何字符编码之前的转换都必须解码成unicode,再编码成目标字符编...[2023/8/11]
Datahub稳定版本0.10.4安装指南(独孤风版本)
大家好,我是独孤风,大数据流动的作者。 曾几何时,我在第一次安装JDK环境的时候也遇到了不小的麻烦,当时还有朋友就因为这个环境问题觉得自己根本不是编程的料,选择了放弃。当时有个段子说,“如果不是JDK环境没搞定,我一定是一个编程天才”。权当一笑,但是环境问题确实是个大问题。 开源元数据管理平...[2023/8/7]
「学习笔记」扫描线
什么是扫描线?顾名思义,一根用来扫描的线 扫描线就是一条线在整个图上扫来扫去,它一般被用来解决图形面积,周长,以及二维数点等问题。 下面我们用例题来引入。 P5490 【模板】扫描线 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 我们对于这种题有三种做法 暴力的...[2023/8/7]
验证码识别全流程实战
本文将介绍验证码的历史与发展、验证码破解的历史与发展,验证码破解全流程实战。 验证码的历史与发展 验证码,全称为“Completely Automated Public Turing test to tell Computers and Humans Apart”,即全自动区分计算机和...[2023/7/31]
【AltWalker】模型驱动:轻松实现自动化测试用例的生成和组织执行
模型驱动的自动化测试 模型驱动的自动化测试(Model-Based Testing, 后文中我们将简称为MBT)是一种软件测试方法,它将系统的行为表示为一个或多个模型,然后从模型中自动生成和执行测试用例。这种方法的核心思想是将测试过程中的重点从手动编写测试用例转移到创建和维护描述系统行为的模型。...[2023/7/28]
python3使用PIL添加中文文本水印背景
环境:Windows10_x64 Python版本 :3.9.2 Pillow版本:9.1.1 写的博客文章被转载且不注明出处的情况时有发生,甚至有部分转载者将文章配图添加自己的水印!为了保护作者劳动成果,添加水印是一个可选项。 今天记录下Windows10环境下使用py...[2023/7/5]
Python3.7源码编译
1.下载Python3.7.0源码 git clone https: github.com/python/cpython.git git checkout v3.7.0 wget https: www.python.org/ftp/pyt...[2023/6/28]
CentOS7环境编译python3.9版本pjsua
环境:CentOS 7.6_x64 Python版本 :3.9.12 pjsip版本:2.13 一、背景描述 pjsip地址:https: www.pjsip.org/ GitHub地址:https: github.com/pjsip/p...[2023/6/9]
南洋才女,德艺双馨,孙燕姿本尊回应AI孙燕姿(基于Sadtalker/Python3.10)
孙燕姿果然不愧是孙燕姿,不愧为南洋理工大学的高材生,近日她在个人官方媒体博客上写了一篇英文版的长文,正式回应现在满城风雨的“AI孙燕姿”现象,流行天后展示了超人一等的智识水平,行文优美,绵恒隽永,对AIGC艺术表现得极其克制,又相当宽容,充满了语言上的古典之美,表现出了“任彼如泰山压顶,我只当清...[2023/6/8]
音容笑貌,两臻佳妙,人工智能AI换脸(deepfake)技术复刻《卡萨布兰卡》名场面(Python3.10)
影史经典《卡萨布兰卡》是大家耳熟能详的传世名作,那一首壮怀激烈,激奋昂扬的马赛曲,应当是通片最为激动人心的经典桥段了,本次我们基于faceswap和so-vits库让AI川普复刻美国演员保罗·亨雷德高唱《马赛曲》的名场面。 配置人脸替换DeepFakes项目 关于人脸替换,业内鼎鼎有名的dee...[2023/5/25]
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)
借助So-vits我们可以自己训练五花八门的音色模型,然后复刻想要欣赏的任意歌曲,实现点歌自由,但有时候却又总觉得少了点什么,没错,缺少了画面,只闻其声,却不见其人,本次我们让AI川普的歌声和他伟岸的形象同时出现,基于PaddleGAN构建“靓声靓影”的“懂王”。 PaddlePaddle是百...[2023/5/19]
Python3.x检查内存可用大小的两种实现
目录使用 psutil 标准库实现使用Linux free 命令实现总结 在Linux服务器管理中,内存是一个非常重要的资源。如果服务器的内存不足,可能会导致服务器崩溃或者无法正常工作。因此,检查Linux服务器内存可用大小是非常必要的。本文将介绍如何使用Python 3实现检查Linux服务器内存...[2023/5/19]
AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践,复刻《遥远的歌》,原唱晴子(Python3.10)
忽如一夜春风来,亚洲天后孙燕姿独特而柔美的音色再度响彻华语乐坛,只不过这一次,不是因为她出了新专辑,而是人工智能AI技术对于孙燕姿音色的完美复刻,以大江灌浪之势对华语歌坛诸多经典作品进行了翻唱,还原度令人咋舌,如何做到的? 本次我们借助基于Python3.10的开源库so-vits-svc,让...[2023/5/12]
人工智能AI图像风格迁移(StyleTransfer),基于双层ControlNet(Python3.10)
图像风格迁移(Style Transfer)是一种计算机视觉技术,旨在将一幅图像的风格应用到另一幅图像上,从而生成一幅新图像,该新图像结合了两幅原始图像的特点,目的是达到一种风格化叠加的效果,本次我们使用Stable-Diffusion结合ControlNet来实现图像风格迁移效果。 安装Con...[2023/4/21]
任务拆解,悠然自得,自动版本的ChatGPT,AutoGPT自动人工智能AI任务实践(Python3.10)
当我们使用ChatGPT完成某些工作的时候,往往需要多轮对话,比如让ChatGPT分析、翻译、总结一篇网上的文章或者文档,再将总结的结果以文本的形式存储在本地。过程中免不了要和ChatGPT“折冲樽俎”一番,事实上,这个“交涉”的过程也可以自动化,AutoGPT可以帮助我们自动拆解任务,没错,程...[2023/4/19]
基于Pytorch实现分类器的示例详解
目录Softmax分类器定义训练测试感知机分类器定义训练测试 本文实现两个分类器: softmax分类器和感知机分类器 Softmax分类器 Softmax分类是一种常用的多类别分类算法,它可以将输入数据映射到一个概率分布上。Softmax分类首先将输入数据通过线性变换得到一个向量,然后将向...[2023/4/19]
人工智能AI库Spleeter免费人声和背景音乐分离实践(Python3.10)
在视频剪辑工作中,假设我们拿到了一段电影或者电视剧素材,如果直接在剪辑的视频中播放可能会遭遇版权问题,大部分情况需要分离其中的人声和背景音乐,随后替换背景音乐进行二次创作,人工智能AI库Spleeter可以帮我们完成大部分素材的人声和背景音乐的分离流程。 Spleeter的模型源来自最大的音乐...[2023/4/17]
Python3中的循环语句示例详解
目录Python3 循环语句for循环range()函数break和continue语句while循环 Python3 循环语句 在Python编程中,循环语句是控制程序重复执行的一种常用结构,常见的循环语句包括:for循环和while循环。本文将详细介绍Python3中的循环语句,给出各种循环...[2023/4/17]
Pandas实现Excel文件读取,增删,打开,保存操作
目录前言一、Pandas 的主要函数包括二、使用步骤1.简单示例2.保存Excel操作3.删除和添加数据4.添加新的表单 前言 Pandas 是一种基于 NumPy 的开源数据分析工具,用于处理和分析大量数据。Pandas 模块提供了一组高效的工具,可以轻松地读取、处理和分析各种类型的数据,包括...[2023/4/10]
(数据科学学习手札151)速通pandas2.0新版本干货内容
本文示例代码已上传至我的Github仓库https: github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,前两天pandas正式发布了其2.0.0版本,作为一次大版本更新,pandas针对底层进行了大量的重构以优化性能和稳定...[2023/4/6]
Pytorch中的图像增广transforms类和预处理方法
目录1.随机翻转(水平和垂直)2.随机裁剪缩放3.随机修改颜色(颜色抖动)4.将图像转化为张量5.标准化操作6.同时结合多种增广方法 1.随机翻转(水平和垂直) torchvision.transforms.RandomVerticalFlip函数和torchvision.transforms....[2023/4/3]
PyQt-Fluent-Widgets:一个 Fluent Design 风格的组件库
简介 这是一个使用 PyQt/PySide 编写的 Fluent Design 风格的组件库,包含最常用的组件,支持亮暗主题无缝切换。实际上此项目是从 Groove Music 项目剥离出来的子项目,github 仓库地址为 https: github.com/zhiyiYo/PyQt-Flue...[2023/3/15]
pyhon如何把程序打包为whl
目录如何把程序打包为whlsetup函数各参数详解总结 如何把程序打包为whl 首先需要一个库:setuptools 如果是conda环境的话,这个包是自带的,不需要另外安装。 首先把需要打包的py文件放在一个文件夹内(我的文件夹名为coordTrans,记住这个名字,后面要用)。 ...[2023/3/15]
实践Pytorch中的模型剪枝方法
摘要:所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差的模型压缩技术。 本文分享自华为云社区《模型压缩-pytorch 中的模型剪枝方法实践》,作者:嵌入式视觉。 一,剪枝分类 所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差(weigth bias)的模型压缩技术。关...[2023/3/14]
性能的极致,Rust的加持,Zed-Dev编辑器快速搭建Python3.10开发环境
快就一个字,甚至比以快著称于世的Sublime 4编辑器都快,这就是Zed.dev编辑器。其底层由 Rust 编写,比基于Electron技术微软开源的编辑器VSCode快一倍有余,性能上无出其右,同时支持多人编辑代码。 安装和配置Zed.dev Zed.dev编辑器还在灰度测试阶段,暂时只释...[2023/3/14]
笔精墨妙,妙手丹青,微软开源可视化版本的ChatGPT:Visual ChatGPT,人工智能AI聊天发图片,Python3.10实现
说时迟那时快,微软第一时间发布开源库Visual ChatGPT,把 ChatGPT 的人工智能AI能力和Stable Diffusion以及ControlNet进行了整合。常常被互联网人挂在嘴边的“赋能”一词,几乎已经变成了笑话,但这回,微软玩了一次真真正正的AI“赋能”,彻底打通了人工智能“...[2023/3/14]
Python3二分查找库函数bisect(),bisect_left()和bisect_right()的区别
目录case 1case 2case 3 前提:列表有序!!! bisect()和bisect_right()等同,那下面就介绍bisect_left()和bisec_right()的区别! 用法: index1 = bisect(ls, x) #第1个参数是列表,第2个参数是要查找...[2023/3/14]
解决anaconda安装pytorch报错找不到包的问题
目录前言状况描述:问题描述解决办法: 前言 使用anaconda 命令安装pytorch包的问题,以下给出解决办法。 状况描述: 由于是第一次接触安装,看了很多篇文章,也遇到了一些坑,在此总结一下。 安装pytorch,从硬件上分为2个版本,一个是cpu,一个是gpu(显卡)。gpu...[2023/3/14]
口播神器,基于Edge,微软TTS(text-to-speech)文字转语音免费开源库edge-tts实践(Python3.10)
不能否认,微软Azure在TTS(text-to-speech文字转语音)这个人工智能细分领域的影响力是统治级的,一如ChatGPT在NLP领域的随心所欲,予取予求。君不见几乎所有的抖音营销号口播均采用微软的语音合成技术,其影响力由此可见一斑,仅有的白璧微瑕之处就是价格略高,虽然国内也可以使用科...[2023/3/8]
逐句回答,流式返回,ChatGPT采用的Server-sent events后端实时推送协议Python3.10实现,基于Tornado6.1
善于观察的朋友一定会敏锐地发现ChatGPT网页端是逐句给出问题答案的,同样,ChatGPT后台Api接口请求中,如果将Stream参数设置为True后,Api接口也可以实现和ChatGPT网页端一样的流式返回,进而更快地给到前端用户反馈,同时也可以缓解连接超时的问题。 Server-sent...[2023/3/8]
重新定义性价比!人工智能AI聊天ChatGPT新接口模型gpt-3.5-turbo闪电更新,成本降90%,Python3.10接入
北国春迟,春寒料峭略带阴霾,但ChatGPT新接口模型gpt-3.5-turbo的更新为我们带来了一丝暖意,使用成本更加亲民,比高端产品ChatGPT Plus更实惠也更方便,毕竟ChatGPT Plus依然是通过网页端来输出,Api接口是以token的数量来计算价格的,0.002刀每1000个...[2023/3/6]
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂,传统劳动力和内容创作平台被AI枪毙,弃尸尘埃。并非空穴来风,也不是危言耸听,人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程,你问我绘画行业未来的样子?我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下,体验人工智能登峰造极的...[2023/2/27]
基于pytorch实现模型剪枝
一,剪枝分类 1.1,非结构化剪枝 1.2,结构化剪枝 1.3,本地与全局修剪 二,PyTorch 的剪枝 2.1,pytorch 剪枝工作原理 2.2,局部剪枝 2.2.1,局部非结构化剪枝 2.2.2,局部结构化剪枝 2.2.3,局部结构化剪枝示例代码 2.3,全局非结构化剪枝...[2023/2/24]
QT实现制作一个ListView列表的示例代码
目录1、概述2、代码示例1.自定义QListWidget2.自定义QListWidgetItem3.使用3、图片演示 1、概述 案例:使用Qt制作一个ListView。点击ListView的Item可以用于测试OpenCV的各种效果 自定义一个:MainListView继承QListWidg...[2023/2/24]
pandas如何将表中的字符串转成数值型
目录pandas将表中的字符串转成数值型扩展:pandas 把某一列中字符串变数值_Pandas对文本数据处理一、str属性二、替换和分隔三、提取子串1、提取第一个匹配的子串四、生成哑变量 pandas将表中的字符串转成数值型 在用pd.read_csv读数据时,将要转换数据类型的列名和类型名构...[2023/2/22]
Pytorch数据类型与转换(torch.tensor,torch.FloatTensor)
目录Pytorch数据类型与转换(torch.tensor,torch.FloatTensor)一、torch.tensor二、torch.FloatTensor扩展:Pytorch数据类型转换1. Pytorch上的数据类型2. 数据类型之间的转换3. cuda数据类型,cpu类型和一般...[2023/2/22]
pycharm2022.2远程连接服务器调试代码实现
目的: 同步本地和服务器的全部或者部分文件本地debug,服务器跑实验 需要条件: 服务器上已经创建好虚拟环境你本地已经安装好pycharm 1.1 File → Settings → Project:XXX →Python Interpreter ...[2023/2/20]
pycharm中执行.sh文件的方法步骤
背景 在运行神经网络相关的实验的时候,通常要跑很多次实验,而每次实验运行时间很久,每运行完一次就需要手动再运行下一次实验。(如果半夜运行完,机器就半夜就休息,机器休息了,我就休息不好了,因此由必要让机器好不停歇的运行着)。.sh脚本可以自动的运行多次实验。例如下面这个强化学习算法的.sh脚本,可...[2023/2/20]
OpenCV学习之图像形态学处理详解
目录1.腐蚀操作2.膨胀操作3.开闭运算4.梯度运算5.Top Hat Black Hat运算 本文是OpenCV图像视觉入门之路的第11篇文章,本文详细的在图像形态学进行了图像处理,例如:腐蚀操作、膨胀操作、开闭运算、梯度运算、Top Hat Black Hat运算等操作。 1.腐蚀操作...[2023/2/17]
OpenCV学习之图像梯度算子详解
目录1.Sobel算子2.Scharr算子3.laplacian算子 本文是OpenCV图像视觉入门之路的第12篇文章,本文详细的介绍了图像梯度算子的各种操作,例如:Sobel算子Scharr算子laplacian算子等操作。 1.Sobel算子 Sobel算子是一种图像边缘检测算子,...[2023/2/17]
Flask接口签名sign原理与实例代码浅析
目录作用原理问题问题1解决办法问题2解决办法代码 觉得废话多的话,可以直接看代码 作用 防止有人不停的刷接口,对接口作限制 比如说,登录接口,按道理说,应该只有app会请求这个接口 但是,如果有人抓取app的请求,就会得到登录接口的地址和请求参数 如果他写了个脚本,不断的访问登录...[2023/2/13]
吾剑未尝不利,国内Azure平替,科大讯飞人工智能免费AI语音合成(TTS)服务Python3.10接入
微软Azure平台的语音合成(TTS)技术确实神乎其技,这一点在之前的一篇:含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入),已经做过详细介绍,然则Azure平台需要信用卡验证,有一定门槛,对国内用户不太友好,放眼神州,科大讯飞的讯飞开放平...[2023/2/10]
pytorch 配置详细过程
torch github 项目多 方便,api好调用 cpu版本 装torch 安装最新版本的就可以。 torchvision 要版本对应 算法: torchvision版本号= torch版本号第一个数字-1.torch版本号第二个数字+1.torch版本号第三个数字 所...[2023/1/28]