引入 本文在两台2核2g的云服务器上搭建了Hadoop集群，两台云服务器分别是阿里云（hjm）和腾讯云（gyt），集群部署规划如下： hjm gyt HDFS NameNode\SecondaryNameNode\DataNode DataNode YARN Resource...[2023/9/20]

大家好，我是狂师，今天给大家推荐一款验证码识别神器：dddocr。 1、介绍 dddocr是一个基于深度学习的OCR（Optical Character Recognition，光学字符识别）库，用于识别图片中的文字。它可以识别各种类型的文字，包括印刷体、手写体、表格、条形码等。dddocr库...[2023/9/19]

Haproxy搭建 Web 群集实现负载均衡 1 Haproxy HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大（并发达1w以上）web站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行...[2023/9/19]

文本是参考文献[1]的中文翻译，主要讲解了Falcon-7B大型语言模型在心理健康对话数据集上使用QLoRA进行微调的过程。项目GitHub链接为https: github.com/iamarunbrahma/finetuned-qlora-falcon7b-medical，如下所示： 使...[2023/9/19]

Semantic Kernel[1] 是一个开源的将大型语言模型（LLM）与流行的编程语言相结合的SDK，Microsoft将Semantic Kernel（简称SK）称为轻量级SDK，结合了OpenAI，Azure OpenAI和Hugging Face等AI LLM的集成。它使开发人员能够通...[2023/9/18]

反向传播可以求出神经网路中每个需要调节参数的梯度(grad)，优化器可以根据梯度进行调整，达到降低整体误差的作用。下面我们对优化器进行介绍。 1. 如何使用优化器 官方文档:torch.optim — PyTorch 2.0 documentation （1）构造优化器 举个栗子: o...[2023/9/15]

续 基于开源模型的实时人脸识别系统 进行人脸识别首要的任务就是要定位出画面中的人脸，这个任务就是人脸检测。人脸检测总体上算是目标检测的一个特殊情况，但也有自身的特点，比如角度多变，表情多变，可能存在各类遮挡。早期传统的方法有Haar Cascade、HOG等，基本做法就是特征描述子+滑窗+分类...[2023/9/14]

特斯拉公开Dojo超算架构细节，AI训练算力平台成为其自动驾驶与通用人工智能布局的关键一环 在近日举行的Hot Chips 34会议上，特斯拉披露了其自主研发的AI超算Dojo的详细信息。Dojo是一个可定制的超级计算机，从芯片到系统全部由特斯拉自主设计，主要目标是高效运行各种机器学习训练算...[2023/9/13]

这周参加了在上海世博中心举办Google I/O Connect中国开发者大会，有几年没参加这么高质量的活动，有点感慨。       期间重点听了关于GCP和Google AI大语言模型的主题演讲，发现目前各大厂商仍然还处于大语...[2023/9/10]

背景 学校为职业学校，计算机教室需要进行Maya、Adobe?Illustrator、Adobe Dreamweaver、Adobe PhotoShop等软件的教学。每个教室为35用户。资源需求为4核、8G内存、80G硬盘。 基于桌面虚拟化VDI技术的机房在成本、可管理性方面，相对于传统胖终端...[2023/9/9]

背景 学校为职业学校，计算机教室需要进行Maya、Adobe?Illustrator、Adobe Dreamweaver、Adobe PhotoShop等软件的教学。每个教室为35用户。资源需求为4核、8G内存、80G硬盘。 基于桌面虚拟化VDI技术的机房在成本、可管理性方面，相对于传统胖终端...[2023/9/9]

二、用go语言，下面的排序算法中哪些是稳定的：插入排序、归并排序、堆排序和快速排序?给出一个能使任何排序算法都稳定的方法。你所给出的方法带来的额外时间和空间开销是多少？ 文心一言： 在Go语言中，以下排序算法是稳定的： 插入排序 归并排序 而以下的排序算法是不稳定的： 堆排序 快速排序...[2023/9/9]

引言 Code Llama 是为代码类任务而生的一组最先进的、开放的 Llama 2 模型，我们很高兴能将其集成入 Hugging Face 生态系统！Code Llama 使用与 Llama 2 相同的社区许可证，且可商用。 今天，我们很高兴能发布 Hugging Face 对 Code L...[2023/9/9]

最近国内的大模型可谓是遍地开花，你瞧瞧： 这么火，我也想搞一个试试，于是就有了这篇文章！对，你没看错，就是白嫖。 毕竟人家清华都开源了，哈哈哈hoho~~ 先把开源地址贴一下，老铁们可以自行去瞧一瞧： https: github.com/THUDM/ChatGLM-6B https:...[2023/9/9]

分类任务和回归任务的不同之处在于，分类任务需要做出离散的预测。对于多分类任务的神经网络模型，其输出目标通常会用one-hot编码来表示，在输出层中使用softmax函数，同时使用分类交叉熵损失函数进行训练。在本博客中，我们将使用TensorFlow的底层API实现一个基于全连接层的神经网络来进行...[2023/9/9]

一、用go语言，参照图 8-3 的方法，说明 RADIX-SORT在下列英文单词上的操作过程:COW，DOG，SEA，RUG，ROW，MOB， BOX， TAB， BAR， EAR，TAR， DIG，BIG， TEA，NOW，FOX。 文心一言： RADIX-SORT 是一种基于字符的排序算法，...[2023/9/9]

Semi-Supervised Domain Adaptation with Source Label Adaptation 具有源标签适应的半监督域适应 原文链接 Abstract 文章指出当前的半监督域适应（Semi-Supervised Domain Adaptation, SSD...[2023/9/6]

前言 本周所有基于 IntelliJ 的 IDE 和 .NET 工具的 EAP 版本都包含一个主要新功能：AI A istant。本博文重点介绍我们基于 IntelliJ 的 IDE，并且即将推出专门的 .NET 工具博文。 生成式人工智能和大型语言模型正在迅速改变软件开发工具的格局，将这项...[2023/9/6]

　　百度于8月31日零点宣布，文心一言率先向全社会全面开放。我也是立即体验了下，感觉还不错。下面分享一下，如何使用“文心一言”写一篇技术博客。 Step 01 生成文案主体 　　可以对文心多次提问，每次生成的会不一样，选择一篇比较喜欢的文案，点击下方按钮复制出来。 　　提问：写博客《...[2023/9/6]

目录1. 得亏 GPT 脾气好2. 玩 GPT 得注意姿势3. 指南指北指东指西3.1 首先你得理解 GPT 是咋工作的3.2 “Prompt 工程”走起3.3 奇淫技巧之：分隔符3.4 奇淫技巧之：举例子3.5 奇淫技巧之：思维链3.6 奇淫技巧之：奇淫技巧4. 我知道你想积累你自己的 Pro...[2023/9/6]

本文基于 Kafka 3.0+ 的 KRaft 模式来阐述 默认的 Kafka 不受认证约束，可不用账号就可以连接到服务，也就是默认的 PLAIN 方式，不需要认证；配置了 SASL 认证之后，连接Kafka只能用凭证连接登录。 SASL 支持的认证方式有多种：GSSAPI,PLAIN,...[2023/9/4]

二、用go语言，试证明 COUNTING-SORT 是稳定的。 文心一言： 要证明 COUNTING-SORT 是稳定的，我们需要证明在排序过程中，具有相同值的元素在排序后仍保持其原始的相对顺序。COUNTING-SORT 是一种基于计数的排序算法，其核心思想是利用计数数组记录待排序元素的数量。...[2023/9/4]

目录1. 从哪儿聊起呢2. 潮起潮退3. 遇强则强，遇我则……3.1 玩法一：辅助技能提升3.2 镜头背后的故事3.3 玩法二：综合“技术选型”3.4 镜头背后的故事3.5 玩法三：快速生成 Terraform 配置3.6 镜头背后的故事3.7 玩法四：生成简单的 Python 脚本3.8 镜头...[2023/9/1]

背景 本文主要介绍 AI 绘图开源工具 Stable Diffusion WebUI 的 API 开启和基本调用方法，通过本文的阅读，你将了解到 stable-diffusion-webui 的基本介绍、安装及 API 环境配置；文生图、图生图、局部重绘、后期处理等 API 接口调用；图像处...[2023/9/1]

让8个国产主流大模型做做小学一年级的数学题看看？ 8月31日消息，首批大模型产品将陆续通过《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）备案，可正式上线面向公众提供服务。其中包括：百度文心一言、抖音云雀大模型、智谱AI的GLM大模型、中科院的紫东太初大模型、百川智能的百川大...[2023/9/1]

一、用go语言，参照图8-2 的方法，说明 COUNTING-SORT 在数组 A=(6，0，2，0，1，3，4，6，1，3，2)上的操作过程。 文心一言： Counting Sort 是一种非比较型整数排序算法，适用于一定范围内的整数排序。它的基本思想是，对每一个输入元素 x，确定小于 x 的...[2023/9/1]

最近，人工智能社区在开发更大、更高性能的语言模型方面取得了显著的进展，例如 Falcon 40B、LLaMa-2 70B、Falcon 40B、MPT 30B; 以及在图像领域的模型，如 SD2.1 和 SDXL 。这些进步无疑推动了人工智能的发展，使其具有高度多功能和最先进的图像生...[2023/8/30]

本文通过ChnSentiCorp数据集介绍了文本分类任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务和数据集介绍 1.任务 中文情感分类本质还是一个文本分类问题。 2.数据集 本...[2023/8/30]

四、用go语言，假设现有一个包含n个元素的待排序序列。该序列由 n/k 个子序列组成，每个子序列包含k个元素。一个给定子序列中的每个元素都小于其后继子序列中的所有元素，且大于其前驱子序列中的每个元素。因此，对于这个长度为 n 的序列的排序转化为对 n/k个序列中的k个元素的排序。试证明: 这个排序...[2023/8/29]

简介 构建在大语言模型基础上的应用通常有两种，第一种叫做text completion,也就是一问一答的模式，输入是text，输出也是text。这种模型下应用并不会记忆之前的问题内容，每一个问题都是最新的。通常用来做知识库。 还有一种是类似聊天机器人这种会话模式，也叫Chat models。这...[2023/8/29]

一、如果用go语言，在一棵比较排序算法的决策树中，一个叶结点可能的最小深度是多少? 文心一言： 在一个排序决策树（如二叉搜索树）中，每个叶节点的最小深度等于输入数据中最大元素与最小元素之间的位距离。这是因为在最坏的情况下，每个比较都需要将最大元素向最小元素的路径移动，因此叶节点的最小深度就是所有...[2023/8/29]

Kafka 是一个基于发布-订阅模式的消息系统，它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率，即每秒可以处理百万级别的消息。那么 Kafka 是如何实现这样高得性能呢？本文将从七个方面来分析 Kafka 的速度优势。 零拷贝技术 仅可追加日志结构 消息...[2023/8/29]

这篇写的有点迟了，前阵子ChatGPT正火的时候，懒病发作一直拖延。今天对ChatGPT做一个简单的讨论，也是把学习的心得和大家分享一下。 首先什么是GPT，英文全称是Generative Pretrained Transformers （生成式预训练转换器）。GPT是一个预先训练好的，用生成...[2023/8/29]

一、前言简介 　　我相信你一定听过一个说法，那就是机器学习模型可以被视为函数的一种表示方式。它们通常是由多个函数组成的，这些函数通过参数连接在一起。我们让机器从数据中提取模式、规律和关联，然后使用这些信息来做出预测、分类、聚类等任务。所以从本质上来说，在机器学习中我们其实就是要找一个超级函数，...[2023/8/29]

引言 生成式 AI 已成为游戏开发中艺术工作流的重要组成部分。然而，正如我在 之前的文章 中描述的，从文本到 3D 的实用性仍落后于 2D。不过，这种情况正在改变。本文我们将重新审视 3D 素材生成的实用工作流程，并逐步了解如何将生成型 AI 集成到 PS1 风格的 3D 工作流中。 为什...[2023/8/21]

写在前面 说到数据库管理工具，大家应该不陌生了 小伙伴们应该都用过Navicat、DBever、DataGrip、SQLyog、plsqldeveloper等数据库管理工具 这些工具呢都各自有优缺点。 今天要给大家推荐的是一款带有AI 功能的数据库管理工具Chat2DB 一 、??Chat...[2023/8/21]

目录1. 好险，差点被喷2. 重构测试代码2.1 引入 Ginkgo 测试框架2.2 尝试改造旧的测试用例2.3 重构功能测试代码3. 总结 1. 好险，差点被喷 早几天发了一篇文章：《仅三天，我用 GPT-4 生成了性能全网第一的 Golang Worker Pool，轻松打败 GitHu...[2023/8/18]

目录1. 当你要求 GPT-4 帮你写点代码时2. 你需要的背景知识都在这里2.1 关于 GoPool 和 DevChat2.2 关于 GoPool 的工作原理2.3 我想要让 taskQueue 的大小可配置3. 用 Diff 视图来看 GPT-4 写的新代码4. 通过 Diff 内容让 GP...[2023/8/18]

目录背景效果实现功能系列预计写得一些内容整体框架代码结构软件使用说明注册人员打开输入源打开视频文件打开USB摄像头打开IP摄像头（rtsp）输出说明数据说明 背景 人脸识别已经发展了很多年，随着深度学习发展，开源的模型也有很不错的效果了。我们可以在不需要深入各种算法细节的情况下，就能搭建自己...[2023/8/18]

你好呀，我是歪歪。 最近掌握了一个新的吃瓜方式，我觉得还行，给大家简单分享一下。 事情说来就话长了，还得从最近的一次“工业革命”开始，也就是从超导材料说起。 8 月 1 日的时候 B 站这个视频引爆网络： 随后“常温常压下的超导材料”直接霸占了各个新闻媒体的头条，引爆了话题，点燃了股市...[2023/8/16]

目录1. 我以为2. 阴魂不散的“数据竞争”问题3. 老规矩，关门放 GPT-43.1 复现问题3.2 让 GPT-4 写一个单元测试3.3 修复 Wait() 中的逻辑漏洞4. 总结 1. 我以为 我以为 GoPool 这个项目会昙花一现，从此在 GitHub 上封尘。 关于 GoPo...[2023/8/16]

一、Chat2DB简介 在消失的这段时间，我和小伙伴们做了一款集成了AI的数据库管理工具Chat2DB。 他是数据库也集成了AIGC的能力，能够将自然语言转换为SQL，也可以将SQL转换为自然语言，还可以给出SQL的优化建议，可以极大提升效率。 GitHub地址：https: github....[2023/8/11]

1，什么是cdc CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 2，f...[2023/8/11]

0、前言 本文是自己最近在项目上的需要做的一些调研和自己的一些看法，以分享为主。 2D AIGC（文生文、文生图、图生图）在今天大放异彩，产生了许多惊艳的效果，如ChatGPT系列、Imagen、DALLE2、Stable Diffusion等，那我们自然会想到，如果延申到三维呢，如果能跳过M...[2023/8/11]

源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源：norvig.com/big.txt 贝叶斯原理可看这里：机器学习算法学习笔记 - 过客匆匆，沉沉浮浮 - 博客园 (cnblogs.com) 一、数据预处理 将输入的数据全部变为小写方便后续...[2023/8/9]

参照图 7-1的方法，说明 PARTITION在数组 A=(13，19，9，5，12，8，7，4，21，2，6，11)上的操作过程。 文心一言： PARTITION 是一种常见的快速排序算法，其目的是将数组分成两个部分，使得其中一个部分的所有元素都小于另一个部分的所有元素。在这个过程中，最小的元...[2023/8/7]

概述 自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。 NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene ...[2023/8/7]

在对最先进的视觉语言模型 BridgeTower 进行微调时，使用 Optimum Habana v1.6， Habana Gaudi2 可以达到 近 3 倍于 A100 的速度。硬件加速的数据加载以及 fast DDP 这两个新特性对性能提高贡献最大。 这些技术适用于任何性能瓶颈在数据加载上...[2023/8/4]

使用消息队列，我们肯定希望不丢消息，也就是消息队列组件，需要保证消息的可靠交付。消息交付的可靠性保障，有以下三种承诺： 最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。 至少一次（at least once）：消息不会丢失，但有可能被重复发送。 精确一次（exactl...[2023/8/4]

TypeChat源码分析：基于大语言模型的定制化 AI Agent 交互规范 本文深入介绍了微软最近发布的 TypeChat 项目，该项目允许开发者定义大语言模型返回的响应结构。通过分析源代码，探讨了 Prompt 的基本概念，为定制化开发互动式 AI Agent 提供便捷的解决方案。 文...[2023/8/2]