经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 数据库/运维 » Nginx » 查看文章
微软用它取代了`Nginx`吞吐量提升了百分之八十！
来源：cnblogs　　作者：tokengo　　时间：2024/1/10 8:57:56　　对本文有异议

Azure应用服务用YARP取代了Nginx，获得了80%以上的吞吐量。他们每天处理160B多个请求(1.9 m RPS)。这是微软的一项了不起的技术创新。

首先我们来介绍一下什么是Yarp

Yarp是什么？

YARP（Yet Another Reverse Proxy）是一个开源的、高性能的反向代理库，由Microsoft开发，使用C#语言编写。它旨在作为.NET平台上构建反向代理服务器的基础。YARP主要针对.NET 5及以上版本，允许开发者在.NET应用程序中轻松地实现反向代理的功能。

YARP的主要特点和功能：

  1. 模块化和可扩展性： YARP设计成高度模块化的，这意味着可以根据需要替换或扩展内部组件，如HTTP请求路由、负载均衡、健康检查等。
  2. 性能： YARP针对高性能进行了优化，利用了.NET的异步编程模型和高效的IO操作，以处理大量并发连接。
  3. 配置驱动： YARP的行为可以通过配置来控制，支持从文件、数据库或其他来源动态加载配置。
  4. 路由： 可以基于各种参数（如路径、头部、查询参数）配置请求路由规则。
  5. 负载均衡： 内置多种负载均衡策略，如轮询、最少连接、随机选择等，并且可以自定义负载均衡策略。
  6. 健康检查： 支持后端服务的健康检查，以确保请求只会被转发到健康的后端服务实例。
  7. 转换器： 允许对请求和响应进行转换，如修改头部、路径或查询参数。
  8. 会话亲和性： 支持会话亲和性（Session Affinity），确保来自同一客户端的请求被发送到相同的后端服务实例。

使用YARP的一些场景：

  • 反向代理： 在客户端和后端服务之间提供一个中间层，用于请求转发和负载均衡。
  • API网关： 作为微服务架构中的API网关，提供路由、鉴权、监控等功能。
  • 边缘服务： 在应用程序和外部世界之间提供安全层，处理SSL终止、请求限制等任务。

Yarp简单的使用

创建一个WebApi的项目

安装Nuget包

  1. <ItemGroup>
  2. 	<PackageReference Include="Yarp.ReverseProxy" Version="2.0.0" />
  3. </ItemGroup>

打开appsettings.json

  1. {
  2.  "Logging": {
  3.    "LogLevel": {
  4.      "Default": "Information",
  5.      "Microsoft": "Warning",
  6.      "Microsoft.Hosting.Lifetime": "Information"
  7.    }
  8.  },
  9.  "AllowedHosts": "*",
  10.  "ReverseProxy": {
  11.    "Routes": {
  12.      "route1" : {
  13.        "ClusterId": "cluster1",
  14.        "Match": {
  15.          "Path": "{**catch-all}"
  16.        }
  17.      }
  18.    },
  19.    "Clusters": {
  20.      "cluster1": {
  21.        "Destinations": {
  22.          "destination1": {
  23.            "Address": "https://cn.bing.com/"
  24.          }
  25.        }
  26.      }
  27.    }
  28.  }
  29. }

打开Program.cs

  1. var builder = WebApplication.CreateBuilder(args);
  2. builder.Services.AddReverseProxy()
  3.     .LoadFromConfig(builder.Configuration.GetSection("ReverseProxy"));
  4. var app = builder.Build();
  5. app.MapReverseProxy();
  6. app.Run();

然后启动项目，访问我们的api就会被代理转发到bing上

Yarp工具代理使用

下面我们在提供一个在中间件使用yarp的方式

我们需要用到IHttpForwarder

先修改Program.cs 在这里我们注入了HttpForwarder，然后提供一个Run中间件，在中间件中手动指定了端点的地址https://cn.bing.com/ 然后我们启动一下项目。

  1. using Yarp.ReverseProxy.Forwarder;
  3. var builder = WebApplication.CreateBuilder(args);
  4. builder.Services.AddHttpForwarder(); // 注入IHttpForwarder 
  5. var app = builder.Build();
  7. var httpMessage = new HttpMessageInvoker(new HttpClientHandler());
  9. app.Run((async context =>
  10. {
  11.     var httpForwarder = context.RequestServices.GetRequiredService<IHttpForwarder>();
  12.     var destinationPrefix = "https://cn.bing.com/";
  14.     await httpForwarder.SendAsync(context, destinationPrefix, httpMessage);
  15. }));
  17. app.Run();

也是一样会被代理过去，但是于简单使用不一样的是我们是在代码层面控制代理的。

使用yarp修改Bing的响应内容

我们继续基于上面的代理使用进行修改bing的相应内容！

打开Program.cs

  1. var builder = WebApplication.CreateBuilder(args);
  2. builder.Services.AddHttpForwarder(); // 注入IHttpForwarder 
  3. var app = builder.Build();
  5. var httpMessage = new HttpMessageInvoker(new HttpClientHandler()
  6. {
  7.     // 忽略https错误
  8.     ServerCertificateCustomValidationCallback = (_, _, _, _) => true,
  9.     AllowAutoRedirect = false,
  10.     AutomaticDecompression = DecompressionMethods.GZip,
  11.     UseCookies = false,
  12.     UseProxy = false,
  13.     UseDefaultCredentials = true,
  14. });
  15. var destinationPrefix = "https://cn.bing.com/";
  17. var bingTransformer = new BingTransformer();
  19. app.Run((async context =>
  20. {
  21.     var httpForwarder = context.RequestServices.GetRequiredService<IHttpForwarder>();
  22.     await httpForwarder.SendAsync(context, destinationPrefix, httpMessage, new ForwarderRequestConfig(),
  23.         bingTransformer);
  24. }));
  26. app.Run();

创建BingTransformer.cs

  1. public class BingTransformer : HttpTransformer
  2. {
  3.     public override async ValueTask TransformRequestAsync(HttpContext httpContext, HttpRequestMessage proxyRequest,
  4.         string destinationPrefix,
  5.         CancellationToken cancellationToken)
  6.     {
  7.         var uri = RequestUtilities.MakeDestinationAddress(destinationPrefix, httpContext.Request.Path,
  8.             httpContext.Request.QueryString);
  9.         proxyRequest.RequestUri = uri;
  10.         proxyRequest.Headers.Host = uri.Host;
  11.         await base.TransformRequestAsync(httpContext, proxyRequest, destinationPrefix, cancellationToken);
  12.     }
  14.     public override async ValueTask<bool> TransformResponseAsync(HttpContext httpContext,
  15.         HttpResponseMessage? proxyResponse,
  16.         CancellationToken cancellationToken)
  17.     {
  18.         await base.TransformResponseAsync(httpContext, proxyResponse, cancellationToken);
  20.         if (httpContext.Request.Method == "GET" &&
  21.             httpContext.Response.Headers["Content-Type"].Any(x => x.StartsWith("text/html")))
  22.         {
  23.             var encoding = proxyResponse.Content.Headers.FirstOrDefault(x => x.Key == "Content-Encoding").Value;
  24.             if (encoding?.FirstOrDefault() == "gzip")
  25.             {
  26.                 var content = proxyResponse?.Content.ReadAsByteArrayAsync(cancellationToken).Result;
  27.                 if (content != null)
  28.                 {
  29.                     var result = Encoding.UTF8.GetString(GZipDecompressByte(content));
  30.                     result = result.Replace("国内版", "Token Bing 搜索 - 国内版");
  31.                     proxyResponse.Content = new StringContent(GZipDecompressString(result));
  32.                 }
  33.             }
  34.             else if (encoding.FirstOrDefault() == "br")
  35.             {
  36.                 var content = proxyResponse?.Content.ReadAsByteArrayAsync(cancellationToken).Result;
  37.                 if (content != null)
  38.                 {
  39.                     var result = Encoding.UTF8.GetString(BrDecompress(content));
  40.                     result = result.Replace("国内版", "Token Bing 搜索 - 国内版");
  41.                     proxyResponse.Content = new ByteArrayContent(BrCompress(result));
  42.                 }
  43.             }
  44.             else
  45.             {
  46.                 var content = proxyResponse?.Content.ReadAsStringAsync(cancellationToken).Result;
  47.                 if (content != null)
  48.                 {
  49.                     content = content.Replace("国内版", "Token Bing 搜索 - 国内版");
  50.                     proxyResponse.Content = new StringContent(content);
  51.                 }
  52.             }
  53.         }
  55.         return true;
  56.     }
  58.     /// <summary>
  59.     /// 解压GZip
  60.     /// </summary>
  61.     /// <param name="bytes"></param>
  62.     /// <returns></returns>
  63.     public static byte[] GZipDecompressByte(byte[] bytes)
  64.     {
  65.         using var targetStream = new MemoryStream();
  66.         using var compressStream = new MemoryStream(bytes);
  67.         using var zipStream = new GZipStream(compressStream, CompressionMode.Decompress);
  68.         using (var decompressionStream = new GZipStream(compressStream, CompressionMode.Decompress))
  69.         {
  70.             decompressionStream.CopyTo(targetStream);
  71.         }
  73.         return targetStream.ToArray();
  74.     }
  76.     /// <summary>
  77.     /// 解压GZip
  78.     /// </summary>
  79.     /// <param name="str"></param>
  80.     /// <returns></returns>
  81.     public static string GZipDecompressString(string str)
  82.     {
  83.         using var compressStream = new MemoryStream(Encoding.UTF8.GetBytes(str));
  84.         using var zipStream = new GZipStream(compressStream, CompressionMode.Decompress);
  85.         using var resultStream = new StreamReader(new MemoryStream(compressStream.ToArray()));
  86.         return resultStream.ReadToEnd();
  87.     }
  89.     /// <summary>
  90.     /// Br压缩
  91.     /// </summary>
  92.     /// <param name="input"></param>
  93.     /// <returns></returns>
  94.     public static byte[] BrCompress(string str)
  95.     {
  96.         using var outputStream = new MemoryStream();
  97.         using (var compressionStream = new BrotliStream(outputStream, CompressionMode.Compress))
  98.         {
  99.             compressionStream.Write(Encoding.UTF8.GetBytes(str));
  100.         }
  102.         return outputStream.ToArray();
  103.     }
  105.     /// <summary>
  106.     /// Br解压
  107.     /// </summary>
  108.     /// <param name="input"></param>
  109.     /// <returns></returns>
  110.     public static byte[] BrDecompress(byte[] input)
  111.     {
  112.         using (var inputStream = new MemoryStream(input))
  113.         using (var outputStream = new MemoryStream())
  114.         using (var decompressionStream = new BrotliStream(inputStream, CompressionMode.Decompress))
  115.         {
  116.             decompressionStream.CopyTo(outputStream);
  117.             return outputStream.ToArray();
  118.         }
  119.     }
  120. }

得到的效果我们将国内版修改成了Token Bing 搜索 - 国内版

Yarp AOT尝试

下面我们将Yarp进行AOT尝试，首先打开我们的项目，添加以下参数

  1. <Project Sdk="Microsoft.NET.Sdk.Web">
  3.   <PropertyGroup>
  4.     <TargetFramework>net8.0</TargetFramework>
  5.     <Nullable>enable</Nullable>
  6.     <ImplicitUsings>enable</ImplicitUsings>
  7.     <InvariantGlobalization>true</InvariantGlobalization>
  8.     <PublishAot>true</PublishAot>
  9.   </PropertyGroup>
  11.   <ItemGroup>
  12.     <PackageReference Include="Yarp.ReverseProxy" Version="2.0.0" />
  13.   </ItemGroup>
  14. </Project>

AOT以后的大小15MB，

测试转发并无问题

优化AOT大小，添加以下参数

  1. <Project Sdk="Microsoft.NET.Sdk.Web">
  3.   <PropertyGroup>
  4.     <TargetFramework>net8.0</TargetFramework>
  5.     <Nullable>enable</Nullable>
  6.     <ImplicitUsings>enable</ImplicitUsings>
  7.     <InvariantGlobalization>true</InvariantGlobalization>
  8.     <PublishAot>true</PublishAot>
  10.     <StackTraceSupport>false</StackTraceSupport>
  11.     <OptimizationPreference>Size</OptimizationPreference>
  12.     <PublishTrimmed>true</PublishTrimmed>
  13.     <BlazorEnableTimeZoneSupport>false</BlazorEnableTimeZoneSupport>
  14.     <EventSourceSupport>false</EventSourceSupport>
  15.     <HttpActivityPropagationSupport>false</HttpActivityPropagationSupport>
  16.     <EnableUnsafeBinaryFormatterSerialization>false</EnableUnsafeBinaryFormatterSerialization>
  17.     <MetadataUpdaterSupport>false</MetadataUpdaterSupport>
  18.     <UseNativeHttpHandler>true</UseNativeHttpHandler>
  19.     <TrimMode>link</TrimMode>
  20.   </PropertyGroup>
  22.   <ItemGroup>
  23.     <PackageReference Include="Yarp.ReverseProxy" Version="2.0.0" />
  24.   </ItemGroup>
  25. </Project>

减少2MB左右，并且正常运行代理

Yarp相关资料

技术交流群：737776595

官方文档：https://microsoft.github.io/reverse-proxy/articles/getting-started.html

来着token的分享

原文链接：https://www.cnblogs.com/hejiale010426/p/17954360

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Nginx热门文章

  • 升级openssl并重新编译Nginx
  • Nginx报404错误的详细解决方法
  • 关于nginx?反向代理?URL替换方案
  • Nginx可视化配置工具NginxWebUI的使用
  • 网站如何通过nginx设置黑/白名单IP限制及国家城市IP访问限制
  • nginx 部署 vue 项目找不到js css文件的解决方法
  • nginx配置访问本地静态资源
  • nginx设置目录白名单、ip白名单的实现方法
  • 超越Nginx的Web服务器caddy优雅用法
  • nginx访问报403错误的几种情况详解

    • Nginx推荐文章

  • Nginx 高性能架构解析
  • Nginx负载配置
  • 生产环境部署Nginx服务器双机热备部署-keepalived（多种模式教程）
  • Nginx 简介、安装与配置文件详解
  • 微软用它取代了`Nginx`吞吐量提升了百分之八十！
  • nginx参数调优能提升多少性能
  • 前后端都用得上的 Nginx 日常使用经验
  • 16. 从零开始编写一个类nginx工具, 反向代理upstream源码实现
  • nginx配置解决跨域访问
  • 问题排查：nginx能跑，但是只能跑一会，不能跑多了

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号