配置中心—Consul 配置管理

已于 2025-01-19 14:14:39 修改
阅读量9.7k 收藏 6
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 微服务架构学习与实践总结 文章标签： consul 微服务 .net core
于 2022-04-19 00:05:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37648525/article/details/124262860

配置中心—Consul 配置管理

1. Consul Key/Value 存储

Consul 是 HashiCorp 公司推出的开源工具，用于实现分布式系统的服务发现与配置。与其它分布式服务注册与发现的方案对比，Consul 的方案更“一站式”，内置了服务注册与发现框架、分布式一致性协议实现、健康检查、Key/Value 存储（配置中心）、多数据中心方案，不再需要依赖其它工具（比如 ZooKeeper 等），使用起来也较为简单。

请注意这里，Consul 内置了 Key/Value 存储，这里的 Key/Value 存储也可以当作简单的配置中心使用，如果使用了 Consul 作为服务注册发现，不想再额外引入其他中间件的情况下，可以将一些公共配置信息配置到 Consul，然后通过 Consul 提供的 HTTP API 来获取对应 Key 的 Value。

需要注意的是，Consul 遵循ACP原则中的 CP 原则（一致性+分离容忍），保证数据强一致性，所以当数据在同步过程中，或者Leader挂掉 Server 在重新选举 Leader 过程中，会出现集群不可用。

还有一点缺点就是，Consul 不支持配置信息历史版本管理。

通过默认端口 8500 进入 Consul 管理页面，点击左侧的 Key/Value 菜单，可以看到 Consul 的配置信息管理页面

在这里插入图片描述
点击 Create 创建配置信息，这里可以直接创建配置信息，也可以创建文件夹，如果是创建文件夹的话，要以 / 结尾
在这里插入图片描述
我们可以利用多重文件夹的方式，来区分不同微服务、不同应用、不同环境的配置文件。
在这里插入图片描述

2. .Net Core集成 Consul 配置中心

Consul 提供了一系列的 RESTful HTTP API 以供用接入 Consul 的应用对节点、服务、检查、配置等执行基本的 CRUD 操作。

其中，Key/Value 存储相关的 Api 在这里可以看到：KV Store - HTTP API | Consul by HashiCorp

我们可以直接通过 postman 获取到 Consul 中的配置信息：
在这里插入图片描述
其中 value 是配置信息字符串，直接通过 url 获取到的是经过 base64 加密的结果。

而在 .Net Core 中，之前已经讲到，我们并不需要自己基于 http 请求去实现服务相关的操作，只需要引用 Consul.AspNetCore 包即可，里面已经基于官方提供的 RESTful HTTP API 封装好了 Consul 相关操作。

  1. 安装依赖包

    Install-package Consul.AspNetCore

  2. 配置 Consul 依赖注入

    在 Starup.cs 中添加 Consul 依赖

    public void ConfigureServices(IServiceCollection services)
{
    services.AddConsul(Configuration);
}

    services.AddConsul(Configuration); 是自己写的一个扩展，不是 Consul.AspNetCore 中的方法，目的是为了直接从配置文件中读取 Consul 相关配置。

    public static class ConsulServiceCollectionExtensions
{
    /// <summary>
    /// 向容器中添加Consul必要的依赖注入
    /// </summary>
    /// <param name="services"></param>
    /// <param name="configuration"></param>
    /// <returns></returns>
    public static IServiceCollection AddConsul(this IServiceCollection services, IConfiguration configuration)
    {
        // 配置consul服务注册信息
        var option = configuration.GetSection("Consul").Get<ConsulOption>();
        // 通过consul提供的注入方式注册consulClient
        services.AddConsul(options => options.Address = new Uri($"http://{option.ConsulIP}:{option.ConsulPort}"));
        return services;
    }
}

    配置信息如下：

    "Consul": {
    "ConsulIP": "192.168.137.200",
    "ConsulPort": "8500",
    "FloderName": "test/service1",
    "FileName": "appsetting-dev"
  }

    这里只演示 key/Value 存储的获取和使用，所以就不将当前应用注册到 Consul 中了。

  3. 获取 Consul 中的配置信息

    注册了 ConsulClient 之后，我们就可以通过 IConsulClient 接口对 Consul 集群中的 Key/Value 存储进行操作了。

    [Route("/api/[Controller]")]
public class ConfigController : ControllerBase
{
    private readonly IConsulClient _consulClient;
    private readonly IConfiguration _configuration;
    public ConfigController(IConsulClient consulClient,
        IConfiguration configuration)
    {
        _consulClient = consulClient;
        _configuration = configuration;
    }

    [HttpGet]
    [Route("")]
    public async Task<string> Get(string key)
    {
        var result = await _consulClient.KV.Get(key);
        if (result.StatusCode != System.Net.HttpStatusCode.OK)
        {
            throw new ConsulRequestException("获取服务信息失败！", result.StatusCode);
        }
        var kvs = result.Response;
        return Encoding.UTF8.GetString(kvs.Value);
    }

    [HttpGet]
    [Route("list")]
    public async Task<IList<KVPair>> GetList(string prefix)
    {
        var result = await _consulClient.KV.List(prefix);
        if (result.StatusCode != System.Net.HttpStatusCode.OK)
        {
            throw new ConsulRequestException("获取服务信息失败！", result.StatusCode);
        }
        var kvs = result.Response;
        return kvs.ToList();
    }
}

    在这里插入图片描述

  4. 应用启动时加载 Consul 配置信息，并进行热更新

    通过上面的方式已经可以获取到 Consul Key/Value 存储中的配置信息了，但是我们肯定不希望每次需要使用配置信息的时候这样去获取，而是希望和 .Net Core 中的 Configuration 结合，在启动的时候将配置信息加载到应用中，并且当 Consul 中的配置信息修改时，本地的配置能够更新。

    以下的代码结合 .Net Core 的配置管理机制以及 IConsulClient 实现这样的功能， .Net Core 的配置管理允许我们实现自己的配置提供程序，加入到 IConfigurationBuilder 中，作为我们平常使用的 IConfiguration 的配置来源，所有第三方的配置信息提供程序都是这么实现的。

    （1） 实现 IConfigurationSource，提供 Consul 配置源

    public class ConsulConfigurationSource : IConfigurationSource
{
    /// <summary>
    /// Consul集群IP
    /// </summary>
    public string ConsulIP { get; set; }

    /// <summary>
    /// Consul集群端口
    /// </summary>
    public int ConsulPort { get; set; }

    /// <summary>
    /// 配置文件夹名称。类似于命名空间
    /// </summary>
    public string FloderName { get; set; }

    /// <summary>
    /// 配置文件名称集合
    /// </summary>
    public string FileName { get; set; }

  // 这里需要一个配置信息提供者
    public IConfigurationProvider Build(IConfigurationBuilder builder)
    {
        return new ConsulConfigurationProvider(this);
    }
}

    （2） 继承 ConfigurationProvider 实现 ConsulConfigurationProvider

    public class ConsulConfigurationProvider : ConfigurationProvider, IDisposable
{
   protected readonly ConsulConfigurationSource ConfigurationSource;
   protected readonly ConcurrentDictionary<string, byte[]> ConfigCaches = new ConcurrentDictionary<string, byte[]>();
   protected readonly Dictionary<string, Timer> Timers = new Dictionary<string, Timer>();
   protected readonly IConsulClient _consulClient;
   public ConsulConfigurationProvider(ConsulConfigurationSource configurationSource)
   {
       ConfigurationSource = configurationSource;
       _consulClient = new ConsulClient(x => x.Address = new Uri($"http://{ConfigurationSource.ConsulIP}:{ConfigurationSource.ConsulPort}"));
   }

   public override void Load()
   {
       LoadAsync().ConfigureAwait(false).GetAwaiter().GetResult();
   }

   private async Task LoadAsync()
   {
       var kv = await GetRemoteConfiguration();
       // 记录当前的配置信息
       ConfigCaches[GetConfigKey()] = kv.Value;
       var targetKvs = Flatten(kv);
       
       //将配置的信息转移到Data中，后面的覆盖前面的
       foreach (var item in targetKvs)
       {
           Data[ConfigurationPath.Combine(item.Key.Split("/"))] = item.Value;
       }

       // 启动轮询, 监听配置信息的改变
       await ListenToConfigurationChanged();
   }

   /// <summary>
   /// 调用 consul 配置中心api, 加载远程配置
   /// </summary>
   /// <returns></returns>
   private async Task<KVPair> GetRemoteConfiguration()
   {
       var targetKeys = string.Join("/", ConfigurationSource.FloderName, ConfigurationSource.FileName);
       var result = await _consulClient.KV.Get(targetKeys);
       if (result.StatusCode != System.Net.HttpStatusCode.OK)
       {
           throw new ConsulRequestException("获取服务信息失败！", result.StatusCode);
       }

       var kvs = result.Response;
       return kvs;
   }

   /// <summary>
   /// 长轮询，获取远程配置文件的变化
   /// </summary>
   /// <returns></returns>
   private async Task ListenToConfigurationChanged()
   {
       var timer = new Timer(async x =>
       {
           var config = await GetRemoteConfiguration();
           // 和当前缓存的配置新比较
           var configCache = ConfigCaches[GetConfigKey()];

           // TODO: 如果两者不同,则重新加载配置信息
           var targetKvs = Flatten(config);
           //将配置的信息转移到Data中，后面的覆盖前面的
           foreach (var item in targetKvs)
           {
               Data[ConfigurationPath.Combine(item.Key.Split("/"))] = item.Value;
           }
           OnReload();
       }, "", 0, 8000);
       Timers[GetConfigKey()] = timer;
   }

   /// <summary>
   /// 处理配置文件
   /// </summary>
   /// <param name="tuple"></param>
   /// <param name="prefixKey"></param>
   /// <returns></returns>
   private IEnumerable<KeyValuePair<string, string>> Flatten(KVPair kv)
   {
       var content = Encoding.UTF8.GetString(kv.Value);
       // 反序列化，将配置文件字符串转换为对象树
       var data = JToken.Parse(content);
       // 通过对象树构建Data
       return Flatten(KeyValuePair.Create(string.Empty, data));
   }

   /// <summary>
   /// 递归遍历配置文件，读取json中的每一个键值
   /// </summary>
   /// <param name="tuple"></param>
   /// <param name="prefixKey"></param>
   /// <returns></returns>
   private IEnumerable<KeyValuePair<string, string>> Flatten(KeyValuePair<string, JToken> tuple)
   {
       if (!(tuple.Value is JObject value))
       {
           yield break;
       }

       foreach (var property in value)
       {
           var propertyKey = string.IsNullOrEmpty(tuple.Key) ? property.Key : string.Join("/", tuple.Key, property.Key);
           switch(property.Value.Type)
           {
               case JTokenType.Object:
                   foreach (var item in Flatten(KeyValuePair.Create(propertyKey, property.Value)))
                   {
                       yield return item;
                   }
                   break;
               case JTokenType.Array:
                   break;
               default:
                   yield return KeyValuePair.Create(propertyKey, property.Value.Value<string>());
                   break;
           }
       }
   }

   /// <summary>
   /// 缓存信息key
   /// </summary>
   /// <returns></returns>
   private string GetConfigKey()
   {
       return $"{ConfigurationSource.FloderName}-{ConfigurationSource.FileName}";
   }

   public void Dispose()
   {
       foreach (var timer in Timers)
       {
           timer.Value.Dispose();
       }
   }
}

    （3）提供向 IConfigurationBuilder 添加配置源的扩展方法

    public static class ConsulConfigurationExtensions
{
    /// <summary>
    /// 通过配置信息，连接consul配置中心，加载配置信息
    /// </summary>
    /// <param name="configurationBuilder"></param>
    /// <returns></returns>
    public static IConfigurationBuilder AddConsul(this IConfigurationBuilder configurationBuilder, IConfiguration configuration)
    {
        var configurationSource = new ConsulConfigurationSource();
        configuration.Bind(configurationSource);
        return configurationBuilder.Add(configurationSource);
    }

    /// <summary>
    /// 通过配置信息，连接consul配置中心，加载配置信息
    /// </summary>
    /// <param name="configurationBuilder"></param>
    /// <returns></returns>
    public static IConfigurationBuilder AddConsul(this IConfigurationBuilder configurationBuilder, Action<ConsulConfigurationSource>  action)
    {
        var configurationSource = new ConsulConfigurationSource();
        action.Invoke(configurationSource);
        return configurationBuilder.Add(configurationSource);
    }
}

    （4）在应用启动的时候添加 Consul 配置源

    public static IHostBuilder CreateHostBuilder(string[] args) =>
          Host.CreateDefaultBuilder(args)
              .ConfigureAppConfiguration((context, builder) => 
              { 
                  var config = builder.Build();
                  builder.AddConsul(config.GetSection("Consul"));
              })
              .ConfigureWebHostDefaults(webBuilder =>
              {
                  webBuilder.UseStartup<Startup>();
              });

    （5）通过 IConfiguration 获取 Consul 配置

    [Route("/api/[Controller]")]
 public class ConfigController : ControllerBase
 {
     private readonly IConsulClient _consulClient;
     private readonly IConfiguration _configuration;
     public ConfigController(
         IConsulClient consulClient,
         IConfiguration configuration)
     {
         _consulClient = consulClient;
         _configuration = configuration;
     }

     …

     [HttpGet]
     [Route("GetConfigByIConfiguration")]
     public string GetConfigByIConfiguration()
     {
         var con = _configuration["AppName"];
         return con;
     }
}

    在这里插入图片描述
    其实上面的这部分 .Net Core 配置管理与 Consul Key/Value 存储集成的实现也可以不用自己写，.Net Core 生态圈中已经有开源的包可以使用，那就是 Winton.Extensions.Configuration.Consul，大家可以通过链接到 github 中了解。

    最基本的使用如下：

    Install-package Winton.Extensions.Configuration.Consul

    public static IHostBuilder CreateHostBuilder(string[] args) =>
        Host.CreateDefaultBuilder(args)
            .ConfigureAppConfiguration((context, builder) => 
            {
                //var config = builder.Build();
                //builder.AddConsul(config.GetSection("Consul"));
                builder.AddConsul("/test/service1/appsetting-dev", options => 
                {
                    options.ConsulConfigurationOptions = cco => { cco.Address = new Uri("http://192.168.137.200:8500"); }; // 1、consul地址
                    options.Optional = true; // 2、配置选项
                    options.ReloadOnChange = true; // 3、配置文件更新后重新加载
                    options.OnLoadException = exceptionContext => { exceptionContext.Ignore = true; }; // 4、忽略异常
                });
            })
            .ConfigureWebHostDefaults(webBuilder =>
            {
                webBuilder.UseStartup<Startup>();
            });

    var con = _configuration["test:service1:appsetting-dev:AppName"];

微服务系列文章：
上一篇：配置中心—nacos配置中心
下一篇：API网关—Ocelot

Docker 容器化 Consul：服务发现
AI天才研究院
06-25 295
在微服务架构和分布式系统蓬勃发展的今天，服务发现已成为保障系统可扩展性和弹性的核心基础设施。如何通过Docker容器化技术实现Consul的高效部署与管理？服务注册与发现的核心机制如何在容器环境中稳定运行？分布式集群环境下如何确保服务发现的一致性和可用性？全文覆盖从基础概念解析到生产级部署的完整技术链条，包含Consul架构分析、Docker容器化实践、网络配置优化、集群搭建等核心内容。背景介绍：明确技术目标与核心概念核心概念与联系：解析Consul架构与Docker容器化的技术关联。
Spring Cloud Consul：配置管理与动态配置详解
最新发布
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-24 1225
在微服务架构中，配置管理是实现服务灵活扩展、灰度发布和环境隔离的关键环节。Spring Cloud Consul 提供了强大的配置管理功能，支持集中式配置存储、动态配置更新以及配置版本管理等特性，能够满足微服务应用在复杂业务场景下的配置需求。
consul服务注册发现与配置中心
长江七号的博客
09-20 1981
Eureka已经停止更新了，consul是独立且和微服务功能解耦的注册中心，而不是单独作为一个独立微服务嵌入到系统中。
consul做配置中心
小生不才的博客
06-10 892
consul不仅可做注册中心，还可做配置中心用户级系统级Spring Cloud会创建一个“Bootstrap Context”，作为Spring应用的的父上下文。初始化的时候，负责从外部源加载配置属性并解析配置。这两个上下文共享一个从。
个推基于Consul的配置管理
weixin_34268843的博客
02-25 368
作者：个推应用平台基础架构高级研发工程师 阿飞在微服务架构体系中，由于微服务众多，服务之间又有互相调用关系，因此，一个通用的分布式配置管理是必不可少的。一般来说，配置管理需要解决配置集中管理、在系统运行期间可实现动态配置、配置修改后支持自动刷新等问题。在大多数微服务体系中，都会有一个名为配置文件的功能模块来提供统一的分布式配置管理。构建配置中心，统一对应用中各个微服务进行管理，对微服务体系的意义重...
consul配置参数大全、详解、总结
dianfu2892的博客
06-21 1286
命令行选项 以下选项全部在命令行中指定。 -advertise- 通告地址用于更改我们通告给集群中其他节点的地址。默认情况下，-bind地址是通告的。但是，在某些情况下，可能存在无法绑定的可路由地址。这个标志使闲聊不同的地址来支持这一点。如果此地址不可路由，则节点将处于持续振荡状态，因为其他节点会将非可路由性视为故障。在Consul 1.0和更高版本中，这可以设置为go-...
使用consul作为配置中心
haohaoxuexiyai的博客
05-06 265
https://www.cnblogs.com/jpfss/p/11319234.html
配置管理之Consul
youziguo的专栏
11-05 856
Consul 是 HashiCorp 推出的一款用于服务发现、配置管理、和服务网格的开源工具。Consul 通过分布式架构来实现自动化的服务发现和健康检查，并具备内置的服务网格功能，支持动态负载均衡、加密和 ACL 管理，广泛用于微服务架构、云原生应用和跨数据中心的集群管理。
C# 之Consul配置中心—配置管理操作
我的世界我的光彩
03-10 1765
通过上面的方式已经可以获取到Consul Key/Value存储中的配置信息了，但是我们肯定不希望每次需要使用配置信息的时候这样去获取，而是希望和.Net Core中的Configuration结合，在启动的时候将配置信息加载到应用中，并且当Consul中的配置信息修改时，本地的配置能够更新。需要注意的是，Consul遵循ACP原则中的CP原则（一致性+分离容忍），保证数据强一致性，所以当数据在同步时或者Leader挂掉，Server在重新选举Leader过程中，会出现集群不可用。只需添加包，并引用即可。
Python配置中心：Consul动态配置管理.pdf
04-18
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿...
服务注册和配置中心Consul的研究.zip
12-28
在配置管理方面，Consul Key/Value (KV) 存储允许动态配置服务。服务提供者可以在 Consul 的 KV 存储中设置和获取配置信息，这样当配置变更时，无需重启服务，只需更新 Consul 中的配置即可，大大提高了系统的灵活性...
springcloud使用consul作为配置中心
08-27
主要介绍了springcloud使用consul作为配置中心，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
consul配置和使用
weixin_44105468的博客
11-21 4061
一、什么是consul Consul是HashiCorp公司推出的开源工具，Consul由Go语言开发，部署起来非常容易，只需要极少的可执行程序和配置文件，具有绿色、轻量级的特点。Consul是分布式的、高可用的、 可横向扩展的用于实现分布式系统的服务发现与配置。 二、consul的功能 1）服务发现：Consul提供了通过DNS或者HTTP接口的方式来注册服务和发现服务。一些外部的服务通过Consul很容易的找到它所依赖的服务。 2）健康检测：Consul的Client提供了健康检查的机制，可以通
服务治理consul之配置中心
qq_36851469的博客
08-25 1186
作为配置中心是通过核心类实现的。
consul配置
u011105165的博客
05-17 3811
配置文件 除了命令行选项之外，配置还可以放入文件中。在某些情况下，这可能更容易，例如使用配置管理系统配置Consul时。 配置文件是JSON格式的，使得它们易于被人类和计算机读取和编辑。该配置被格式化为一个单独的JSON对象，并在其中进行配置。 配置文件不仅用于设置代理，还用于提供检查和服务定义。这些用于向其他群集宣布系统服务器的可用性。它们分别在检查配置和服务配置下分别记录。服务和检查定义支持在重新加载期间进行更新。 »示例配置文件 { "datacenter": "east-aws", ".
入门Consul注册、配置中心（代码演示）
m0_71751187的博客
06-06 3116
快速入门consul的配置中心、注册中心
consul作为配置中心
11-16 4833
Conusl可以作为注册中心，也可以作为配置中心。 作为配置中心，使用起来也很方便，大多数都是配置。 Consul的安装这里不说了，主要是说明java后端怎么使用，所以本次采用windows版本的consul。 引入和配置 2个文件： pom配置： <!-- consul配置中心 --> <dependency> <groupId>org.springframework.cloud</groupId> <artifac...
配置中心-Consul(一)
华小灼
04-03 2598
配置中心-Consul
微服务系列之Consul配置中心
qq_41490913的博客
05-20 438
微服务系列之Consul配置中心
consul配置中心
08-19
Consul 是一个开源的服务发现和配置中心工具，由 HashiCorp 公司开发。它可以帮助应用程序在分布式系统中进行服务发现、故障检测和配置管理。 作为一个配置中心，Consul 提供了以下功能： 1. 键值存储：Consul 提供一个分布式的键值存储，可以用来存储应用程序的配置信息。应用程序可以通过 API 或命令行工具来读取和写入配置数据。 2. 服务发现：Consul 可以监测注册在其上的服务的可用性，并提供服务发现功能。应用程序可以通过 Consul 发现和连接到其他服务，从而实现服务之间的通信。 3. 健康检查：Consul 可以定期检查服务的健康状态，并提供报警和自动修复功能。当服务出现故障时，Consul 可以自动将流量路由到健康的实例上。 4. 多数据中心支持：Consul 支持多个数据中心之间的服务发现和配置同步，可以构建全球分布式系统。 使用 Consul 配置中心可以带来许多好处，包括： 1. 集中管理配置：通过将配置信息存储在 Consul 的键值存储中，可以实现集中管理和动态更新配置，减少了手动修改配置文件的工作量。 2. 动态配置更新：Consul 提供了实时变更配置的能力，应用程序可以通过监听配置变更事件来动态更新配置，而不需要重启或重新加载应用程序。 3. 服务发现与负载均衡：Consul 提供了服务发现功能，可以帮助应用程序自动发现和连接其他服务。结合负载均衡，可以实现对服务的高可用和性能优化。 4. 故障检测和自愈能力：Consul 可以定期检查服务的健康状态，并提供故障检测和自愈能力。当服务出现故障时，可以自动切换到健康的实例，提高系统的可用性。 总之，Consul 是一个功能强大的配置中心工具，可以帮助构建可靠的分布式系统，并简化配置管理和服务发现的工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值