经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » 编程经验 » 查看文章
Ceph对象网关,多区域网关
来源:cnblogs  作者:FuShudi  时间:2024/6/1 15:51:21  对本文有异议

Ceph对象网关,多区域网关

ceph最基础的组件是mon,mgr,osd,有了这3个组件之后ceph就可以提供块存储的能力,但是仅仅只有这一个能力,如果需要提供文件系统存储,那么就需要部署mds

如果还需要提供对象存储的话,那么就需要部署rgw (rados gateway)对外提供对象存储

1. 文件系统与对象存储的区别

文件系统是允许用户进行增删改查这4个操作的,但是对象存储只允许增,删,查,并不允许修改,在ceph集群中,对象存储默认会将文件切分成4M的大小,不足4M的按原大小

对象存储的概念最早是由AWS提出,并且也搞了一个标准叫做s3(Simple Storage Service )

1.1 对象存储使用场景

  • 图片
  • 视频
  • 镜像文件
  • 大文件,修改少(基本不修改)

1.2 对象存储的接口标准

    1. s3(来源于AWS)
    1. swift(来源于OpenStack)

1.3 桶(bucket)

桶是对象存储里的一个逻辑概念,所有的对象都是存放在桶里的,但是之前说过,ceph上所有的数据都属存放在pg上,那他到底是存在桶里还是存在pg里?那pg是在桶上呢还是桶在pg上呢?

要搞清楚这个问题还得回到ceph,因为pg这个概念是存在于ceph上的,而如果我们底层的存储系统不是用的ceph呢?是minio呢,他是不是也有pg呢?很显然,答案是不对的,所以对象存储不管你底层存储是把数据往哪放,反正我,就只往桶里放,至于你把我的桶放在哪,那是你的事,你自己安排就好

2. rgw

  • 负责接收http请求(s3,swift)
  • 实现桶的逻辑
  • 对象
    • 数据
    • 元数据
    • 对象ID

rgw不属于ceph的服务端组件,是属于ceph的客户端组件,这样做是因为对象存储是提供的http地址,然而ceph服务端是没有提供http地址的,所以将rgw放在客户端,当用户请求http地址时,用户此时并不需要安装ceph客户端,只需要发起http请求,客户端此时再去请求服务端。

2.1 对象存储认证

对象存储认证是基于桶的认证,这个与cephx的认证是不一样的

他需要用户提供AK,SK。

也就是说现在某个用户需要存放一个文件到ceph的对象存储里面,他需要请求ceph客户端,并于ceph客户端rgw完成认证,此时ceph客户端再去与ceph服务端完成cephx的认证

2.2 对象网关所涉概念

  • Realm 领域
    • 一个realm中可以有一个或多个区域,但是有且仅有一个 master zonegroup,同一个Realm下的同一个zonegroup下的多个zone之间的数据是自动同步的
  • Zonegroup 区域组
    • 一个zonegroup中有一个或多个zone,但是有且仅有一个master zone,同一个zonegroup下的多个zone会同步数据
  • zone 区域
    • 一个zone中有一个或多个rgw
  • rgw

2.3 可用区和ceph集群的关系

  • 一个zone一定只属于一个ceph集群
  • 一个ceph集群当中可以有多个zone

3. 部署对象网关

3.1 创建realm

  1. [root@ceph01 ~]# radosgw-admin realm create --rgw-realm=for_swift
  2. {
  3. "id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  4. "name": "for_swift",
  5. "current_period": "89a157fc-baf4-4f5f-a4c7-884dc87c0be0",
  6. "epoch": 1
  7. }

现在创建了realm,有realm他后面肯定会有他的zonegroup,那么这些信息记录在哪呢?肯定是配置文件里面啊,每一个realm会有自己的配置文件来记录他这里面的zonegroup,zone,rgw。他的配置文件就叫peri,而peri会有一个ID,而现在这个配置文件里面是没有东西的,当后面创建了zonegroup之后这个配置文件就需要更新,那么这个ID也是会随着更新的,那么会更新就会有一个东西来记录他的版本,也就是更新了多少次

这里显示的current_period 就是他配置文件的ID

epoch就是配置文件的版本

3.1.1 列出所有的realm

  1. [root@ceph01 ~]# radosgw-admin realm list
  2. {
  3. "default_info": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  4. "realms": [
  5. "for_swift"
  6. ]
  7. }

3.1.2 列出某个realm的详细信息

  1. [root@ceph01 ~]# radosgw-admin realm get --rgw-realm for_swift
  2. {
  3. "id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  4. "name": "for_swift",
  5. "current_period": "89a157fc-baf4-4f5f-a4c7-884dc87c0be0",
  6. "epoch": 1
  7. }

3.1.3 删除某个realm

  1. # 先创建一个
  2. [root@ceph01 ~]# radosgw-admin realm create --rgw-realm test
  3. {
  4. "id": "3d366d9c-b948-4d4d-8e15-d19a72579d77",
  5. "name": "test",
  6. "current_period": "d38a8be8-0d85-4244-8879-9e222761defb",
  7. "epoch": 1
  8. }
  9. # 删掉他
  10. [root@ceph01 ~]# radosgw-admin realm delete --rgw-realm test

3.2 创建zonegroup

  1. [root@ceph01 ~]# radosgw-admin zonegroup create --rgw-realm for_swift --rgw-zonegroup for_swift
  2. {
  3. "id": "2b382a98-0c66-4ec3-b7d5-8cdbf1f6b93c",
  4. "name": "for_swift",
  5. "api_name": "for_swift",
  6. "is_master": "false",
  7. "endpoints": [],
  8. "hostnames": [],
  9. "hostnames_s3website": [],
  10. "master_zone": "",
  11. "zones": [],
  12. "placement_targets": [],
  13. "default_placement": "",
  14. "realm_id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  15. "sync_policy": {
  16. "groups": []
  17. }
  18. }

3.2.1 修改zonegroup为主

  1. [root@ceph01 ~]# radosgw-admin zonegroup modify --rgw-realm for_swift --rgw-zonegroup for_swift --default --master
  2. {
  3. "id": "2b382a98-0c66-4ec3-b7d5-8cdbf1f6b93c",
  4. "name": "for_swift",
  5. "api_name": "for_swift",
  6. "is_master": "true",
  7. "endpoints": [],
  8. "hostnames": [],
  9. "hostnames_s3website": [],
  10. "master_zone": "",
  11. "zones": [],
  12. "placement_targets": [],
  13. "default_placement": "",
  14. "realm_id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  15. "sync_policy": {
  16. "groups": []
  17. }
  18. }

现在他的is-master就是true

查看zonegroup

  1. [root@ceph01 ~]# radosgw-admin zonegroup get --rgw-realm for_swift --rgw-zonegroup for_swift
  2. {
  3. "id": "2b382a98-0c66-4ec3-b7d5-8cdbf1f6b93c",
  4. "name": "for_swift",
  5. "api_name": "for_swift",
  6. "is_master": "true",
  7. "endpoints": [],
  8. "hostnames": [],
  9. "hostnames_s3website": [],
  10. "master_zone": "",
  11. "zones": [],
  12. "placement_targets": [],
  13. "default_placement": "",
  14. "realm_id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  15. "sync_policy": {
  16. "groups": []
  17. }
  18. }

3.3 创建zone

  1. [root@ceph01 ~]# radosgw-admin zone create --rgw-realm for_swift --rgw-zonegroup for_swift --rgw-zone for_swift --master --default
  2. {
  3. "id": "5ee18ff4-9b1d-41fd-83bb-3f363634fb1f",
  4. "name": "for_swift",
  5. "domain_root": "for_swift.rgw.meta:root",
  6. "control_pool": "for_swift.rgw.control",
  7. "gc_pool": "for_swift.rgw.log:gc",
  8. "lc_pool": "for_swift.rgw.log:lc",
  9. "log_pool": "for_swift.rgw.log",
  10. "intent_log_pool": "for_swift.rgw.log:intent",
  11. "usage_log_pool": "for_swift.rgw.log:usage",
  12. "roles_pool": "for_swift.rgw.meta:roles",
  13. "reshard_pool": "for_swift.rgw.log:reshard",
  14. "user_keys_pool": "for_swift.rgw.meta:users.keys",
  15. "user_email_pool": "for_swift.rgw.meta:users.email",
  16. "user_swift_pool": "for_swift.rgw.meta:users.swift",
  17. "user_uid_pool": "for_swift.rgw.meta:users.uid",
  18. "otp_pool": "for_swift.rgw.otp",
  19. "system_key": {
  20. "access_key": "",
  21. "secret_key": ""
  22. },
  23. "placement_pools": [
  24. {
  25. "key": "default-placement",
  26. "val": {
  27. "index_pool": "for_swift.rgw.buckets.index",
  28. "storage_classes": {
  29. "STANDARD": {
  30. "data_pool": "for_swift.rgw.buckets.data"
  31. }
  32. },
  33. "data_extra_pool": "for_swift.rgw.buckets.non-ec",
  34. "index_type": 0
  35. }
  36. }
  37. ],
  38. "realm_id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  39. "notif_pool": "for_swift.rgw.log:notif"
  40. }

可以看到他自己创建了很多存储池

3.3.1 查看存储池

  1. [root@ceph01 ~]# ceph osd pool ls
  2. device_health_metrics
  3. test_pool
  4. test02
  5. rbd
  6. mv_rbd
  7. cephfs_data
  8. cephfs_metadata
  9. .rgw.root
  10. default.rgw.log
  11. default.rgw.control
  12. default.rgw.meta

3.3.2 更新配置

  1. [root@ceph01 ~]# radosgw-admin period update --commit --rgw-realm for_swift

如果你的realm是默认的那么就可以不加上 --rgw-realm,不是默认的就需要指定

3.3.3 验证id是否变更

  1. [root@ceph01 ~]# radosgw-admin realm get
  2. {
  3. "id": "286f9296-569d-45e0-b690-4069e3f0d6bc",
  4. "name": "for_swift",
  5. "current_period": "ace39846-04f4-46ba-8601-52f98aafeb1a",
  6. "epoch": 2
  7. }

3.4 创建rgw

  1. [root@ceph01 ~]# ceph orch apply rgw for_swift --placement="1"
  2. Scheduled rgw.for_swift update...

--placement="1" 指的是部署几个rgw

默认监听在80端口,如果想修改端口在创建的时候加上 --port

3.4.1 访问端口

  1. [root@ceph01 ~]# curl 10.104.45.241
  2. <?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>

可以有正常的返回值

4. 使用对象存储

4.1 用户管理

4.1.1 创建用户

  1. [root@ceph01 ~]# radosgw-admin user create --uid=testuser --display-name=testuser
  2. 省略其他输出
  3. "keys": [
  4. {
  5. "user": "testuser",
  6. "access_key": "ZAKFA4A9WRJYI4J059NK",
  7. "secret_key": "6TIZZpCMJVd5fcJcblBwgD7RepMk0gkglLONIBLj"
  8. }
  9. ],

创建用户的时候会返回AK SK,但是AK SK 是s3标准的,如果使用swift的话这个是用不了的,因为这个用户就是s3用户

如果想要使用swift则还需要创建子用户

4.1.2 给用户生成key

  1. [root@ceph01 ~]# radosgw-admin key create --uid=testuser --key-type s3 --gen-access-key --gen-secret
  2. {
  3. "user_id": "testuser",
  4. "display_name": "testuser",
  5. "email": "",
  6. "suspended": 0,
  7. "max_buckets": 1000,
  8. "subusers": [],
  9. "keys": [
  10. {
  11. "user": "testuser",
  12. "access_key": "2EQ7K1XY4GU19C6IK694",
  13. "secret_key": "nWoV1B4DZ40bh5CI6BxqkzgAbH3WhFDCHGLEHq6G"
  14. },
  15. {
  16. "user": "testuser",
  17. "access_key": "ZAKFA4A9WRJYI4J059NK",
  18. "secret_key": "6TIZZpCMJVd5fcJcblBwgD7RepMk0gkglLONIBLj"
  19. }
  20. ],

这个时候这个用户就有2个key了

4.1.3 查看用户列表

  1. [root@ceph01 ~]# radosgw-admin user list
  2. [
  3. "dashboard",
  4. "testuser"
  5. ]

使用user list也是可以查看到用户的

4.1.3 创建子用户

  1. [root@ceph01 ~]# radosgw-admin subuser create --uid=testuser --subuser testuser:swift
  2. {
  3. "user_id": "testuser",
  4. "display_name": "testuser",
  5. "email": "",
  6. "suspended": 0,
  7. "max_buckets": 1000,
  8. "subusers": [
  9. {
  10. "id": "testuser:swift",
  11. "permissions": "<none>"
  12. }
  13. ],
  14. "keys": [
  15. {
  16. "user": "testuser",
  17. "access_key": "2EQ7K1XY4GU19C6IK694",
  18. "secret_key": "nWoV1B4DZ40bh5CI6BxqkzgAbH3WhFDCHGLEHq6G"
  19. },
  20. {
  21. "user": "testuser",
  22. "access_key": "ZAKFA4A9WRJYI4J059NK",
  23. "secret_key": "6TIZZpCMJVd5fcJcblBwgD7RepMk0gkglLONIBLj"
  24. }
  25. ],
  26. "swift_keys": [
  27. {
  28. "user": "testuser:swift",
  29. "secret_key": "gkstooSlkc7Ylf5Czrvzo8TxrgUY3egOW1lKBvSg"
  30. }
  31. ],
  32. "caps": [],
  33. "op_mask": "read, write, delete",
  34. "default_placement": "",
  35. "default_storage_class": "",
  36. "placement_tags": [],
  37. "bucket_quota": {
  38. "enabled": false,
  39. "check_on_raw": false,
  40. "max_size": -1,
  41. "max_size_kb": 0,
  42. "max_objects": -1
  43. },
  44. "user_quota": {
  45. "enabled": false,
  46. "check_on_raw": false,
  47. "max_size": -1,
  48. "max_size_kb": 0,
  49. "max_objects": -1
  50. },
  51. "temp_url_keys": [],
  52. "type": "rgw",
  53. "mfa_ids": []
  54. }

因为创建的是子用户,所以需要指定主用户 --uid

再去指定子用户的类型 --subuser 主用户:子用户名

现在他的swift—key里面就有数据了

4.1.4 子用户权限

  1. [root@ceph01 ~]# radosgw-admin subuser modify --uid testuser --subuser testuser:swift --access full
  2. {
  3. "user_id": "testuser",
  4. "display_name": "testuser",
  5. "email": "",
  6. "suspended": 0,
  7. "max_buckets": 1000,
  8. "subusers": [
  9. {
  10. "id": "testuser:swift",
  11. "permissions": "full-control"
  12. }
  13. ],
  14. "keys": [
  15. {
  16. "user": "testuser",
  17. "access_key": "2EQ7K1XY4GU19C6IK694",
  18. "secret_key": "nWoV1B4DZ40bh5CI6BxqkzgAbH3WhFDCHGLEHq6G"
  19. },
  20. {
  21. "user": "testuser",
  22. "access_key": "ZAKFA4A9WRJYI4J059NK",
  23. "secret_key": "6TIZZpCMJVd5fcJcblBwgD7RepMk0gkglLONIBLj"
  24. }
  25. ],
  26. "swift_keys": [
  27. {
  28. "user": "testuser:swift",
  29. "secret_key": "gkstooSlkc7Ylf5Czrvzo8TxrgUY3egOW1lKBvSg"
  30. }
  31. ],
  32. "caps": [],
  33. "op_mask": "read, write, delete",
  34. "default_placement": "",
  35. "default_storage_class": "",
  36. "placement_tags": [],
  37. "bucket_quota": {
  38. "enabled": false,
  39. "check_on_raw": false,
  40. "max_size": -1,
  41. "max_size_kb": 0,
  42. "max_objects": -1
  43. },
  44. "user_quota": {
  45. "enabled": false,
  46. "check_on_raw": false,
  47. "max_size": -1,
  48. "max_size_kb": 0,
  49. "max_objects": -1
  50. },
  51. "temp_url_keys": [],
  52. "type": "rgw",
  53. "mfa_ids": []
  54. }

默认创建出来时候是没有权限的,所以需要给他对bucket的权限

4.2 bucket管理

buket创建必须使用rgw客户端来创建,所以必须创建客户端

  1. [root@ceph01 ~]# yum install python3-pip -y
  2. [root@ceph01 ~]# pip install python-swiftclient -i https://pypi.tuna.tsinghua.edu.cn/simple

4.2.1 测试子用户权限

  1. [root@ceph01 ~]# swift -A http://10.104.45.241/auth/1.0 -U 'testuser:swift' -K gkstooSlkc7Ylf5Czrvzo8TxrgUY3egOW1lKBvSg stat -v --insecure
  2. StorageURL: http://10.104.45.241/swift/v1
  3. Auth Token: AUTH_rgwtk0e00000074657374757365723a73776966746f562e87af90cca359615566a440ca284b82d38246a602414f5ea2aae59df914a4751ba2
  4. Account: v1
  5. Containers: 0
  6. Objects: 0
  7. Bytes: 0
  8. Objects in policy "default-placement-bytes": 0
  9. Bytes in policy "default-placement-bytes": 0
  10. Containers in policy "default-placement": 0
  11. Objects in policy "default-placement": 0
  12. Bytes in policy "default-placement": 0
  13. X-Timestamp: 1716785113.68986
  14. X-Account-Bytes-Used-Actual: 0
  15. X-Trans-Id: tx00000fd31d0a72e2fdcc4-0066540fd9-1005d-for_swift
  16. X-Openstack-Request-Id: tx00000fd31d0a72e2fdcc4-0066540fd9-1005d-for_swift
  17. Accept-Ranges: bytes
  18. Content-Type: text/plain; charset=utf-8
  19. Connection: Keep-Alive

4.2.2 列出桶

  1. # 在客户端
  2. [root@ceph01 ~]# swift -A http://10.104.45.241/auth/1.0 -U 'testuser:swift' -K gkstooSlkc7Ylf5Czrvzo8TxrgUY3egOW1lKBvSg list
  3. hosts
  4. # 在服务端
  5. [root@ceph01 ~]# radosgw-admin bucket list
  6. [
  7. "hosts"
  8. ]

4.3 数据操作

4.3.1 上传对象

将/etc/hosts 上传到桶,其实在swift里面是叫做容器,不过只是名字不同

  1. [root@ceph01 ~]# swift -A http://10.104.45.241/auth/1.0 -U 'testuser:swift' -K gkstooSlkc7Ylf5Czrvzo8TxrgUY3egOW1lKBvSg upload hosts /etc/hosts
  2. etc/hosts

4.3.2 查看容器内容

  1. [root@ceph01 ~]# swift -A http://10.104.45.241/auth/1.0 -U 'testuser:swift' -K gkstooSlkc7Ylf5Czrvzo8TxrgUY3egOW1lKBvSg list hosts -v
  2. etc/hosts

4.3.3 使用s3协议

这个非常的简单,下载一个s3客户端,s3 browser 直接连接

5. 对象存储多区域网关

多区域就是如果还有另一个ceph集群,想要跟目前的ceph集群里的zone数据保持同步,那么另一个ceph集群也需要有realm、onegroup,需要2个ceph集群内名称保持一致,zone里面又会有rgw,你有你的rgw,我有我的rgw,数据就是通过这两个rgw来同步的,无论是从ceph1集群还是从ceph2集群来操作数据,这2个集群内的数据都会发生对应的改变,这就是多区域网关。

应用场景:异地容灾

大致流程

ceph02集群需要与ceph01集群同步信息,那么ceph02需要先同步ceph01的realm和zonegroup,然后自行创建zone就可以了,创建完zone之后还需要在zone里面创建网关(rgw),当这两个创建完成之后,2个集群的数据会开始同步,第一次是完全同步,后续则是增量同步

5.1 配置多区域网关 (原集群操作)

主zone端的配置:

  1. 添加一个系统用户
  2. 修改主zone,将系统用户和zone绑定
  3. 修改rgw的配置,明确其realm,zonegroup,zone
  4. 更新period
  5. 重启rgw服务/进程

5.1.1 创建系统账户

需要创建用户的原因是为了安全,不然的话别人只要知道集群的IP就能够同步的话数据就会泄露,所以需要认证,并且用户还必须是系统用户

  1. [root@ceph01 ~]# radosgw-admin user create --uid=system-user --display-name=system-user --system
  2. 会显示AK SK

5.1.2 绑定用户与zone

  1. [root@ceph01 ~]# radosgw-admin zone modify --rgw-realm s3_realm --rgw-zonegroup s3_zonegroup --rgw-zone s3_zone --master --default --access-key GR135X3HXX6PQQRXI8QW --secret 7Z9SMnsaL92j7HDyEcihtTsPBPVzqYglek4m6Qk3 --endpoints "http://10.104.45.240,http://10.104.45.241,http://10.104.45.243"
  2. 只看这部分信息
  3. "system_key": {
  4. "access_key": "GR135X3HXX6PQQRXI8QW",
  5. "secret_key": "7Z9SMnsaL92j7HDyEcihtTsPBPVzqYglek4m6Qk3"
  6. },
  • endpoints:指定rgw的地址,有几个写几个,逗号分隔
  • access-key:输入刚刚创建系统用户的AK
  • secret:输入刚刚创建系统用户的SK

5.1.3 声明 realm,zonegroup,zone

有几个rgw就需要操作几次,我这里是3个

  1. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph01.msvmsr rgw_realm s3_realm
  2. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph01.msvmsr rgw_zonegroup s3_zonegroup
  3. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph01.msvmsr rgw_zone s3_zone
  4. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph02.vqvztu rgw_realm s3_realm
  5. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph02.vqvztu rgw_zonegroup s3_zonegroup
  6. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph02.vqvztu rgw_zone s3_zone
  7. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph03.cexvyj rgw_realm s3_realm
  8. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph03.cexvyj rgw_zonegroup s3_zonegroup
  9. [root@ceph01 ~]# ceph config set client.rgw.s3_realm.ceph03.cexvyj rgw_zone s3_zone

5.1.4 更新集群period

  1. [root@ceph01 ~]# radosgw-admin period update --commit

5.1.5 重启rgw

  1. # 重启之前查看一下 ceph orch ls
  2. [root@ceph01 ~]# ceph orch restart rgw.s3_realm
  3. Scheduled to restart rgw.s3_realm.ceph01.msvmsr on host 'ceph01'
  4. Scheduled to restart rgw.s3_realm.ceph02.vqvztu on host 'ceph02'
  5. Scheduled to restart rgw.s3_realm.ceph03.cexvyj on host 'ceph03'

5.2 secondary 配置

secondary zone的配置

  1. 拉取realm信息
  2. 拉取最新的period信息创建自己的zone
  3. 创建rgw
  4. 将rgw加入secondary zone
  5. 更新period
  6. 重启rgw服务/进程
  7. 检测是否有数据同步

5.2.1 拉取realm

  1. [root@m-rgw ~]# radosgw-admin realm pull --url http://10.104.45.240 --access-key GR135X3HXX6PQQRXI8QW --secret 7Z9SMnsaL92j7HDyEcihtTsPBPVzqYglek4m6Qk3
  2. 2024-06-01T14:51:02.345+0800 7f449d3fa2c0 1 error read_lastest_epoch .rgw.root:periods.699f662a-c436-4179-8f7e-8a6d40b188f3.latest_epoch
  3. 2024-06-01T14:51:02.359+0800 7f449d3fa2c0 1 Set the period's master zonegroup 09b8465b-a516-4464-b01d-9d8f8b6a1629 as the default
  4. {
  5. "id": "09c4ff84-8900-48a5-99ea-5a403754ca4f",
  6. "name": "s3_realm",
  7. "current_period": "699f662a-c436-4179-8f7e-8a6d40b188f3",
  8. "epoch": 2
  9. }
  10. # 拉取完成之后在本地可以使用 radosgw-admin realm list 去查看

5.2.2 同步period

  1. [root@m-rgw ~]# radosgw-admin period pull --url http://10.104.45.240 --access-key GR135X3HXX6PQQRXI8QW --secret 7Z9SMnsaL92j7HDyEcihtTsPBPVzqYglek4m6Qk3

5.2.3 创建zone

  1. [root@m-rgw ~]# radosgw-admin zone create --rgw-realm s3_realm --rgw-zonegroup s3_zonegroup --rgw-zone s3_zone_backup --access-key GR135X3HXX6PQQRXI8QW --secret 7Z9SMnsaL92j7HDyEcihtTsPBPVzqYglek4m6Qk3 --endpoints "http://10.104.45.244"
  1. zone的名称就不能再与之前的一致了
  2. endpoints是指定本地的网关地址

5.2.4 创建rgw网关

  1. [root@m-rgw ~]# ceph orch apply rgw s3_backup --placement=1
  2. Scheduled rgw.s3_backup update...

5.2.5 将网关加入zone

  1. [root@m-rgw ~]# ceph config set client.rgw.s3_backup.m-rgw.ftwpgm rgw_realm s3_realm
  2. [root@m-rgw ~]# ceph config set client.rgw.s3_backup.m-rgw.ftwpgm rgw_zonegroup s3_zonegroup
  3. [root@m-rgw ~]# ceph config set client.rgw.s3_backup.m-rgw.ftwpgm rgw_zone s3_zone_bakcup
  1. 这里的zone是本地的zone

5.2.6 更新period

  1. [root@m-rgw ~]# radosgw-admin period update --commit
  1. 这一步操作得等一会

5.2.7 重启服务

  1. [root@m-rgw ~]# ceph orch restart rgw.s3_backup

5.2.8 验证同步

  1. # 直接查看用户,bucket是否同步
  2. [root@m-rgw ~]# radosgw-admin user list
  3. [
  4. "system-user",
  5. "dashboard",
  6. "s3"
  7. ]
  8. [root@m-rgw ~]# radosgw-admin bucket list
  9. [
  10. "media"
  11. ]

可以看到s3用户已经同步过来了,bucket也有了

也可以直接使用命令查看同步状态

  1. [root@m-rgw ~]# radosgw-admin sync status
  2. [root@m-rgw ~]# radosgw-admin sync status
  3. realm 09c4ff84-8900-48a5-99ea-5a403754ca4f (s3_realm)
  4. zonegroup 09b8465b-a516-4464-b01d-9d8f8b6a1629 (s3_zonegroup)
  5. zone abee3a3c-4789-4669-82e5-7219785cd76a (s3_zone_backup)
  6. metadata sync syncing
  7. full sync: 0/64 shards
  8. incremental sync: 64/64 shards
  9. metadata is caught up with master
  10. data sync source: ab90bfa5-4dec-4136-b804-939c80e15d5b (s3_zone)
  11. syncing
  12. full sync: 8/128 shards
  13. full sync: 8 buckets to sync
  14. incremental sync: 120/128 shards
  15. data is behind on 8 shards
  16. behind shards: [82,83,84,85,87,88,90,92]

原文链接:https://www.cnblogs.com/fsdstudy/p/18226047

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号