• 发文
  • 评论
  • 微博
  • 空间
  • 微信

pg_basebackup原理解析

yzsDBA 2021-05-29 11:04 发文

pg_basebackup

介绍

pg_basebackup提供一个全量备份。常用来搭建流复制环境。属于物理备份。逻辑备份工具时pg_dump。参数说明:

-D:--pgdata=DIRECTORRY,接收备份的目录

-F:--format=p | t,指定输出格式,支持p(原样输出)或者t(tar格式输出)

-r:--max-rate=RATE,最大传输率(kB/s,或用前缀 k,M)

-R,--write-recovery-conf,备份后写recovery.conf文件

-s,--slot=SLOTNAME,使用的复制槽

-T:--tablespace-mapping=OLDDIR=NEWDIR,使用NEWDIR替代OLDDIR

-x:--xlog,备份开始后,启动另一个流复制连接从主库接收WAL

-X:--xlog-method=fetch| stream

  --xlogdir=XLOGDIR

-z:--gzip

-Z:--compress=0-9

--target-gp-dbid:根据给定的dbid创建表空间子目录

-C,--checkpoint=fast| spread

-l,--label=LABLE:设置backup label

-E,--exclude

--exclude-from=FILE

选项:

static struct optionlong_options[] = {

       {"help", no_argument, NULL,'?'},

       {"version", no_argument, NULL,'V'},

       {"pgdata", required_argument,NULL, 'D'},

       {"format", required_argument,NULL, 'F'},

       {"checkpoint",required_argument, NULL, 'c'},

       {"create-slot", no_argument,NULL, 'C'},

       {"max-rate",required_argument, NULL, 'r'},

       {"write-recovery-conf",no_argument, NULL, 'R'},

       {"slot", required_argument,NULL, 'S'},

       {"tablespace-mapping",required_argument, NULL, 'T'},

       {"wal-method",required_argument, NULL, 'X'},

       {"gzip", no_argument, NULL,'z'},

       {"compress",required_argument, NULL, 'Z'},

       {"label", required_argument,NULL, 'l'},

       {"no-clean", no_argument,NULL, 'n'},

       {"no-sync", no_argument, NULL,'N'},

       {"dbname", required_argument,NULL, 'd'},

       {"host", required_argument,NULL, 'h'},

       {"port", required_argument,NULL, 'p'},

       {"username", required_argument,NULL, 'U'},

       {"no-password", no_argument,NULL, 'w'},

       {"password", no_argument,NULL, 'W'},

       {"status-interval",required_argument, NULL, 's'},

       {"verbose", no_argument, NULL,'v'},

       {"progress", no_argument,NULL, 'P'},

       {"waldir", required_argument,NULL, 1},

       {"no-slot", no_argument, NULL,2},

       {"no-verify-checksums",no_argument, NULL, 3},

       {NULL, 0, NULL, 0}

   };

流程

1、上层流程

1)先对传入的参数进行互斥检测,必须指定备份路径-D,format指定t模式时才可以使用压缩级别compresslevel。仅includewal为流复制模式时才可以使用复制槽。no_slot下不使用复制槽和temp_replication_slot。create_slot即指定-C时必须使用复制槽。xlog_dir下必须使用format为p即plain模式,且必须使用绝对路径。

2)通过GetConnection函数连接主,返回连接conn

3)format为p模式下,如果-D指定的目录不存在则创建该目录,若存在,则这个目录必须为空

4)通过RetrieveWalSegSize函数得到远程WAL文件大小WalSegSz,通过执行SHOWwal_segment_size得到:

postgres=# show wal_segment_size;-------------------------------16MB(1 row)

5)调用函数BaseBackup进行全量备份。

2、BaseBackup

1)如果指定-R创建recovery.conf文件,那么先在内存中产生内容:

  standby_mode=’on’

 primary_conninfo=’replication= dbname=  fallback_application_name=’

 primary_slot_name=’’

  在备份完成后,写入recovery.conf文件WriteRecoveryConf();

2)调用RunIdentifySystem向主发送IDENTIFY_SYSTEM命令,获取系统标识及时间线,例如:

psql “dbname=postgres replication=database”-c “IDENTIFY_SYSTEM;”systemid    timeline   xlogpos  dbname------------------+--------+----------+--------69516718657589179 |       1| 0/80000D8| postgres(1 row)

  主接收到命令后由函数exec_replication_command进行处理:IdentifySystem();时间线为主机的ThisTimeLineID。(这个值主上怎么更新?)

3)生成BASE BACKUP命令,并向主发送。得到wal起始位置xlogstart和起始时间线starttli,表空间个数tablespacecount和循环计算得到文件总数totalsize?

4)如果时流复制拉取,那么调用函数StartLogStreamer初始化后台进程用于接收WAL,会启动一个进程。

这里请求的开始时间线9.3及之后版本为BASE_BACKUP获取的时间线值,否则为IDENTIFY_SYSTEM获取主上当前时间线值。

StartLogStreamer(xlogstart, starttli, sysidentifier),注册流复制结构:

typedef struct{    PGconn    *bgconn;    XLogRecPtr  startptr;    char       xlog[MAXPGPATH]; directory or tarfiledepending on mode     char      *sysidentifier;    int        timeline;} logstreamer_param;

param->timeline = timeline;param->sysidentifier = sysidentifier;param->startptr = ((uint64) hi) << 32 | lo;//xlogstart转换//对齐文件头param->startptr -=XLogSegmentOffset(param->startptr, WalSegSz);param->bgconn = GetConnection();//另连接master serverreplication_slot//创建复制槽format为p模式创建archive_status目录bgchild = fork();if (bgchild == 0){//子进程         in childprocess         exit(LogStreamerMain(param));}atexit(kill_bgchild_atexit);//父进程

5)对于每个表空间:分别根据format指定的格式拉取数据,若是t则调用ReceiveTarFile接收tar文件,否则调用ReceiveAndUnpackTarFile接收tar文件并解压。这里接收的是数据文件。

接收日志和接收数据不在同一个进程中,为流复制单独创建一个接收日志子进程,子进程接收日志开始的命令是START_REPLICATION,然后开启COPY流。

数据的话应该是BASE_BACKUP,然后开启COPY流。

6)接着根据指定的参数决定是否打印进度

7)获取wal结束位置xlogend

8)根据指定的参数决定是否打印wal end point点

9)调用waitpid等待子进程退出

10)最后将数据全部sync

3、LogStreamerMain

这个是一个子进程处理的内容,根据日志起始时间线及位置初始化流复制结构StreamCtl,然后调用函数ReceiveXlogStream进行流复制接收日志文件。

4、ReceiveXlogStream

1)首先判断时间线对应的history文件,不存在的话通过向主发送TIMELINE_HISTORY命令获取主对于history文件内容,然后写到本地。

2)向主发送START_REPLICATION命令,开始复制,调用函数HandleCopyStream处理COPY流

3)如果当前时间线的日志接收完,那么从下一个时间线开始重新接收。下一个时间线及其起始位置会由HandleCopyStream返回res中记录。下个时间线流复制开始位置会对齐到文件头位置。(也就是说总是从文件头开始复制)

4)如果返回的结果状态时PGRES_COMMAND_OK表示复制结束

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    yzsDBA

    专注于开源数据库原理与使用...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码