Cacti被监控机器配置 snmp 协议 | OID

SNMP(Simple Network Management Protocol,简单网络管理协议)的前身是简单网关监控协议(SGMP)，用来对通信线路进行管理。
snmpd.conf的配置项很多，但是真正常用的就那么几个，下面来逐个介绍。
打开配置文件只看重要部分
vi /etc/snmp/snmpd.conf

第一步 com2sec命令：

映射一个公共名称到安全账户，这个公共名称是外部访问的标识，也可以把这个公共名称理解成密码，

source用来确定连接源，default默认为任何查询来源。

# First, map the community name "public" into a "security name"

# sec.name source community

com2sec notConfigUser default public

com2sec tom 192.168.1.2 passwd 新增一个密码为passwd、用户名为tom的账户，只接受192.168.1.2查询

第二部 group 命令：

这里是一个用户组的命令，将一个用户加入一个组中，securityModel表示使用协议（SNMP现在通常用的有3个版本，可选值：v1，v2c，usm）。

####

# Second, map the security name into a group name:

# groupName securityModel securityName

group notConfigGroup v1 notConfigUser

group notConfigGroup v2c notConfigUser

group rootgroup v2c tom 把tom用户加入了rootgroup组，使用v2c协议

第三部建立视图权限：
#view.name 视图名 #incl/excl 对下面的MIB子树是包括还是排除(included/excluded) #subtree 视图中所涉及的mib子树（文末会总结这些OID码含义） #mask(optional) 掩码

# Third, create a view for us to let the group have rights to:

# Make at least snmpwalk -v 1 localhost -c public system fast again.

# name incl/excl subtree mask(optional)

view systemview included .1.3.6.1.2.1.1 表示systemview这个视图可以查看节点的1.3.6.1.2.1.1 OID权限

view systemview included .1.3.6.1.2.1.25.1.1

view all included .1 80 增加一个视图all 权限是.1 （所有）

最后分配视图权限到组：

# group 安全组名
# context       (v1，v2中为空)
# sec.model 安全模型，可选值：any,v1，v2，usm
# sec.level 安全级别  可选值：auth,noauth,priv,      v1,v2c中只能为noauth
# prefix 前缀。指定context如何与PDU中的context匹配，V3使用
# read   授权的读视图
# write  授权的写视图
# notif  授权的trap视图

# Finally, grant the group read-only access to the systemview view.

# group context sec.model sec.level prefix read write notif

access notConfigGroup "" any noauth exact systemview none none
access rootgroup "" any noauth exact all none none 增加我的设置

测试一下：

snmpwalk -v 2c -c passwd localhost 1.3.6.1.4.1.9129.1.2.2
snmpwalk可以便利指定节点下的所有子节点，-v 参数指定SNMP的协议版本，这个跟我们之前配置服务器的版本是要一致的，也就是2c，然后-c参数就指定了community的字符串，也就是刚才定义的magus，然后就是主机地址，由于我在本机测试，所以用的localhost，实际中可以填上IP，最后就是OID的值。搞定！

SNMP监控一些常用OID的总结

系统参数（1.3.6.1.2.1.1）
OID	描述	备注	请求方式
.1.3.6.1.2.1.1.1.0	获取系统基本信息	SysDesc	GET
.1.3.6.1.2.1.1.3.0	监控时间	sysUptime	GET
.1.3.6.1.2.1.1.4.0	系统联系人	sysContact	GET
.1.3.6.1.2.1.1.5.0	获取机器名	SysName	GET
.1.3.6.1.2.1.1.6.0	机器坐在位置	SysLocation	GET
.1.3.6.1.2.1.1.7.0	机器提供的服务	SysService	GET
.1.3.6.1.2.1.25.4.2.1.2	系统运行的进程列表	hrSWRunName	WALK
.1.3.6.1.2.1.25.6.3.1.2	系统安装的软件列表	hrSWInstalledName	WALK

网络接口（1.3.6.1.2.1.2）
OID	描述	备注	请求方式
.1.3.6.1.2.1.2.1.0	网络接口的数目	IfNumber	GET
.1.3.6.1.2.1.2.2.1.2	网络接口信息描述	IfDescr	WALK
.1.3.6.1.2.1.2.2.1.3	网络接口类型	IfType	WALK
.1.3.6.1.2.1.2.2.1.4	接口发送和接收的最大IP数据报[BYTE]	IfMTU	WALK
.1.3.6.1.2.1.2.2.1.5	接口当前带宽[bps]	IfSpeed	WALK
.1.3.6.1.2.1.2.2.1.6	接口的物理地址	IfPhysAddress	WALK
.1.3.6.1.2.1.2.2.1.8	接口当前操作状态[up\|down]	IfOperStatus	WALK
.1.3.6.1.2.1.2.2.1.10	接口收到的字节数	IfInOctet	WALK
.1.3.6.1.2.1.2.2.1.16	接口发送的字节数	IfOutOctet	WALK
.1.3.6.1.2.1.2.2.1.11	接口收到的数据包个数	IfInUcastPkts	WALK
.1.3.6.1.2.1.2.2.1.17	接口发送的数据包个数	IfOutUcastPkts	WALK

CPU及负载
OID	描述	备注	请求方式
. 1.3.6.1.4.1.2021.11.9.0	用户CPU百分比	ssCpuUser	GET
. 1.3.6.1.4.1.2021.11.10.0	系统CPU百分比	ssCpuSystem	GET
. 1.3.6.1.4.1.2021.11.11.0	空闲CPU百分比	ssCpuIdle	GET
. 1.3.6.1.4.1.2021.11.50.0	原始用户CPU使用时间	ssCpuRawUser	GET
.1.3.6.1.4.1.2021.11.51.0	原始nice占用时间	ssCpuRawNice	GET
. 1.3.6.1.4.1.2021.11.52.0	原始系统CPU使用时间	ssCpuRawSystem.	GET
. 1.3.6.1.4.1.2021.11.53.0	原始CPU空闲时间	ssCpuRawIdle	GET
. 1.3.6.1.2.1.25.3.3.1.2	CPU的当前负载，N个核就有N个负载	hrProcessorLoad	WALK
. 1.3.6.1.4.1.2021.11.3.0	ssSwapIn	GET
. 1.3.6.1.4.1.2021.11.4.0	SsSwapOut	GET
. 1.3.6.1.4.1.2021.11.5.0	ssIOSent	GET
. 1.3.6.1.4.1.2021.11.6.0	ssIOReceive	GET
. 1.3.6.1.4.1.2021.11.7.0	ssSysInterrupts	GET
. 1.3.6.1.4.1.2021.11.8.0	ssSysContext	GET
. 1.3.6.1.4.1.2021.11.54.0	ssCpuRawWait	GET
. 1.3.6.1.4.1.2021.11.56.0	ssCpuRawInterrupt	GET
. 1.3.6.1.4.1.2021.11.57.0	ssIORawSent	GET
. 1.3.6.1.4.1.2021.11.58.0	ssIORawReceived	GET
. 1.3.6.1.4.1.2021.11.59.0	ssRawInterrupts	GET
. 1.3.6.1.4.1.2021.11.60.0	ssRawContexts	GET
. 1.3.6.1.4.1.2021.11.61.0	ssCpuRawSoftIRQ	GET
. 1.3.6.1.4.1.2021.11.62.0	ssRawSwapIn.	GET
. 1.3.6.1.4.1.2021.11.63.0	ssRawSwapOut	GET
.1.3.6.1.4.1.2021.10.1.3.1	Load5	GET
.1.3.6.1.4.1.2021.10.1.3.2	Load10	GET
.1.3.6.1.4.1.2021.10.1.3.3	Load15	GET

内存及磁盘（1.3.6.1.2.1.25）
OID	描述	备注	请求方式
.1.3.6.1.2.1.25.2.2.0	获取内存大小	hrMemorySize	GET
.1.3.6.1.2.1.25.2.3.1.1	存储设备编号	hrStorageIndex	WALK
.1.3.6.1.2.1.25.2.3.1.2	存储设备类型	hrStorageType[OID]	WALK
.1.3.6.1.2.1.25.2.3.1.3	存储设备描述	hrStorageDescr	WALK
.1.3.6.1.2.1.25.2.3.1.4	簇的大小	hrStorageAllocationUnits	WALK
.1.3.6.1.2.1.25.2.3.1.5	簇的的数目	hrStorageSize	WALK
.1.3.6.1.2.1.25.2.3.1.6	使用多少，跟总容量相除就是占用率	hrStorageUsed	WALK
.1.3.6.1.4.1.2021.4.3.0	Total Swap Size(虚拟内存)	memTotalSwap	GET
.1.3.6.1.4.1.2021.4.4.0	Available Swap Space	memAvailSwap	GET
.1.3.6.1.4.1.2021.4.5.0	Total RAM in machine	memTotalReal	GET
.1.3.6.1.4.1.2021.4.6.0	Total RAM used	memAvailReal	GET
.1.3.6.1.4.1.2021.4.11.0	Total RAM Free	memTotalFree	GET
.1.3.6.1.4.1.2021.4.13.0	Total RAM Shared	memShared	GET
.1.3.6.1.4.1.2021.4.14.0	Total RAM Buffered	memBuffer	GET
.1.3.6.1.4.1.2021.4.15.0	Total Cached Memory	memCached	GET
.1.3.6.1.4.1.2021.9.1.2	Path where the disk is mounted	dskPath	WALK
.1.3.6.1.4.1.2021.9.1.3	Path of the device for the partition	dskDevice	WALK
.1.3.6.1.4.1.2021.9.1.6	Total size of the disk/partion (kBytes)	dskTotal	WALK
.1.3.6.1.4.1.2021.9.1.7	Available space on the disk	dskAvail	WALK
.1.3.6.1.4.1.2021.9.1.8	Used space on the disk	dskUsed	WALK
.1.3.6.1.4.1.2021.9.1.9	Percentage of space used on disk	dskPercent	WALK
.1.3.6.1.4.1.2021.9.1.10	Percentage of inodes used on disk	dskPercentNode	WALK

System Group
sysDescr 1.3.6.1.2.1.1.1
sysObjectID 1.3.6.1.2.1.1.2
sysUpTime 1.3.6.1.2.1.1.3
sysContact 1.3.6.1.2.1.1.4
sysName 1.3.6.1.2.1.1.5
sysLocation 1.3.6.1.2.1.1.6
sysServices 1.3.6.1.2.1.1.7
Interfaces Group
ifNumber 1.3.6.1.2.1.2.1
ifTable 1.3.6.1.2.1.2.2
ifEntry 1.3.6.1.2.1.2.2.1
ifIndex 1.3.6.1.2.1.2.2.1.1
ifDescr 1.3.6.1.2.1.2.2.1.2
ifType 1.3.6.1.2.1.2.2.1.3
ifMtu 1.3.6.1.2.1.2.2.1.4
ifSpeed 1.3.6.1.2.1.2.2.1.5
ifPhysAddress 1.3.6.1.2.1.2.2.1.6
ifAdminStatus 1.3.6.1.2.1.2.2.1.7
ifOperStatus 1.3.6.1.2.1.2.2.1.8
ifLastChange 1.3.6.1.2.1.2.2.1.9
ifInOctets 1.3.6.1.2.1.2.2.1.10
ifInUcastPkts 1.3.6.1.2.1.2.2.1.11
ifInNUcastPkts 1.3.6.1.2.1.2.2.1.12
ifInDiscards 1.3.6.1.2.1.2.2.1.13
ifInErrors 1.3.6.1.2.1.2.2.1.14
ifInUnknownProtos 1.3.6.1.2.1.2.2.1.15
ifOutOctets 1.3.6.1.2.1.2.2.1.16
ifOutUcastPkts 1.3.6.1.2.1.2.2.1.17
ifOutNUcastPkts 1.3.6.1.2.1.2.2.1.18
ifOutDiscards 1.3.6.1.2.1.2.2.1.19
ifOutErrors 1.3.6.1.2.1.2.2.1.20
ifOutQLen 1.3.6.1.2.1.2.2.1.21
ifSpecific 1.3.6.1.2.1.2.2.1.22
IP Group
ipForwarding 1.3.6.1.2.1.4.1
ipDefaultTTL 1.3.6.1.2.1.4.2
ipInReceives 1.3.6.1.2.1.4.3
ipInHdrErrors 1.3.6.1.2.1.4.4
ipInAddrErrors 1.3.6.1.2.1.4.5
ipForwDatagrams 1.3.6.1.2.1.4.6
ipInUnknownProtos 1.3.6.1.2.1.4.7
ipInDiscards 1.3.6.1.2.1.4.8
ipInDelivers 1.3.6.1.2.1.4.9
ipOutRequests 1.3.6.1.2.1.4.10
ipOutDiscards 1.3.6.1.2.1.4.11
ipOutNoRoutes 1.3.6.1.2.1.4.12
ipReasmTimeout 1.3.6.1.2.1.4.13
ipReasmReqds 1.3.6.1.2.1.4.14
ipReasmOKs 1.3.6.1.2.1.4.15
ipReasmFails 1.3.6.1.2.1.4.16
ipFragsOKs 1.3.6.1.2.1.4.17
ipFragsFails 1.3.6.1.2.1.4.18
ipFragCreates 1.3.6.1.2.1.4.19
ipAddrTable 1.3.6.1.2.1.4.20
ipAddrEntry 1.3.6.1.2.1.4.20.1
ipAdEntAddr 1.3.6.1.2.1.4.20.1.1
ipAdEntIfIndex 1.3.6.1.2.1.4.20.1.2
ipAdEntNetMask 1.3.6.1.2.1.4.20.1.3
ipAdEntBcastAddr 1.3.6.1.2.1.4.20.1.4
ipAdEntReasmMaxSize 1.3.6.1.2.1.4.20.1.5
ICMP Group
icmpInMsgs 1.3.6.1.2.1.5.1
icmpInErrors 1.3.6.1.2.1.5.2
icmpInDestUnreachs 1.3.6.1.2.1.5.3
icmpInTimeExcds 1.3.6.1.2.1.5.4
icmpInParmProbs 1.3.6.1.2.1.5.5
icmpInSrcQuenchs 1.3.6.1.2.1.5.6
icmpInRedirects 1.3.6.1.2.1.5.7
icmpInEchos 1.3.6.1.2.1.5.8
icmpInEchoReps 1.3.6.1.2.1.5.9
icmpInTimestamps 1.3.6.1.2.1.5.10
icmpInTimestampReps 1.3.6.1.2.1.5.11
icmpInAddrMasks 1.3.6.1.2.1.5.12
icmpInAddrMaskReps 1.3.6.1.2.1.5.13
icmpOutMsgs 1.3.6.1.2.1.5.14
icmpOutErrors 1.3.6.1.2.1.5.15
icmpOutDestUnreachs 1.3.6.1.2.1.5.16
icmpOutTimeExcds 1.3.6.1.2.1.5.17
icmpOutParmProbs 1.3.6.1.2.1.5.18
icmpOutSrcQuenchs 1.3.6.1.2.1.5.19
icmpOutRedirects 1.3.6.1.2.1.5.20
icmpOutEchos 1.3.6.1.2.1.5.21
icmpOutEchoReps 1.3.6.1.2.1.5.22
icmpOutTimestamps 1.3.6.1.2.1.5.23
icmpOutTimestampReps 1.3.6.1.2.1.5.24
icmpOutAddrMasks 1.3.6.1.2.1.5.25
icmpOutAddrMaskReps 1.3.6.1.2.1.5.26
TCP Group
tcpRtoAlgorithm 1.3.6.1.2.1.6.1
tcpRtoMin 1.3.6.1.2.1.6.2
tcpRtoMax 1.3.6.1.2.1.6.3
tcpMaxConn 1.3.6.1.2.1.6.4
tcpActiveOpens 1.3.6.1.2.1.6.5
tcpPassiveOpens 1.3.6.1.2.1.6.6
tcpAttemptFails 1.3.6.1.2.1.6.7
tcpEstabResets 1.3.6.1.2.1.6.8
tcpCurrEstab 1.3.6.1.2.1.6.9
tcpInSegs 1.3.6.1.2.1.6.10
tcpOutSegs 1.3.6.1.2.1.6.11
tcpRetransSegs 1.3.6.1.2.1.6.12
tcpConnTable 1.3.6.1.2.1.6.13
tcpConnEntry 1.3.6.1.2.1.6.13.1
tcpConnState 1.3.6.1.2.1.6.13.1.1
tcpConnLocalAddress 1.3.6.1.2.1.6.13.1.2
tcpConnLocalPort 1.3.6.1.2.1.6.13.1.3
tcpConnRemAddress 1.3.6.1.2.1.6.13.1.4
tcpConnRemPort 1.3.6.1.2.1.6.13.1.5
tcpInErrs 1.3.6.1.2.1.6.14
tcpOutRsts 1.3.6.1.2.1.6.15
UDP Group
udpInDatagrams 1.3.6.1.2.1.7.1
udpNoPorts 1.3.6.1.2.1.7.2
udpInErrors 1.3.6.1.2.1.7.3
udpOutDatagrams 1.3.6.1.2.1.7.4
udpTable 1.3.6.1.2.1.7.5
udpEntry 1.3.6.1.2.1.7.5.1
udpLocalAddress 1.3.6.1.2.1.7.5.1.1
udpLocalPort 1.3.6.1.2.1.7.5.1.2
SNMP Group
snmpInPkts 1.3.6.1.2.1.11.1
snmpOutPkts 1.3.6.1.2.1.11.2
snmpInBadVersions 1.3.6.1.2.1.11.3
snmpInBadCommunityNames 1.3.6.1.2.1.11.4
snmpInBadCommunityUses 1.3.6.1.2.1.11.5
snmpInASNParseErrs 1.3.6.1.2.1.11.6
NOT USED 1.3.6.1.2.1.11.7
snmpInTooBigs 1.3.6.1.2.1.11.8
snmpInNoSuchNames 1.3.6.1.2.1.11.9
snmpInBadValues 1.3.6.1.2.1.11.10
snmpInReadOnlys 1.3.6.1.2.1.11.11
snmpInGenErrs 1.3.6.1.2.1.11.12
snmpInTotalReqVars 1.3.6.1.2.1.11.13
snmpInTotalSetVars 1.3.6.1.2.1.11.14
snmpInGetRequests 1.3.6.1.2.1.11.15
snmpInGetNexts 1.3.6.1.2.1.11.16
snmpInSetRequests 1.3.6.1.2.1.11.17
snmpInGetResponses 1.3.6.1.2.1.11.18
snmpInTraps 1.3.6.1.2.1.11.19
snmpOutTooBigs 1.3.6.1.2.1.11.20
snmpOutNoSuchNames 1.3.6.1.2.1.11.21
snmpOutBadValues 1.3.6.1.2.1.11.22
NOT USED 1.3.6.1.2.1.11.23
snmpOutGenErrs 1.3.6.1.2.1.11.24
snmpOutGetRequests 1.3.6.1.2.1.11.25
snmpOutGetNexts 1.3.6.1.2.1.11.26
snmpOutSetRequests 1.3.6.1.2.1.11.27
snmpOutGetResponses 1.3.6.1.2.1.11.28
snmpOutTraps 1.3.6.1.2.1.11.29
snmpEnableAuthenTraps 1.3.6.1.2.1.11.30

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/zonghua521/article/details/78200531

CHMOD

-rw------- (600) 只有所有者才有读和写的权限
-rw-r--r-- (644) 只有所有者才有读和写的权限，组群和其他人只有读的权限
-rwx------ (700) 只有所有者才有读，写，执行的权限
-rwxr-xr-x (755) 只有所有者才有读，写，执行的权限，组群和其他人只有读和执行的权限
-rwx--x--x (711) 只有所有者才有读，写，执行的权限，组群和其他人只有执行的权限
-rw-rw-rw- (666) 每个人都有读写的权限
-rwxrwxrwx (777) 每个人都有读写和执行的权限

CSS3 MIME

.svg image/svg+xml
.woff application/x-font-woff
.woff2 application/x-font-woff

SQUID TCP命中率解释

#cat access.log|gawk ‘{print $4}’|sort|uniq -c|sort -nr
9568 TCP_IMS_HIT/304
6313 TCP_HIT/200
2133 TCP_MISS/200
1568 TCP_MISS/206
587 TCP_MEM_HIT/200
531 TCP_MISS/304
207 TCP_REFRESH_HIT/200
152 TCP_REFRESH_HIT/304
86 TCP_NEGATIVE_HIT/404
69 TCP_MISS/404
9 TCP_MISS/000
4 TCP_MISS/503
1 TCP_REFRESH_MISS/000
1 TCP_DENIED/400

可以使用上面的方法，大约的分析一下命令中比。什么意思就看下面的详解.
#cat /var/log/squid/access.log |grep TCP_MEM_HIT
如果看到很多的TCP_MEM_HIT ，这表明该文件是从内存缓存读取的，squid已经起作用了！你再用浏览器打开该文件，应该是快如闪电了。。呵呵，大功告成了！还有其他类型的HIT，如TCP_HIT等等，这些是从磁盘读取的，我觉得加速的意义不大，只不过缓解了apache的压力而已。

相应于HTTP请求，下列标签可能出现在access.log文件的第四个域。

TCP_HIT
Squid发现请求资源的貌似新鲜的拷贝，并将其立即发送到客户端。

TCP_MISS
Squid没有请求资源的cache拷贝。

TCP_REFERSH_HIT
Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。原始服务器返回304（未修改）响应，指示squid的拷贝仍旧是新鲜的。

TCP_REF_FAIL_HIT
Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。然而，原始服务器响应失败，或者返回的响应Squid不能理解。在此情形下，squid发送现有cache拷贝（很可能是陈旧的）到客户端。

TCP_REFRESH_MISS
Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。原始服务器响应新的内容，指示这个cache拷贝确实是陈旧的。

TCP_CLIENT_REFRESH_MISS
Squid发现了请求资源的拷贝，但客户端的请求包含了Cache-Control: no-cache指令。Squid转发客户端的请求到原始服务器，强迫cache确认。

TCP_IMS_HIT
客户端发送确认请求，Squid发现更近来的、貌似新鲜的请求资源的拷贝。Squid发送更新的内容到客户端，而不联系原始服务器。

TCP_SWAPFAIL_MISS
Squid发现请求资源的有效拷贝，但从磁盘装载它失败。这时squid发送请求到原始服务器，就如同这是个cache丢失一样。

TCP_NEGATIVE_HIT
在对原始服务器的请求导致HTTP错误时，Squid也会cache这个响应。在短时间内对这些资源的重复请求，导致了否命中。 negative_ttl指令控制这些错误被cache的时间数量。请注意这些错误只在内存cache，不会写往磁盘。下列HTTP状态码可能导致否定 cache（也遵循于其他约束）： 204, 305, 400, 403, 404, 405, 414, 500, 501, 502, 503, 504。

TCP_MEM_HIT
Squid在内存cache里发现请求资源的有效拷贝，并将其立即发送到客户端。注意这点并非精确的呈现了所有从内存服务的响应。例如，某些cache在

资源来源：
http://www.wendangku.net/doc/0d7c5bb15ef7ba0d4b733b48.html

Java 8 Stream API

.
https://blog.csdn.net/hxhaaj/article/details/80725857
https://www.cnblogs.com/jimoer/p/10995574.html

如果你正在使用 Java 编程，那么可以使用 Java 8 Stream API 来做进一步的类比。考虑如下等价概念：

TABLE          : Stream>
 SELECT         : map() 
 DISTINCT       : distinct()
 JOIN           : flatMap()
 WHERE / HAVING : filter()
 GROUP BY       : collect()
 ORDER BY       : sorted()
 UNION ALL      : concat()

在 Java 8 中，“一切都是流”（至少在你开始使用流时是这样）。无论如何转换流，例如，使用 map() 或 filter() 转换，结果类型始终都是流。

mysql主从一致性校验工具-pt

一、环境

1、系统环境

系统	IP	主机名	说明	server_id
centos6.7	MasterIP	master	数据库：主	177
centos6.7	SlaveIP	slave	数据库：从	148

2、软件环境

软件	版本	安装方式	说明
pt工具	3.0.4	编译安装	这是一个综合工具包，包含很多pt命令
mysql数据库	5.6.37	yum安装	主从环境

3、需要用到库

库名	表名	用途
percona	checksums	存储pt命令监测的结果，第一次执行检测命令时会自己创建修复工具修复的时候会读取该表

#本表格也可以自己创建，在使用pt工具的时候指定库表名字，详见下面的参数解释。

注意：自建库表测试尚未通过。

二、为什么要做主从一致性监测

1、主从复制是基于binlog的逻辑复制，难免出现复制数据不一致的风险

2、这个风险不但会引起用户数据访问前后不一致的风险

3、而且会导致后续复制出现1032、1062错误进而引起复制架构停滞的隐患

4、为了及时发现并解决这个问题

5、我们需要定期或不定期地开展主从复制数据一致性的校验和修复工作

三、主从一致性监测原理

四、pt工具监测

用到的命令：

1、pt-table-check #监测主从一致

2、pt-table-sync #修复主从一致

mysql主从一致性校验，基于pt工具进行。

#限制及问题

1、在检查阶段，超过1000行的数据，如果没有设定索引或者主键，则报错，该表会跳过检查。

2、在修复阶段，如果表没有设置主键或索引，则修复报错，可以手动进行修复。

3、监测是基于块进行的，如果mysql表的数据没有进行分块，那么当表过大时，会造成监测一段时间后发现没有问题会跳过改表。

4、当数据库两个数据不一致，但是checksum检测一致时，没有比对出不一致。

主库和从库账号一致，密码不一致发现了这种问题。

原因：对于修改密码的操作，chencksum的值并没有发生变化。

五、安装pt工具

最好所有主库从库都安装

1、安装依赖

yum install perl-IO-Socket-SSL perl-DBD-MySQL perl-Time-HiRes perl perl-DBI -y

yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker -y

2、下载安装包

1、官网下载

3、安装

tar xzvf percona-toolkit-3.0.4_x86_64.tar.gz

cd percona-toolkit-3.0.4

perl Makefile.PL --安装到非默认路径PREFIX=${HOME}

make

make test

make install

六、pt工具常用命令

1、创建监测账号

grant all on *.* to 'zxfly_check'@'192.168.22.% ' identified by 'zxfly';

flush privileges;

2、监控用的表为：percona.checksum该表会自动创建。

监测：

#指定库名

pt-table-checksum --databases zxfly -u'zxfly' -p'zxfly' -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log

#不指定库，监测所有数据库（除information_schema、percona、performance_schema库）

pt-table-checksum --quiet -u'zxfly' -p'zxfly' -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log

pt-table-checksum --replicate-check-only -u'zxfly' -p'zxfly' -hMasterIP -P3306

打印修复sql：指定库表

pt-table-sync --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --print

修复：

pt-table-sync --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --exec

七、pt工具常用参数

1、pt-table-checksum

参数	参数说明	备注
--[no]check-replication-filters	不检查复制过滤器，建议启用。后面可以用--databases来指定需要检查的数据库。	当前环境不需要该参数，默认开启
--no-check-binlog-format	不检查复制的binlog模式，要是binlog模式是ROW，则会报错。	默认是监测，使用默认值，如果添加该参数可能导致diff不出来
--replicate-check-only	只显示不同步的信息。	开启这个，可以减少输出并且显示不一致的从库主机名不过这个只是显示已经检测过的不一致信息，并不能显示当前的。
--replicate=	把checksum的信息写入到指定表中，建议直接写到被检查的数据库当中。不需要指定	默认会创建percona库下checksum表
-h -u -p -P	masterIP 监测账号密码端口
--databases=	指定需要被检查的数据库，多个则用逗号隔开。
--tables=	指定需要被检查的表，多个用逗号隔开
--recursion-method	指定监测从库的模式，默认使用processlist，也可以指定dsn	多个从库可以这样指定。--recursion-method=dsn=h=host,D=pt,t=dsns D 库名 t 表名
--quiet	安静模式，最小化打印，纸打印错误行	与--replicate-check-only类似，但不显示从库信息

dsn库表结构及用法为：

CREATE TABLE `dsns` ( `id` int(11) NOT NULL AUTO_INCREMENT, `parent_id` int(11) DEFAULT NULL, `dsn` varchar(255) NOT NULL, PRIMARY KEY (`id`) );
-- 写入从库信息
INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host,u=checksums,p=password,P=3306");
-- 如果有多个从库,就插入多条记录.
-- 也可以按如下简写
INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host");

2、pt-table-sync

参数	参数说明	备注
--replicate=	指定通过pt-table-checksum得到的表	默认会创建percona库下checksum表时不需要指定
--databases=	指定执行同步的数据库	在只修复指定的库时使用
--tables=	指定需要被修复的表，多个用逗号隔开
--sync-to-master	指定一个DSN，即从的IP	会通过show processlist或show slave status 去自动的找主。报错找不到主库时使用
h= u= p=	服务器地址，账号，密码	命令里有2个ip，第一次出现的是Master的地址，第2次是Slave的地址。
--print	打印修复的sql语句	只打印不执行。
--exec 或 --execute	执行修复
--algorithms=c	指定修复算法	default Chunk,Nibble,GroupBy,Stream 在报错算法问题的时候需要指定算法
--charset=	指定默认字符集	如果数据中包含中文不指定次字符集的话修复不成功

3、输出信息解释

TS ：完成检查的时间。
ERRORS ：检查时候发生错误和警告的数量。
DIFFS ：0表示一致，1表示不一致。当指定--no-replicate-check时，会一直为0，当指定--replicate-check-only会显示不同的信息。
ROWS ：表的行数。
CHUNKS ：被划分到表中的块的数目。
SKIPPED ：由于错误或警告或过大，则跳过块的数目。
TIME ：执行的时间。
TABLE ：被检查的表名。

八、pt工具常见报错信息

1、监测报错（找不到从库，使用--recursion-method指定模式）

Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information.

2、binlog模式问题（由于指定为row行复制造成使用--no-check-binlog-format跳过监测，不过这样有可能监测不出来主从不一致的信息，row行模式对于主从来说不需要进行主从监测）

Replica centos-1 has binlog_format ROW which could cause pt-table-checksum to break replication. Please read "Replicas using row-based replication" in the LIMITATIONS section of the tool's documentation. If you understand the risks, specify --no-check-binlog-format to disable this check.

3、没有索引或主键导致的，在数据较少的时候（低于1000行，没有测试出该信息，超过1000行会报错）

Cannot checksum table test.t: There is no good index and the table is oversized. at ./pt-table-checksum line 6370.

4、等待信息，已检测的百分比，这是因为设置了主键但是没有索引导致没有分块且表过大造成。

Checksumming database.table: 27% 01:17 remain

九、对多个库所有数据进行监测结果

pt-table-checksum监测数据库结果：

数据大小	监测花费时间	监测报错的表	原因
93G	30m28.523s	4个	#字符集bug（工具自带，无法解决）正式平台这些表都没有
		1个	未监测到（中文表名监测不到）正式平台无此表
		1个	没有主键或者索引（数据条数：132835）

十、pt修复工具pt-table-sync遇到的问题

在使用pt-table-checksum进行检测后，发现主从不一致的情况后可以使用pt-table-sync工具进行修复操作。

其原理为：基于pt-table-checksum监测的结果进行检查并生成修复语句去修复从库中的数据。

遇到的报错：

1、修复时候没有任何提示，但是修复报错。使用–print打印修复语句发现又乱码。

处理方法：查看表的字符集，通过--charset=命令指定默认字符集

2、报错：Failed to prepare TableSyncChunk plugin: Cannot chunk table `zxfly_zxfly1`.`mongo_task_data` using the character column guid, most likely because all values start with the same character. This table must be synced separately by specifying a list of --algorithms without the Chunk algorithm at /usr/local/bin/pt-table-sync line 4088. while doing table on 192.168.0.177

原因是在默认的算法中，要保证主键字段的数据前一位有不一样字符出现，而该表的主键数据第一个字符是一样的。

解决办法：

使用--algorithms=参数指定算法，当然这种应该最好分库分表进行恢复。

6、修复报错（原因：没有唯一索引或主键导致的，1000以内的，1000行以上没有索引或主键在监测时就会跳过。）

Can't make changes on the master because no unique index exists at /usr/local/bin/pt-table-sync line 10591.

jFileServer examples

用户使用 (Token 授权)
上传： POST: /file/upload
bucket={xxx}
token={xxx}
path={xxx} // 可选项，不输入则自动生成路径

访问： GET: /file/get?path={xxx}&token={xxx}&download=0&downname={xxx}
download: 为可选项，设为2时以内联文档打开（一般用于预览），设为1时以资源下载方式处理，不设置或为0时则是以浏览器默认方式处理
downname: 为可选项，download = 1 时，文件下载的名称，不设置则以默认路径名
fsatoken: 可选项，会话授权访问标识，从cookie获取

===============================================

控制使用 (Basic Auth 授权)

POST: /control/delete
path={xxx}
POST: /control/upload
bucket={xxx}
path={xxx} // 可选项，不输入则自动生成路径
GET: /control/getaccesstoken?path={xxx},{xxx},{xxx},{xxx}&fsatoken={xxx}&ttl={xxx}
GET: /control/getuploadtoken?bucket={xxx},{xxx},{xxx},{xxx}
ttl: 可选项，授权超时时间，默认由服务配置定义
fsatoken: 可选项，会话授权标识, fsatoken存储于客户cookie, 同一fsatoken的token授权允许多次访问，随会话失效而失效

================================================

路径构成：
物理存储路径 + 桶名 + 存储路径(必需以 /为开始)
/file/ + mybucket + /2017/00/11.jpg
/file/ + mybucket + /af/ce/head.jpg

存储路径：

/file/mybucket/2017/00/11.jpg
/file/mybucket/af/ce/head.jpg

访问地址：
私桶下载
http://file.example.com/a/{bucket}{path}?token={xxx}&download=1
私桶访问
http://file.example.com/a/{bucket}{path}?token={xxx}
公桶下载
http://file.example.com/a/{bucket}{path}?download=1
公桶访问
http://file.example.com/a/{bucket}{path}

================================================

授权
默认情况下，均为token授权，通过配置桶授权可允许设置为开放访问，级别到桶
默认公开桶为 p (public的简写)

为什么redis集群的最大槽数是16384个？

在redis节点发送心跳包时需要把所有的槽放到这个心跳包里，以便让节点知道当前集群信息，16384=16k，在发送心跳包时使用char进行bitmap压缩后是2k（2 * 8 (8 bit) * 1024(1k) = 2K），也就是说使用2k的空间创建了16k的槽数。

虽然使用CRC16算法最多可以分配65535（2^16-1）个槽位，65535=65k，压缩后就是8k（8 * 8 (8 bit) * 1024(1k) = 8K），也就是说需要需要8k的心跳包，作者认为这样做不太值得；并且一般情况下一个redis集群不会有超过1000个master节点，所以16k的槽位是个比较合适的选择。

C# DateTime 日期格式化

在C#中DateTime是一个包含日期、时间的类型，此类型通过ToString()转换为字符串时，可根据传入给Tostring()的参数转换为多种字符串格式。

1. 分类

DateTime调用ToString()传入的参数可分为制式和自定义两种：

1) 制式：系统自带的，转入特定的单个字符就可转换为系统已设定好的格式。

2) 自定义：自由组合日期代码(y、M、d、h、m、s、f)来展示丰富的日期格式。

2. 制式类型

说明：转入特定的单个字符就可转换为系统已设定好的格式。

2.1 格式来源

在Windows系统中的区域和语言(位置：控制面板 → 区域和语言)选项中可设置日期和时间的格式。

可设置的分类有：短日期、长日期、短时间、长时间等。

调用ToString()进行转换时，许多转换方式都是通过上面的4个分类进行组合。

2.2 符号对照表

2.2.1 环境

.net版本：4.0

系统版本：Win7

格式信息：

2.2.2 对照表

符号	语法	示例(2016-05-09 13:09:55:2350)	格式说明
y	DateTime.Now.ToString()	2016/5/9 13:09:55	短日期长时间
d	DateTime.Now.ToString("d")	2016/5/9	短日期
D	DateTime.Now.ToString("D")	2016年5月9日	长日期
f	DateTime.Now.ToString("f")	2016年5月9日 13:09	长日期短时间
F	DateTime.Now.ToString("F")	2016年5月9日 13:09:55	长日期长时间
g	DateTime.Now.ToString("g")	2016/5/9 13:09	短日期短时间
G	DateTime.Now.ToString("G")	2016/5/9 13:09:55	短日期长时间
t	DateTime.Now.ToString("t")	13:09	短时间
T	DateTime.Now.ToString("T")	13:09:55	长时间
u	DateTime.Now.ToString("u")	2016-05-09 13:09:55Z
U	DateTime.Now.ToString("U")	2016年5月9日 5:09:55	本初子午线的长日期和长时间
m	DateTime.Now.ToString("m")	5月9日
M	DateTime.Now.ToString("M")	5月9日
r	DateTime.Now.ToString("r")	Mon, 09 May 2016 13:09:55 GMT
R	DateTime.Now.ToString("R")	Mon, 09 May 2016 13:09:55 GMT
y	DateTime.Now.ToString("y")	2016年5月
Y	DateTime.Now.ToString("Y")	2016年5月
o	DateTime.Now.ToString("o")	2016-05-09T13:09:55.2350000
O	DateTime.Now.ToString("O")	2016-05-09T13:09:55.2350000
s	DateTime.Now.ToString("s")	2016-05-09T13:09:55

2.3 示例图

2.4 win2003版本

在Win2003默认中的无字符、d、g、G格式中会用'-'符号替代'/'符号(短日期格式为：yyyy-m-d)。

3. 自定义格式类型

开发人员可通过英文字符(y、M、d、h、m、s、f) 分别代替(年、月、日、时、分、秒、毫秒)来自由组合日期时间格式。

3.1 符号对照表