分类目录归档:storage

HBase

HBase结构   

发表在 storage | HBase已关闭评论

ceph – Ceph 管理工具

ceph – Ceph 管理工具 提纲 ceph auth [ add | ca … 继续阅读

发表在 storage | ceph – Ceph 管理工具已关闭评论

Hadoop 备忘录

计算引擎层 Hadoop生态和其他生态最大的不同之一就是“单一平台多种应用”的理 … 继续阅读

发表在 storage | 标签为 | Hadoop 备忘录已关闭评论

ceph 常用命令

1、ceph pool配置 1 创建pool ceph osd pool cre … 继续阅读

发表在 storage | 标签为 | ceph 常用命令已关闭评论

Ceph的安装

Ceph的安装 官网链接:http://docs.ceph.com/docs/m … 继续阅读

发表在 storage | 标签为 | Ceph的安装已关闭评论

CEPH pg/pgs

PG全称是placement groups,它是ceph的逻辑存储单元。在数据存 … 继续阅读

发表在 storage | 标签为 | CEPH pg/pgs已关闭评论

ceph radosgw-admin

生成一新用户: $ radosgw-admin user create --di … 继续阅读

发表在 storage | ceph radosgw-admin已关闭评论

磁盘IOPS的计算

计算磁盘IOPS的三个因素: 1、RAID类型的读写比 不同RAID类型的IOP … 继续阅读

发表在 storage | 磁盘IOPS的计算已关闭评论

Ceph

UnitedStack块存储系统

分布式存储有出色的性能,可以扛很多故障,能够轻松扩展,所以我们UnitedStack使用Ceph构建了高性能、高可靠的块存储系统,并使用它支撑UnitedStack公有云和托管云的云主机、云硬盘服务。

由于使用分布式块存储系统,避免了复制镜像的过程,所以云主机的创建时间可以缩短到10秒以内,而且云主机还能快速热迁移,方便了运维人员对物理服务器上硬件和软件的维护。

用户对于块存储系统最直观的感受来源于云硬盘服务,现在我们的云硬盘的特点是:

  • 每个云硬盘最大支持 6000 IOPS和170 MB/s的吞吐率,95%的4...

继续阅读

发表在 storage | 标签为 | Ceph已关闭评论

RAID 简述

 

一.RAID定义
RAID(Redundant
Array of Independent Disk
独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出,最初是为了组合小的廉价磁盘来代替大的昂贵磁盘,同时希望磁盘失效时不会使对数据的访问受损

失而开发出一定水平的数据保护技术。RAID就是一种由多块廉价磁盘构成的冗余阵列,在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发

挥出多块硬盘的优势,可以提升硬盘速度,增大容量,提供容错功能够确保数据安全性,易于管理的优点,在任何一块硬盘出现问题的情况下都可以继续工作,不会
受到损坏硬盘的影响。

二、 RAID的几种工作模式(仅讨论 RAID0,RAID1,RAID5,RAID10这四种,这四种比较典型)
1、RAID0 (又称为Stripe或Striping--分条)
即Data Stripping数据分条技术。RAID 0可以把多块硬盘连成一个容量更大的硬盘群,可以提高磁 盘的性能和吞吐量。RAID 0没有冗余或错误修复能力,成本低,要求至少两个磁盘,一般只是在那些对数 据安全性要求不高的情况下才被使用。

特点:

容错性: 没有 冗余类型: 没有
热备盘选项: 没有 读性能:
随机写性能: 连续写性能:
需要的磁盘数: 只需2个或2*N个(这里应该是多于两个硬盘都可以) 可用容量: 总的磁盘的容量
典型应用: 无故...

继续阅读

发表在 storage | 标签为 | RAID 简述已关闭评论

MooseFS-管理优化

一、高级功能

1、副本

       副本,在MFS中也被称为目标(Goal),它是指文件被复制的份数,设定目标值后可以通过mfsgetgoal命令来证实,也可以通过mfssetgoal命令来改变设定。

[root@mfs-client ~]# cd /mfsdata/
[root@mfs-client mfsdata]# dd if=/dev/zero of=/mfsdata/test.file bs=1M count=200 
200+0 records in 
200+0 records out 
209715200 bytes (210 MB)...

继续阅读

发表在 storage | 标签为 | MooseFS-管理优化已关闭评论

MooseFS-介绍

一、简述

1、介绍

       MooseFS是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理服务器或单独磁盘或分区上,确保一份数据有多个备份副本。对于访问的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样。从其对文件操作的情况看,MooseFS就相当于一个类UNIX文件系统:

       1、mfs是一个分层的目录树结构

       2、存储支持POSIX标准的文件属性(权限,最后访问和修改时间)

    &nbsp...

继续阅读

发表在 storage | 标签为 | MooseFS-介绍已关闭评论

HDFS 基本概念

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。

一、HDFS的主要设计理念

1、存储超大文件

  这里的“超大文件”是指几百MB、GB甚至TB级别的文件。

2、最高效的访问模式是 一次写入、多次读取(流式数据访问)

  HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据,因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

3、运行在普通廉价的服务器上

HDFS设计理念之一就是让它能运行在普通的硬件之上,即便硬件出...

继续阅读

发表在 storage | HDFS 基本概念已关闭评论

系统吞吐量、TPS(QPS)、用户并发量、性能测试概念和公式

一.系统吞度量要素:

  一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。

系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间

        QPS(TPS):每秒钟request/事务 数量

        并发数: 系统同时处理的request/...

继续阅读

发表在 storage | 系统吞吐量、TPS(QPS)、用户并发量、性能测试概念和公式已关闭评论

分布式文件系统FastDFS设计原理

FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。

点击查看原图

Storage server

Storage server(后简称storage)以组(卷,group或volume)为单位组织,一个group内包含多台storage机器,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,...

继续阅读

发表在 storage | 标签为 | 分布式文件系统FastDFS设计原理已关闭评论