大数据海量存储技术（数据仓库和数据库的区别）

随着技术的演进、业务的需求，个人和企业都会产生大量的数据，对于GB级数据 ，最便捷的方式就是将移动硬盘连接到计算机保存数据 。对于TB级数据 ，可以购买服务器插上硬盘 ，格式化文件系统实现数据保存。9yw快乐收录网

 9yw快乐收录网

但是对于PB级数据 ，就不能简单地购买服务器快速搭建，必须考虑海量数据安全、稳定、高可用的存取，以及解决网络、服务器 、硬盘的故障，此时需要采用基于分布式技术的对象存储。9yw快乐收录网

 9yw快乐收录网

 9yw快乐收录网

1956年，IBM发布350DiskStorage Unit, 它是第一代真正意义上的磁盘存储 (HDD)。它的体积约为2个中等大小的冰箱，只能存放3.75MB数据，只有1个机械臂（包含2个读/写磁头）。9yw快乐收录网

 9yw快乐收录网

2020年的20TB硬盘容量是第一代硬盘的560万倍，尺寸也只有普通人手掌大小。而且，介质技术逐步发展为固态硬盘 (SSD)，将硬盘的机械技术变革为电子存储技术，存储密度和访问时延大幅提升。9yw快乐收录网

 9yw快乐收录网

 9yw快乐收录网

 9yw快乐收录网

存储技术的发展除围绕盘自身技术的演进外，还围绕着数据的高可靠性、高性能、易管理、易分享等需求在存储系统层不断创新。9yw快乐收录网

 9yw快乐收录网

 9yw快乐收录网

 9yw快乐收录网

 9yw快乐收录网

尽管盘的技术在飞速发展，但是它无法解决单块盘出现故障带来的数据丢失问题。为此，业界引入了廉价磁盘冗余阵列 (RAID) 技术，如 20世纪 70年代实现的镜像技术 (RAIDl)，以及此后演化的存储区域网络(SAN) 。9yw快乐收录网

 9yw快乐收录网

通常 ，SAN是一台外置存储设备，可以装入多块盘，在单块盘出现故障后还能继续工作。使用存储区域网络，在主机层面就像使用普通硬盘一样。9yw快乐收录网

 9yw快乐收录网

盘本身只提供线性地址空间，主机访问盘时通常按照逻辑区块地址(LBA) 读／写数据。9yw快乐收录网

 9yw快乐收录网

盘本身不具备数据管理能力，无法直接存放一首音乐 、一段视频，可以通过在盘上格式化文件系统 (FileSystem) 来解决这个问题，文件系统对外体现为树形结构的目录和文件，应用和使用者可以放入图片、音频、视频文件，简单易用。但是，不管是单机的文件系统还是集群的文件系统，都不利于更多的机器共享使用 。9yw快乐收录网

 9yw快乐收录网

于是，20世纪80年代，业界发明网络附加存储 (NAS)，它通过网络文件系统 (NFS) 协议或通用互联网文件系统 (CIFS) 协议提供文件共享服务，主机通过NFS或CIFS客户端指定NAS的网络IP地址访问共享文件夹 ，实现数据的过NAS的共享文件服务可提供很好的数据分享平台。9yw快乐收录网

 9yw快乐收录网

但是随着访问客户端数目的增加，再加上每个客户端存储的文件越来越多，海量文件存储的难题呈现在我们眼前。9yw快乐收录网

 9yw快乐收录网

文件系统目录深度和海量文件存储扩展性的矛盾。文件系统目录树是纵向设计的，为了满足应用，用户按如同图书目录的方式一级一级地管理文件。如果不同的客户端主机存放上亿的文件，而且目录深度是几十层，那么将是矩阵式的乘法效应，这对NAS来说是巨大的挑战。9yw快乐收录网

 9yw快乐收录网

为了解决海量文件存储的难题，20世纪90年代，对象存储技术诞生了 。9yw快乐收录网

 9yw快乐收录网

对象存储服务，采用桶和对象的平坦模式数据组织模型，对比文件系统树形目录结构数据模型，元数据管理大大简化，从而便于横向扩展 。同时，对象存储采用域名系统 (DNS) 作为访问的入口，可将域名和多个网络IP关联，轻松实现网络扩展。9yw快乐收录网

 9yw快乐收录网

星驰云存储产品基于对象存储，一站式完成图片处理和音视频处理。具备跨区域同步、生命周期管理等核心功能及服务，提供全行业真实数据的存储服务，丰富存储行业生态。9yw快乐收录网

　　《大数据海量存储技术（数据仓库和数据库的区别）》更新于时间：2022-07-12 21:52:18；由本站小编进行发布，目前浏览的小伙伴达到，感谢你们的支持，后期快乐收录网小编会继续为大家更新更多相关的文章，希望广大网友多多关注快乐收录网工作心得栏目，如果觉得本站不错，那就给我们一个分享的支持吧！

大数据海量存储技术（数据仓库和数据库的区别）特别声明

本站快乐收录网提供的大数据海量存储技术（数据仓库和数据库的区别）都来源于网络，不保证文章的准确性和真实性，同时，对于该文章所造成的影响，不由快乐收录网实际控制，在2022-07-12 21:52:18收录时，该网页上的内容，都属于合规合法，如有侵权违规，可以直接联系网站管理员进行整改或删除，快乐收录网不承担任何责任。

标签：