使用 HDFS 管理巨量数据集：最佳实践和提示 (使用hdfs命令创建文件夹)

简介

Apache Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，专为管理和处理大数据量而设计。它将文件存储在许多计算节点上，并使用主节点来协调访问。HDFS 非常适合存储和处理大量非结构化数据，例如日志文件、传感器数据和社交媒体数据。它还被广泛用于云计算和机器学习等应用。

使用 HDFS 的最佳实践

以下是一些使用 HDFS 管理巨量数据集的最佳实践：使用较小的块大小：HDFS 中的数据被分成块，默认块大小为 128 MB。对于较小的文件，较大的块大小会浪费存储空间。相反，对于较大的文件，较小的块大小可以提高性能，因为每个块都可以被多个服务器访问。创建目录层次结构：HDFS 中的数据存储在目录中。为了提高性能并便于管理，请创建一个分层的目录结构，其中目录按主题、文件类型或其他标准组织。使用压缩：HDFS 支持多种压缩编解码器，例如 GZIP、BZIP2 和 Snappy。压缩可以减少数据存储和传输的成本。使用副本：HDFS 中的数据副本可以存储在不同的服务器上。这提高了数据可用性和容错性，但会增加存储空间的成本。使用快照：HDFS 快照允许您在某个时间点创建数据的副本。这对于备份、还原和分析很有用。监视 HDFS：定期监视 HDFS 群集对于确保其正常运行至关重要。监视指标包括群集健康状况、数据使用情况和吞吐量。

使用 HDFS 命令创建文件夹

要使用 HDFS 命令创建文件夹，请使用 `mkdir` 命令。该命令的语法如下：hdfs dfs -mkdir <目录路径>例如，要创建名为 `my_directory` 的目录，您可以运行以下命令：hdfs dfs -mkdir /user/my_user/my_directory

结论

HDFS 是一个强大的分布式文件系统，非常适合管理和处理大数据量。通过遵循这些最佳实践和技巧，您可以优化 HDFS 的性能和效率。

---

什么是大数据技术？大数据的概念

大数据技术是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着云时代的来临，大数据也吸引了越来越多的关注。 分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

扩展资料：

大数据的三个层面：

1、理论，理论是认知的必经途径，也是被广泛认同和传播的基线。 在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

2、技术，技术是大数据价值体现的手段和前进的基石。 在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

3、实践，实践是大数据的最终价值体现。 在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

三分钟带你了解数据集成平台FineDataLink的最佳实践！

六月栖鸦群过山，麦风摇曳熟瓜香。 让我们来看看 FineDataLink 近期上新的文档吧~上新文档速览：1）客户案例2）功能使用指导3）问题排查类文档一、客户案例文件拆分：只保留最新拆分的文件应用场景：文件输出算子可将数据按行数拆分至多个文件，但存在以下问题：本文提供方案解决上述问题。 实现思路：使用「shell 脚本」节点和「文件输出」算子：方案效果如下：每次只保留最新的拆分文件，将上一次生成的文件打包压缩备份起来，且只保留近 7 天的压缩文件。 详情请参见： 文件拆分：只保留最新拆分的文件API取数-数据每日落库应用场景：API 接口中每天有 20 多万的数据，若落库到同一张表中，随着时间该表数据不断累积，可能造成查询慢的问题。 希望能按日期分表，每天创建一个新的数据表，保存该天数据。 实现思路：方案效果如下：参考文档： 详情请参见： 按日期分表，每天保存当天数据FineReport接收并使用数据服务发布的数据应用场景：用户为保证数据安全，不希望直接将数据仓库账号开发给第三方使用，且拥有 FineDataLink 作为数据中台，想使用「数据服务」功能，统一分发数据给第三方使用，同时想要使用 FineReport 直接接收数据制作看板。 实现思路：方案一：使用 JSON 数据集插件，在报表设计器或决策平台安装插件，接收数据服务 API 数据并制作看板。 方案二：使用 数据工厂数据集插件，在报表设计器或决策平台安装插件，接收数据服务 API 数据并制作看板。 详情请参见： FineReport接收并使用数据服务发布的数据JSON解析前过滤出不合法的数据应用场景：大数据量场景下的 json 数据解析，存在问题如下：用户希望：实现思路：使用 Python 的 is_valid_json 判断 json 是否合法，合法的的 json 参与解析。 详情请参见： JSON解析前过滤出不合法的数据 更多方案可点击 最佳实践合集查看二、功能使用指导确认HDFS地址中的IP和端口配置 星环 TRANSWARP INCEPTOR 数据源、 Hive 数据源 时，存在设置项 HDFS 地址。 如下图所示：本文将介绍确定 HDFS 地址中 IP 和端口的方法。 详情请参见： 确认HDFS地址中的IP和端口数据管道与数据开发区别用户在使用 FDL 时，常常会有以下疑问：详情请参见： 数据管道与数据开发区别 如何使用参数&参数使用场景用户在了解与使用参数功能时，常常会有以下疑问：详情请参见： 参数在FDL中的典型应用场景、 如何配置并使用参数管道运维指导管道任务运行后，用户常常有以下问题：详情请参见： 数据管道运维指导三、问题排查类文档近期对 FDL 中常见问题、故障类问题进行梳理整合。 详情请参见： 常见问题专题 下表是近期新增的问题排查类文档。

数据库图片能用longtext类型吗

可以使用 longtext 类型来存储图片数据，但不建议这么做。 这是因为 longtext 类型主要用于存储文本数据，而图片数据通常以字节流的方式存储在文件或数据库中，使用 longtext 类型进行存储会影响数据的读取和处理效率。 对于存储图片数据，通常建议使用 BLOB类型，BLOB 类型可以存储二进制数据，包括图片、音频、视频等多媒体数据，能够更好地保存并管理图片数据。 在 MySQL 数据库中，可以使用 BLOB 或 LONG BLOB 类型来存储大量二进制数据。 LONG BLOB 类型允许存储最大 4GB 的数据，可以满足大多数应用程序的需求。 总之，如果您需要存储图片数据，建议使用 BLOB 或 LONG BLOB 类型，以保证数据的完整性和读写效率。

一年省七位数，得物自建 HFDS 在 Flink Checkpoint 场景下的应用实践

得物技术在面对 Flink Checkpoint 数据存储成本高昂的问题时，选择了自建 HDFS 作为解决方案，通过实践，成功实现了每年节省七位数的成本。 HDFS 的引入解决了Flink任务状态存储的带宽挑战，特别是在处理大状态任务时，传统的OSS存储难以满足100Gb/s的峰值流量需求，而HDFS凭借其高可靠性、高吞吐量和成本效益成为理想选择。 在Flink中，Checkpoint是一个关键功能，它在任务运行期间定期将本地状态同步到远程HDFS，确保任务在失败后能从备份中恢复，避免数据质量问题和时效问题。 Flink的Checkpoint流程涉及状态后端的持久化，确保数据的Exactly Once处理。 得物自建的HDFS架构基于主从设计，通过固定大小的文件切片存储，保证了数据的可靠性。 为了满足高带宽需求，他们选择了d2s.5xlarge规格的ECS服务器，通过性能压测证明能满足100Gib/s的写入流量。 同时，通过监控和告警系统，确保HDFS的稳定性和可用性，以满足实时任务的SLA要求。 在迁移过程中，得物遇到了心跳汇报与删除操作共用写锁的问题，通过分析HDFS的写入流程，他们优化了代码，解决了写入失败的问题，成功降低了OSS的流量负担，从137Gib/s降低到30Gib/s，每月节省了一定的费用。 未来，得物将针对全量和增量Checkpoint带来的HDFS压力，考虑引入小文件合并方案，以优化RPC和NameNode内存的使用。 整个项目不仅节省了成本，也为其他企业提供了迁移和优化的参考案例。 如果您对提高企业协作效率感兴趣，得物技术沙龙是一个不错的选择，它将分享关于协作效率演进的深入讨论和最佳实践。

我也已经25岁其实就有转行的打算了，想转数据分析大数据行业，我大学本科是和这个专业相关的，

读研期间多跟着导师做项目，有些导师手上有很多横向项目，是参与实践的良好途径，其实有人读研期间跟上班一样忙，不要让学校时光虚度。 另外，你年龄不小了，可以在读书期间思考以后就业的问题，读书时成家政策也支持，当然有合适的结婚对象才行。

---

---

相关标签： 使用、 管理巨量数据集、 HDFS、 最佳实践和提示、 使用hdfs命令创建文件夹、

上一篇：HDFS数据存储中的挑战与解决方案hdfs数据块

下一篇：深入了解HDFS架构优点和缺点深入了解后面句