了解结构化、半结构化和非结构化数据

什么是结构化数据？

结构化数据是经过格式化并转换为明确定义的数据模型的信息。 原始数据被映射 分成预先设计的字段，然后可以通过 SQL 轻松提取和读取。SQL 关系数据库由具有行和列的表组成，是结构化数据的完美示例。

这种数据格式的关系模型利用内存来最大限度地减少数据冗余。然而，这也意味着结构化数据之间的相互依赖性更强，灵活性更差。

结构化数据的示例

这类数据既由人生成，也由机器生成。机器生成的结构化数据有很多例子，例如POS机数据（包括数量、条形码和博客统计数据）。同样，任何从事数据工作的人都至少使用过电子表格，这是人类生成的典型结构化数据。由于结构化数据的组织方式，它比半结构化数据和非结构化数据更容易分析。

什么是半结构化数据？

您可能并不总是发现您的数据集是结构化或非结构化的。 半结构化数据或部分结构化数据是结构化数据和非结构化数据之间的另一类。 半结构化数据是一类具有某些一致且确定的特征的数据。

它并不局限于所需的刚性结构 关系数据库。企业使用元数据或语义标签等组织属性对半结构化数据进行管理，使其更易于管理。然而，它仍然包含一些可变性和不一致性。

半结构化数据的示例

半结构化数据的一个例子是分隔符文件。它包含可以将数据分解成不同层级结构的元素。类似地，数码照片本身并没有预定义的结构，但具有某些结构属性，使其成为半结​​构化数据。

例如，如果您用智能手机拍摄照片，照片会包含一些结构化属性，例如地理位置标签、设备 ID 和日期时间戳。保存照片后，您可以为照片添加“宠物”或“狗”等标签，以使其结构化。

在某些情况下，非结构化数据被归类为半结构化数据，因为它具有一个或多个分类属性。

什么是非结构化数据？

非结构化数据以其原始的、原生格式存在，没有预先定义的组织结构。 根据Gartner的说法这占所有新增企业数据的 80-90%，并且其增长速度是结构化数据的三倍。

使用传统工具处理此类数据具有挑战性，但其中包含结构化数据无法捕捉的丰富上下文见解：客户情绪、视觉模式、对话细微差别和新兴趋势。

非结构化数据包括社交媒体帖子、聊天、卫星图像、物联网传感器数据、电子邮件和演示文稿。 非结构化数据管理 将这些数据以逻辑的、预定义的方式组织在数据存储中。 自然语言处理 (NLP) 工具有助于理解以书面格式存在的非结构化数据。

与之相反，结构化数据是指遵循预定义数据模型且易于分析的数据。结构化数据的例子包括按字母顺序排列的客户姓名和组织良好的信用卡号码。

非结构化数据的示例

非结构化数据可以是任何不特定格式的数据。 这可以是包含相关信息的书中的段落或网页。 非结构化数据的一个例子也可能是不容易分离的日志文件。 社交媒体评论和帖子也是非结构化的。

以下是日志文件中非结构化数据的示例：

38,P-R-38636-6-45,P-R-39105-1-11,P-R-38036-1-5,P-R-35697-1-13,P-R-35087-1-27,P-R-34341-1-9,P-R-33341-1-15,P-R-33110-1-29,P-R-31345-1-693,P-R-29076-1-6,P-R-28767-1-8,P-R-28540-2-8,P-R-28312-1-10,P-R-28069-1-27,P-R-28032-1-9,P-R-26562-1-12,P-R-26527-5-20,P-R-26164-1-11,P-R-25785-1-30,P-R-25095-9-70,P-R-23504-1-15,P-R-19719-5-41203

23 年 2020 月 05 日星期三 21:01:0500 GMT+XNUMX

非结构化数据是定性的，而不是定量的，因此它本质上大多是分类的和特征性的。

为什么这对企业很重要

非结构化数据揭示了结构化数据无法捕捉的洞见。社交媒体情绪可以预测市场趋势，甚至早于销售数据。支持工单模式可以识别产品问题，防患于未然。客户通话录音可以捕捉到调查问卷遗漏的异议。

拥有数据湖的组织报告:

• 竞争优势提升41%。
• 成本降低 37%
• 客户体验提升 35%
• 对机遇和威胁的反应能力提高了33%。

挑战？ 超过95%的公司 人们认识到管理非结构化数据很困难，许多公司将超过 30% 的 IT 预算用于存储和管理。

来自社交媒体或网站的数据可以帮助预测未来的购买趋势或确定营销活动的有效性。另一个非结构化数据分析的例子是检测诈骗邮件和聊天记录中的模式，这有助于企业监控政策合规性。企业会将非结构化数据提取并存储在数据仓库（也称为数据湖）中以进行分析。

结构化数据、半结构化数据和非结构化数据之间的区别

考虑三种类型的面试：非结构化面试、半结构化面试和结构化面试。

在非结构化面试中，提出的问题完全是面试官的选择。 他可以决定他想问的问题以及问问题的顺序。 非结构化问题的常见例子包括“告诉我你自己”和“描述你的理想角色”。

另一种类型是结构化面试。 在这种情况下，面试官将严格遵循人力资源部门创建的脚本，并对所有申请人使用相同的脚本。 同样，结构化数据与非结构化数据遵循有组织的格式，但架构不太灵活。

第三种是半结构化数据。 在半结构化面试中，面试官将结合非结构化面试和结构化面试的要素。 它将包括定量和一致性要素，类似于结构化面试。

但同时，与半结构化数据一样，结构化面试将具有根据情况定制问题的灵活性。 重申一下，非结构化数据和半结构化数据之间的主要区别在于，非结构化数据不遵循预定义的格式，而半结构化数据仅部分非结构化。

以下几点强调了结构化数据与非结构化数据与半结构化数据之间的差异：

• 组织： 结构化数据组织良好。 因此，它具有最高的组织水平。 半结构化数据是部分组织的； 因此，组织水平低于结构化数据，但高于非结构化数据。 最后，后一类根本没有组织。
• 灵活性和可扩展性： 结构化数据依赖于关系数据库或模式，因此灵活性较差且难以扩展，而半结构化数据比结构化数据更灵活且更容易扩展。 然而，非结构化数据没有使其成为其他两种数据中最灵活和最可扩展的架构。
• 版本控制： 由于结构化数据基于关系数据库，因此版本控制是对元组、行和表执行的。 另一方面，在半结构化数据中，元组或图形是可能的，因为仅支持部分数据库。 最后，在非结构化数据中，版本控制可能是作为一个整体数据，因为没有数据库支持。

从历史上看，企业只专注于从结构化数据中提取和分析信息。 然而，随着半结构化和非结构化数据的增长，企业现在需要寻找一种可以帮助他们分析所有三种类型数据的解决方案。