在过去的几年中，大数据一直是人们关注的焦点。这是因为可以预期，通过分析大数据，可以理性地做基于经验和直觉的事情。让我们简要解释一下与大数据密切相关的大数据和数据挖掘的定义，并考虑大数据分析对社会的影响。我们还将提及我们与边缘计算的关系。
什么是大数据？
什么是大数据？一般而言，它意味着 “用于积累、分析和处理大量实时发生的结构化或非结构化数据或数据本身的技术的通用术语。”
结构化数据是传统上在数据库中管理的数据，即所谓的有组织数据。另一方面，非结构化数据是指尚未组织的原始数据。
在进行大数据分析之前，来自现场的信息由人类分析，并据此做出公司决策。在那里，需要人类多年的经验和直觉。但是，近年来，由于信息设备的发展，从现场自动收集的数据的数量和类型加速增加，人类的负担增加，分析所需的经验和直觉不是一朝一夕就能获得的。换句话说，尽管来自分析来源的数据在增加，但具有足够经验和直觉的人数却在减少。
因此，数据挖掘技术已经开发出来支持数据分析和决策。数据挖掘是一种有助于发现数据之间相关性并发现大量数据之间有用关系的技术，与大数据分析密不可分。换句话说，它是一种通过代表诸如人类直觉和经验之类的过程行事来支持决策的技术，这些过程迄今为止一直用于进行分析。
数据挖掘来分析大数据的概念
让我们仔细看看数据挖掘来分析大数据。通常，大数据分析通常基于以下模型（DIKW 模型）：
“数据：数据”
这就是我们所说的仍在收集的原始数据。它也是非结构化数据。它的大小通常是 Petapite 从 TB 开始的。
“信息：信息”
这是原始数据的一个有组织的版本，基本上，在这个阶段，数据挖掘可以提供帮助。它也是结构化数据。
知识：知识
它指的是趋势和从信息中获得的知识。近年来，数据挖掘工具已使用人工智能和统计分析来支持现阶段的知识。
“智慧：智慧”
它指的是人类从知识中作出的判断。
值得注意的是，数据挖掘工具可以从数据中生成信息，但从信息中产生知识和智慧最终要由人类判断。
当前的技术需要数据之间的相关性，但是人类有必要从关联结果中推断出实际现象。做这件事的是一个叫做数据科学家的职业，但这是一项非常艰巨的工作。
难度之所以高，是因为除了分析数据（统计分析、人工智能等）的知识外，还需要熟悉当前的市场趋势以及人类的行为和心理。除了这些高度专业化的知识外，还需要洞察力，以便从数据关联中推断出现象。可以说，这是一个必须在广泛领域的专业知识和知识之间取得平衡的职业。此外，这种人力资源不可能在一夜之间开发，而且人力资源短缺。可以说，在当前的大数据分析状态下，这是一个问题。
另一方面，仅依赖于传统人类经验和直觉的分析可能会通过分析人员的推测而忽略重要的知识和智慧。在许多情况下，通过数据挖掘进行客观的大数据分析可以获得颠覆传统推测和常识的知识。这是大数据分析的主要优势。
大数据分析赋予社会影响力
如前所述，乍一看，可以从无关的数据中找到定律，因此可以通过大数据分析减少因经验和直觉而导致的故障。或者，我们可以客观地支持人类的直觉和经验。正如 “尿布和啤酒” 这样的著名案例一样，有一些例子表明，大数据分析结果推翻了对销售措施的常识和猜测。通过数据挖掘提取新知识，它还可以有效地审查销售和营销策略。
在物流领域，通过在产品和纸箱上贴上IC标签来收集数据，并进行大数据分析。通过分析哪些物流路线和集中了多少产品，可以优化物流路线。此外，优化物流路线可以降低成本和运输时间。
在生产领域，您可以通过收集产品检验数据和分析趋势来提高产品质量。此外，通过在生产线的关键点安装传感器并使用大数据分析收集到的节拍时间，还可以检测出整条生产线中的瓶颈。传感器可以安装在制造设备中进行持续监控，并且可以收集和分析数据以预测故障。
这样，最大的优势是可以通过大数据分析获得新知识，从而提高运营效率和优化运营。可以说，这是一个强有力的手段，可以应对工作人口的减少和工作方式的改革，这个问题有望在未来变得严重。
在物流和生产领域，大量数据通常是实时生成的，很难停止每条生产线和收集数据。因此，当在不中断生产线的情况下实时进行大数据分析时，通过边缘计算通过边缘AI实现大数据分析被认为是有效的。
大数据分析让社会更有意义
到目前为止，我们已经简要解释了大数据。存在数据科学家短缺的问题，但是未来对大数据分析的需求将越来越多。因此，在人工智能和边缘计算的帮助下，大数据分析技术将继续发展。这将一点一点地改变社会。预计这将是人类的有意义的变化。
