过去几年来,数据库管理和数据建模领域发生了重大变化,从传统的关系模型到现在还包括非关系模型。 大数据及其非结构化和半结构化数据格式的发展以及云计算,人工智能,数据湖,机器学习,区块链等趋势推动了对更高级概念和实践的需求。
 
这种巨大的变化导致数据建模也取得了进展。 数据基础架构和新技术演进的根本性变化共同促成了数据管理的发展。
 
根据Paxata联合创始人兼首席产品官Nenshad Bardoliwalla的说法,新数据库技术的共同目标是“让数据可供更广泛的个人使用”。非结构化数据带来了一系列新的挑战,可以通过人工 智能(AI),自描述数据格式和本体模型。 像其他技术一样,高级数据库技术是否已经走向人工智能,大数据和云的主流? 2018年最突出的数据建模趋势是什么?
 
为什么数据建模?
 
DATAVERSITY®文章标题为“数据建模的最新技术”? 讨论了数据建模的主要目的,这基本上是试图为组织内的数据和信息流提供“背景”或“连贯结构”。 背景是现代业务决策的核心,现代数据模型有潜力通过背景敏感的见解来重塑业务决策。
 
数据建模中的网络研讨会系列课程介绍了数据建模的许多优点,这些优点应在新的数据建模趋势进一步讨论之前提出。
 
数据建模对组织有很多好处,随着非关系/ NoSQL数据存储,机器学习,人工智能,数据湖,物联网,云计算等新技术的发展,数据建模也有很多优势。 数据结构的建模在新的大数据世界中的重要性不亚于数据管理和数据治理的旧世界,并且可以说它更重要。
 
通过增强的数据建模可以为普通企业带来一些优势:
 
1.   数据模型通过蓝图为开发项目提供了一个清晰的框架,因此商业客户和开发人员可以更清楚地了解商定的条款。
2.   当数据模型包含清晰的指导方针时,它可以实现高性能水平。 准则有助于在开发阶段解决混淆。
3.   在数据建模阶段会检测并清理损坏的数据集,这对开发人员来说是另一大优势。
4.   数据模型为构建软件提供了经过测试的“蓝图”,极大地降低了后期开发错误的可能性,大大降低了开发成本和时间,缩短了上市时间(几乎70%的初始编码预算和分配时间都缩短了)。
5.   数据模型清楚地概述了管理开发工作的“范围”和相关的“风险”。 因此,可以通过适当调整模型的比例来尽早缓解风险。
6.   由于数据模型包含详细的文档,因此即使在人员更改时,远程维护也变得简单和透明。 该文档也是高级数据分析的起点。
 
从结构化世界走向非结构化世界
 
数据建模突然面临着新的挑战,因为数据库设计不仅包括传统的关系数据库,而且还包括处理大量非结构化数据的较新的NoSQL数据库。 而且,现在的高级数据库分析师要求预测模型的存在,这些模型只能通过人工智能或机器学习技术加入。
 
现在,DBA可以访问由第三方供应商提供的大型机器学习或深度学习数据模型库。 这在五六年前的数据库世界中是闻所未闻的。 现代数据库能够处理认知技术和通过云提供的实时数据源。
 
文章“您仍然需要一个模型!大数据和NoSQL的数据建模”来理解近年来数据库管理的这种转变。 还有文章“10种转换数据库技术”,其中NoSQL数据库被描述为“被网络巨头用来管理数十亿用户的信息”。
 
SQL / NoSQL数据库的新数据建模趋势
 
Analytics Week专栏2018数据建模趋势指出,现代数据库面临的最大挑战是处理机器数据。 在现代数据库领域,源数据类型,数据结构和数据通道都是多样和复杂的,因此以下技术趋势在今年的数据建模中可能最为深刻:
 
l  各种机器数据(包括从日志文件到现场物联网数据发布有关客户操作的消息)的所有内容都将带来一系列新的分析挑战。
l  数据的规模和速度,特别是预测性数据模型将会为机器学习或深度学习做好准备。
l  汇总来自广泛不同来源的数据的需求将增加数据建模中数据管理的复杂性。 数据建模必须在建立有用模型的同时解决内部,私有和公共云数据存储库的共存问题。
l  Data Lakes需要数据建模的一致性,这样才能以原生格式存储数据而无需扩展。 此外,为了构建灵活的数据模型以适应大数据,自描述数据格式将是必需的。
 
以下是2018年将会出现的其他重要数据建模趋势:
 
自动数据建模(算法)
使用算法构建数据模型的做法已经有一段时间了,但根据业界思想领袖的说法,算法的使用在一定程度上导致了数据建模的自动化。 这些算法可以是AI,ML,自然语言处理(NLP)和统计算法的任意组合,但是当与自助数据准备平台中的其他智能功能一起使用时,普通业务用户可以开发相当好的数据模型用于数据分析。
 
预测建模
在高级机器学习中,底层数据本身有助于塑造数据模型。 这种类型的数据建模方法在预测建模中非常有用,它通过多层数据处理庞大的数据集和重复的深度学习任务。 预测建模最适用于确定欺诈,流失或增销的根本原因。 在预测建模中,将ML和DL的组合功能用于构建学习数据模型
 
语义数据模型
当数据存储在孤岛中时,更多的时间和精力花在数据建模上,而用于享受该劳动成果的时间更少。 语义模型的需求量很大,因为它们被认为可以跨越不同的数据类型和数据结构以及数据库体系结构。 语义模型还包括生动的描述,这使得它们对于广泛的商业用户群而言是用户友好的。 语义模型的灵活性使得它们可以在各种用例中轻松使用。 当数据类型或结构发生变化时,可以用最少的编程工作重新校准模型。
 
2018年SQL Server数据库的5个趋势
 
以下是今年在SQL Server数据库中会注意到的一些新趋势:
 
SQL趋势1:由于安全问题延伸的采用率
SQL Server 2016和SQL Server 2017都通过了增强的安全功能和安全宣传数据库引擎的安全测试。 在今年的新版本中,采用率可能会有所不同,因为用户通过新的威胁仍然担心安全漏洞。
 
SQL趋势2:指向云端
使用Azure SQL数据库,数据库供应商现在提供与内部部署SQL Server相同的编程功能。 随着DBA社区中云的采用持续增加,遵循Azure SQL数据库和相关云服务可能成为2018年的热门趋势。
 
SQL趋势3:人人关注AI
由于2017年的严峻技术趋势之一是在几年内将人工智能整合到一切中,2018年的数据库设计师必须尽自己的努力来维护这一郑重承诺。 SQL Server现在引领数据库行业内置的AI功能。 在RDBMS领域中,SQL数据库的AI支持意味着使用SQL Server 2017的ML Services组件提供的功能。
 
SQL趋势4: 对于Linux的SQL Server
从SQL Server 2017开始,对Linux的支持对用户社区产生了巨大的影响。 Linux上的高性能基准测试已经创建了新的数据库记录。 随着SQL Server设计团队为开源Linux实现做准备,未来的SQL Server数据库管理员必须培训自己处理Linux及其衍生产品。
 
SQL趋势5:新的软件更新周期
由于微软已经停止了每两个月分发一次累积更新(CU)和服务包(SP)的做法,因此SQL Server供应商面临的最大挑战将是管理2018年正在进行的软件补丁和更新。因此,DBA必须适应今年不常使用的CU更新周期(季度性?)。
 
ETL新兴趋势:数据保险库
 
现在数据库技术开发人员面临的一个巨大挑战是处理大数据在数量,品种和速度方面的复杂性。 回顾标题为“ETL的新兴趋势:大数据和超越”的文章,了解ETL如何为大数据构成障碍。 如果ETL能够被未来的数据保险库成功利用,那么数据库中的大数据采用就会闪现。 数据保管库将删除大型数据集的数据清理要求,并使Hadoop,MongoDB或NoSQL更加容易。 数据保险库不会对基础数据模型产生任何影响。
 
数据库技术的未来
 
在“未来数据库技术”一文中,DBTA合理化了未来数据库技术的市场需求。 本文的作者设想未来具有足够强大的多模型数据库体系结构,以支持许多存储格式,许多处理类型和不同的语言。 数据库设计领域已经发生了巨大的变化,但更多的中断还没有到来。 当未来内存中的数据库架构完全解决了磁盘访问限制时,将会发生彻底的中断。