谈数据工程6-数据架构
这个部分,我们将讨论数据架构。
内容:1. 数据架构2是什么?. Lambda vs Kappa 架构3. 实际项目
一 什麽是数据架构?
数据结构是信息系统的蓝图,服务于商品的业务需求,描述如何收集、存储、转换和分发数据。它由数据模型、治理策略、规则和标准组成,需要实施和遵循,从而构建一个强大而安全的信息系统。
资料结构必须满足信息系统的业务和技术要求。
项目需求下列内容可能包括:1. 减少数据交付延迟2. 根据需要自动扩展数据交付33. 增加不同类型数据的数据模型的灵活性4. 提高数据质量和一致性5. 降低存储成本和支持提高6. 提供可靠性和 GDPR 等待标准合规
支持业务的技术需求包含:
1. 最佳业务案例数据库和摄入工具2. 数据仓库解决方案3高效检索和存储优化. 定义数据关联和消费的转换逻辑4. 设计分析推理平台展示平台 KPI5. 采用云服务进行分布式计算,确保6个不同团队的最低成本和访问限制. 为了遵守法律法规,维护数据的完整性,制定安全管理和监控系统。
下面是数据架构师职责简述:
它是数据架构师和数据工程师两者的区别:
二 Lambda 与 Kappa 架构
Lamba 架构它被定义为具有即时和批处理能力的组合。它有 3 层:即时层,用于使用。 Storm 或 Flink 等待服务处理传递到流程;批处理层用于使用 Hadoop 或 Spark 等待服务批量处理历史数据;服务层,提供批量处理和实时组合视图数据。例如,在电子商务业务中,客户(批号)的消费历史记录需要了解预算和质量限制,并且需要立即浏览数据以提出适当的建议。
Lambda 架构面临的问题是,您需要将预处理和其他常见工作复制到即时层和批处理层,因此建议使用相同的服务进行这两种提取,例如 Spark,这有助于完成这两个操作。
Kappa 架构的介绍的目的是采用统一的方法来应对这个挑战,而且只有一个流层, Apache Kafka 等待服务处理所有操作。首先,它可以在消息传输引擎中实时动态存储,并可以存储在分析数据库中进行批量检索,或者通过服务层根据查询类型提供与消息传输引擎的实时互动。
Kafka 它是一种快速、容错、水平可扩展的服务,具有以下许多特定功能,因此主要用于实现。 Kappa 架构。
尽管 Lambda 维修和运营成本较高,但 Kappa 使系统更简单。但是为了建立 Kappa 为了保证可靠性和准确性,需要不断优化结构。
所以,一般而言,当有大量或多个数据无法实时处理时,就会使用。 Lambda 在需要传入的流数据的情况下, Kappa 当中等数据立即付诸行动时,会更倾向于 Kappa 结构。数据具有高度一致性,因此不需要过多的质量校准或复杂性。
Kappa 一个实际的例子是存在的 Uber 与 Kafka 共同实现:
三 实际项目 电动汽车基础设施分析
它是一个已经实现的具体项目及其数据架构:
问题阐述:对电动汽车充电基础设施进行分析,以识别任何方法并提出改进建议。数据库:Open Charge API数据编排:Airflow数据湖:AWS S3 存储对数据结构的理解:AWS Glue Crawler and Data Catalog数据清理与预处理:AWS LambdaETL 以及探索工具:AWS Glue 和 Athena数据库及仪表板:Snowflake数据安全:IAM
澄清:我仅在 AWS 和 Snowflake 免费套餐服务在中间使用。在我看来,当所有服务都在 AWS 里时,明白为什么要用。 Airflow 而不是 Glue ETL 也许令人费解——这只是成本因素。
我在这里免费试用,所以有一些限制,但是如果你比较舒服,适合你的用例,你可以用。 Glue Studio 进行 ETL 与仓库连接!
我仅使用 Glue Crawler 和 Data Catalog 等 Glue 对数据进行服务探索,使用 Athena 运行 SQL 查询确保有正确的结构。如您查看代码库,您可以找到和找到它。 Snowflake 连接是通过 SQL 查询而不是 Glue。
Open Charge API
这个数据库包含了各种有关电动汽车充电站的信息,你可以使用经度和纬度来查询这个区域的电动汽车充电站。
Airflow — ELT
用来安排数据管道,并根据不同区域定期摄取API数据。
AWS Glue
AWS Glue 用来理解数据架构,通过存储元数据的爬网过程和数据目录。也可以使用 通过Glue Glue Studio 进行相关的数据转换,然后将其加载到其中 Snowflake 在数据库中。也可以定义 Lambda 函数调用的 ETL 操作或者调度它。数据质量检查也可以在ETL操作中进行。
AWS Lambda
它用于清理和预处理原始数据,并将中间结果存储在清理后的另一个S3存储桶中。每次将新数据加载到原始数据中。 S3 储存桶内时,都能触发。
AWS Athena
可以用 Athena 执行 SQL 查询了解数据,并将查询记录存储在分析数据库中,以便浏览数据库。
Snowflake data warehouse
该分析存储用于终端用户(数据分析师),用于了解趋势和方法,并构建仪表板向相关利益相关者展示。
AWS IAM
身份和访问管理允许您设定不同的定义。 AWS 资源密钥管理的作用和策略。您需要定义以上每一个。 AWS 资源角色可以相互交互。
总之,使用 Airflow 从 API 进行摄入,当 S3 当目标事件发生时,存储桶会触发 Lambda,如果有可用的清洁对象,可以使用。 Snowflake 触发载入。
仪表板在Snowflake中的
找出可用设备的总数。
选择前10名ev_table 个“locationtitle”、“quantity”,其中“quantity” > 1 order by “quantity” desc;
2. 找出不同电流类型的功率分布特征
SELECT sum ("powerkw") as "total_power","currenttypeid" FROM ev_table where "currenttypeid" > 1 GROUP BY "currenttypeid" ORDER BY "currenttypeid" ;
找出电动汽车站的地理邻近性
从ev_table中选择“纬度”、“经度” ;
找出不同等级充电能力之间的功率分布。
按下ev_table组中的“levelid”挑选“levelid”、sum(“powerkw”);
5. 根据充电能力等级了解位置分布。
按下ev_table组中的“levelid"选择记数(""locationtitle”)、“ levelid”
6. 找出功率最高的位置
选择前10名ev_table 个 “locationtitle”、“powerkw”,其中“powerkw” > 0 order by “powerkw” desc;
本文来自微信微信官方账号“数据驱动智能”(ID:Data作者:晓晓,36氪经授权发布,_0101)。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com