博客
关于我
flink读取hive表数据的一些现象
阅读量:763 次
发布时间:2019-03-23

本文共 384 字,大约阅读时间需要 1 分钟。

一个可能的解释是,配置文件中的executionplanner设置直接影响了Flink如何处理数据。默认的execution设置为streaming,这适用于处理实时数据流,但在某些情况下,批量处理可能提供了更好的性能或数据一致性。与此同时,planner设置到batch说明Flink使用批量处理模式。

用户提到的现象显示,无论是创建Hive表还是Flink流表,由于type: streamingbatch都能正常工作,说明它们在不同的数据量和处理需求下都可以有效使用。特别是在处理外部日志文件时,批量处理能完全读取数据,而流处理则可能遇到读取逻辑上的问题。这可能是因为批处理模式更适合处理完整的、离散的数据集,而流处理则需要数据持续生成。

通过这些分析,可以得出配置文件中的execution设置直接反映了Flink处理数据的方式,从而影响了查询和处理性能。

转载地址:http://eykkk.baihongyu.com/

你可能感兴趣的文章
OPC在工控上位机中的应用
查看>>
OPEN CASCADE Curve Continuity
查看>>
Open Graph Protocol(开放内容协议)
查看>>
Open vSwitch实验常用命令
查看>>
Open WebUI 忘了登入密码怎么办?
查看>>
open***负载均衡高可用多种方案实战讲解02(老男孩主讲)
查看>>
Open-E DSS V7 应用系列之五 构建软件NAS
查看>>
Open-Sora代码详细解读(1):解读DiT结构
查看>>
Open-Sora代码详细解读(2):时空3D VAE
查看>>
Open-Source Service Discovery
查看>>
open-vm-tools-dkms : 依赖: open-vm-tools (>= 2:9.4.0-1280544-5ubuntu3) 但是它将不会被安装
查看>>
open3d-Dll缺失,未找到指定模块解决
查看>>
openai Midjourney代理服务 gpt大模型第三方api平台汇总 支持国内外各种大模型 持续更新中...
查看>>
OpenAll:Android打开组件新姿势【仅供用于学习了解ButterKnife框架基本原理】
查看>>
OpenASR 项目使用教程
查看>>
Openbox-桌面图标设置
查看>>
opencart出现no such file or dictionary
查看>>
OpenCV 3.1 imwrite()函数写入异常问题解决方法
查看>>
OpenCV 4.1.0版drawContours
查看>>
opencv glob 内存溢出异常
查看>>