hive 动态分区(Dynamic Partition)异常处理_maximum was set to 100 partitions per node, number-程序员宅基地

hive 动态分区(Dynamic Partition)异常处理

Changing Hive Dynamic Partition Limits

Symptoms:

Hive enforces limits on the number of dynamic partitions that it creates. The default is 100 dynamic partitions per node, with a total (default) limit of 1000 dynamic partitions across all nodes. However, this can be tuned. If your job tries to create too many dynamic partitions, you may see a stack trace similar to the following:

Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node, number of dynamic partitions on this node: 101

	at org.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:933)
	at org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:704)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:879)
	at org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:95)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:879)
	at org.apache.hadoop.hive.ql.exec.FilterOperator.process(FilterOperator.java:126)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:879)
	at org.apache.hadoop.hive.ql.exec.TableScanOperator.process(TableScanOperator.java:130)
	at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:149)
	at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:489)
	... 18 more
]], Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:0, Vertex vertex_1508385188096_13199_1_00 [Map 1] killed/failed due to:OWN_TASK_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:0

Cause:

Your Hive job tried to create too many dynamic partitions on a node, exceeding the current limits. The number of dynamic partitions is controlled by the settings forhive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. The default is 100 dynamic partitions on a single node, with a limit of 1000 overall.

Solution:

Set the values for hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode to higher values. For example:

SET hive.exec.dynamic.partition=true;
SET hive.exec.max.dynamic.partitions=2048;
SET hive.exec.max.dynamic.partitions.pernode=256;

参考网址：https://blog.csdn.net/odailidong/article/details/49884571

本文链接：https://blog.csdn.net/helloxiaozhe/article/details/79710707

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Mac用户速度来看！！Adobe 全家桶关闭自动更新？_illustrato关闭更新-程序员宅基地

文章浏览阅读1.1k次。有很多朋友在mac电脑上安装 Adobe 系列软件后，激活后过一段时间发现不能再使用，原来是 Adobe Creative Cloud 对软件进行了自动更新，自动更新后软件失去了激活，导致软件无法再使用。如果你发现 mac版photoshop，AE，PR突然不能使用了，请跟小编一起学学怎么关闭 Adobe Creative Cloud自动更新吧！Adobe 2020 Mac版全系列合集「温馨提示：有会员的宝宝们可以下载哦」1、通过 Command+空格，输入creative cloud 快速启动._illustrato关闭更新

java usbkey ssl_Java读取硬件USBKey(简称UKEY)中的SSL证书信息，创建双向SSL认证上下文环境...-程序员宅基地

文章浏览阅读759次。最近项目中遇到了这样的需求，故记录下来，希望可以帮到需要的人O(∩_∩)O~以下以 Linux 环境为基础：读取硬件 UKEY 的SSL证书信息，需要硬件厂商提供：UKEY型号名称、驱动文件(类似pkcs11.so)。直接上代码段示例：//厂商提供的UKEY型号名称staticfinalStringUKEY_PROVIDER="xxx";//UKEY驱动lib库文件staticfi..._ukey 证书读取

Windows10跳过创建用户并直接用Administrator身份登录_win10 跳过microsoft登录-程序员宅基地

文章浏览阅读3.2w次，点赞15次，收藏87次。Windows10跳过创建用户并直接用Administrator身份登录操作主要有以下几个步骤：首先，系统进入区域设置起，就可以按下Ctrl+Shift+F3进入审计模式。进入系统之后会弹出一个系统准备工具3.14弹窗，不要点击确定，直接×掉。之后计算机管理中打开Administrator账户。可以右键Windows图标，选择计算机管理。在本地用户和组中选择用户，然后选择 Administrator，将账号已禁用去掉。复制 C:\Windows\System32\oobe\audit._win10 跳过microsoft登录

【传智播客】Javaweb程序设计任务教程黑马程序员课后答案【合集】_【传智播客】javaweb程序设计任务教程黑马程序员课后答案-程序员宅基地

文章浏览阅读2.1w次，点赞49次，收藏332次。【传智播客】Javaweb程序设计任务教程黑马程序员第一章课后答案【传智播客】Javaweb程序设计任务教程黑马程序员第二章课后答案【传智播客】Javaweb程序设计任务教程黑马程序员第三章课后答案【传智播客】Javaweb程序设计任务教程黑马程序员第四章课后答案【传智播客】Javaweb程序设计任务教程黑马程序员第五章课后答案【传智播客】Javaweb程序设计任务教程黑马程序员第六章课后答案【传智播客】Javaweb程序设计任务教程黑马程序员第7,8,9_【传智播客】javaweb程序设计任务教程黑马程序员课后答案

WebGoat---Injection Flaws---SQL Injection (advanced) 5 解法_webgoat sql注入(高级) 第五关-程序员宅基地

文章浏览阅读2.5k次。经过测试，发现注册时的用户名处存在布尔盲注，将如下内容保存为request.txt,开始用sqlmap：PUT http://127.0.0.1:8080/WebGoat/SqlInjection/challenge HTTP/1.1User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0..._webgoat sql注入(高级) 第五关

ssm+mysql+基于微信小程序的恋上诗词设计与实现毕业设计-附源码011431-程序员宅基地

文章浏览阅读91次。恋上诗词微信小程序的设计主要是对系统所要实现的功能进行详细考虑，确定所要实现的功能后进行界面的设计，在这中间还要考虑如何可以更好的将功能及页面进行很好的结合，方便用户可以很容易明了的找到自己所需要的信息，还有系统平台后期的可操作性，通过对信息内容的详细了解进行技术的开发。恋上诗词微信小程序的开发利用现有的成熟技术参考，以源代码为模板，分析功能调整与恋上诗词微信小程序管理的实际需求相结合，讨论了基于恋上诗词微信小程序管理的使用。