技术标签: sqoop
用sqoop定时增量读取mysql数据并导入hdfs中,通常在linux平台启动hdf后,然后输入
sqoop job --show myjob
通常会显示正确的信息,但是有时候会报错,信息如下
[root@hadoop bin]# ./sqoop job --show myjob
19/06/02 11:48:21 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.7.0
19/06/02 11:48:22 ERROR hsqldb.HsqldbJobStorage: Cannot restore job: myjob
19/06/02 11:48:22 ERROR hsqldb.HsqldbJobStorage: (No such job)
19/06/02 11:48:22 ERROR tool.JobTool: I/O error performing job operation: java.io.IOException: Cannot restore missing job myjob
at org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.read(HsqldbJobStorage.java:256)
at org.apache.sqoop.tool.JobTool.showJob(JobTool.java:232)
at org.apache.sqoop.tool.JobTool.run(JobTool.java:287)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
报错说No such job,也许是以前创建job已经停止运行了,所以我输入
sqoop job --create myjob
-- import --connect jdbc:mysql://192.168.56.1:3306/fangsou
--username root --password-file file:///usr/local/src/sqoop-1.4.6-cdh5.7.0/.mysql.password --table ershoufang -m 1
--target-dir /home/dyw/hdfs/data/ershoufang
--check-column "id"
--incremental "append"
--last-value "231"
--verbose
重新创建job
文章浏览阅读175次。我使用Spring API的JmsTemplate和MappingJackson2MessageConverter(版本:spring-jms-4.3.4.RELEASE.jar)来发布消息到ActiveMQ主题,如下面的代码所示.TopicPublisher类:@Componentpublic class TopicPublisher {@Autowiredprivate JmsTemplate..._spring 定义jmstopictemplate
文章浏览阅读10w+次,点赞299次,收藏1.5k次。1.什么是蒙特卡洛方法(Monte Carlo method)蒙特卡罗方法也称统计模拟方法,是1940年代中期由于科学技术的发展和电子计算机的发明,而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数(或更常见的伪随机数)来解决很多计算问题的方法。 20世纪40年代,在冯·诺伊曼,斯塔尼斯拉夫·乌拉姆和尼古拉斯·梅特罗波利斯在洛斯阿拉莫斯国家实验室为核武器计划工作时,发明了蒙特卡罗..._python编程蒙特卡罗
文章浏览阅读402次。此时docker是已经安装好的状态序言:介绍一下需要运行的Python项目的结构: 平时在PyCharm里面运行该工程,只要直接运行server.py文件即可 现在希望将该工程,部署到docker里面,使用容器启动:步骤如下:1:创建一个上传到Linux系统文件夹(文件名任意)docker_EF_NFCS是要上传到Linux系统,生成Docker镜像的文件夹 docker_EF_NFCS文件夹下面..._cmd ["python", "/code/package/server.py"]
文章浏览阅读1.4w次。本来想借助mvn sonar:sonar执行代码分析,但是因为父工程没有class文件,总是缺少相应的依赖;顾只能改用sonar-scanner进行。具体实施如下:1.maven多模块工程如图所示:我们可以看到此时multi-boluome工程下有dao、domain、service、web四个模块项目,且每一个都有其独立的pom.xml文件;2.因为借助sonar-scanner..._多个maven工程可以一起扫描sonar规则?
文章浏览阅读1.1k次。RPM 安装( install )安装就是 install 嘛!所以啰,使用 rpm 来安装就很简单啦!假设我要安装一个档名为 rp-pppoe-3.1-5.i386.rpm 的档案,那么我可以这样( 记得某些套件可能需要以系统管理员的身份来安装 ): [root@test root]# rpm -i rp-pppoe-3.1-5.i386.rpm不过,这样的参数其实无法显示安装的进度,所以,通常我们会这样下达安装指令: 另外,如果我们在安装的过程当中发现问题,或者已经知道会发生的_ruhe xiezai rpm
文章浏览阅读256次。这是一个用PHP生成GIF动画来实现动态图片验证码的程序,非常实用,是php用户注册登录界面经常需要用到的验证码程序,有需要GIF动态图片验证码功能的朋友可以收藏一下。第一步:创建ImageCode.php文件,验证码生成函数代码如下:0) // 屏蔽第一帧{for ($k = 0; $k < strlen($authstr); $k++){$colorRandom = mt_ra..._php动画验证码
文章浏览阅读104次。XStream是一个很容易上手的工具,也在日常开发中极为常用.其特点如下: 一、可以将对象序列化为XML,也可以将XML反序列化对象; 二、不需要任何配制,速度快,占用内存小,生成的XML可以写到文件,做持久化; 用到的JAR包括:xstream-1.3.jar、xpp3_min-1.1.4c.jar/** * */package test;import com.thoughtworks...._xstream 反序化
文章浏览阅读1.7k次。ipc实现方式_ipc通信实现
文章浏览阅读1.1w次,点赞13次,收藏44次。#include <stdio.h>#include<string.h>struct Person{ char name[20]; int count; }leader[3]={"li",0,"zhang",0,"sun",0};int main(void){ int i,j; char name[20]; for(i=1;i<=10;i++) { scanf("%s",name); for(j=0;j<3;j++) { if
文章浏览阅读1.1k次。一、FIFO概述 FIFO,本质上来说还是一个RAM,是一种先进先出的数据缓存器,它主要应用于FPGA中不同时钟域之间的切换、不同位宽之间的数据匹配、数据的缓存等方面,极大提高了数据传输的效率。根据FIFO工作的时钟域分为同步/异步FIFO,同步FIFO是指读时钟和写时钟为同一个时钟,在时钟沿来临时同时发生读写;异步FIFO读写时钟不一致,读写相互独立。二、设计原理..._异步fifo 时序
文章浏览阅读5.5k次。layer.msg(data.msg, {icon: 6,time:2000, shade:0.4});弹出时间两秒 有遮罩层_layui msg 时间
文章浏览阅读1.2k次。### Code ReferenceURL:https://blog.csdn.net/hunheidaode/article/details/104039719DESC:docker实例化Oracle12c EELast Update:2020-7-15 18:25确定使用的镜像docker search oracledocker pull absolutapps/oracle-12c-ee本地化容器文件docker inspect absolutapps/oracle_docker compose oracle 12 ee