技术标签: ubuntu hdfs 大数据技术 hadoop 分布式 大数据
su root
adduser hadoop
su root
visudo
visudo打开的是
/etc/sudoers
文件,修改该文件,在root ALL=(ALL:ALL) ALL
这一行下面加入一行:
hadoop ALL=(ALL:ALL) ALL
CTRL+O(然后再按ENTER)保存,CTRL+C取消,CTRL+X退出
exit
sudo apt-get update
sudo apt-get install openssh-server
ssh localhost
exit
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
执行如下命令下载并安装vim:
sudo apt-get install vim
sudo apt-get install openjdk-8-jdk
java -version
gedit ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source ~/.bashrc
echo $JAVA_HOME
java -version
whereis java
hadoop下载网址:https://hadoop.apache.org/releases.html (速度较慢)
可以使用这个网址:http://archive.apache.org/dist/hadoop/core/hadoop-3.2.4/ (可以选择需要的版本)
sudo tar -zxf ~/下载/hadoop-3.2.4.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-3.2.4/ ./hadoop
sudo chown -R hadoop ./hadoop
gedit ~/.bashrc
#HADOOP VARIABLES START
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
source ~/.bashrc
hadoop version
若如上图所示,hadoop已安装完成!
gedit ./etc/hadoop/hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
gedit ./etc/hadoop/yarn-env.sh
# export JAVA_HOME
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
gedit ./etc/hadoop/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
gedit ./etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
gedit ./etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
</configuration>
hadoop version
hdfs namenode -format
start-all.sh
jps
文章浏览阅读7.7k次,点赞24次,收藏67次。全屏烟花动画特效,跨年新春烟花漫天效果。无加密,完整可用哦。_新年快乐代码特效2024
文章浏览阅读1.4w次,点赞5次,收藏5次。解决控制台出现的"error Empty block statement no-empty"的问题(vue项目)此问题的出现是因为页面中代码空格引起的,具体原因还是eslint校验解决方案第一步 在 package.json中添加{ "name": "system", "version": "0.1.0", "private": true, "eslintConfig": { "plugins": ["example"], "env": { "exam_error empty block statement no-empty
文章浏览阅读2.4k次。目录1、利用form.submit直接向后端提交,后端返回文件流 2、利于iframe直接向后端提交,后端返回文件流 3、使用windows.open下载文件 4、解决“无法根据回调函数做交互”的问题:ajax提交,后端返回在线文件地址 5、解决“无法根据回调函数做交互”的问题:jquery-download 插件 1、利用Html5的download属性进行下载 2、利用Html5的Blob对象实现对文件流进行下载 (1)、 使用原生js发送ajax实现 (2)、 使用结合jq发送a_js createobjecturl 批量下载文件
文章浏览阅读839次。windows7发布已经10多年了,从我大学到参加工作,整个青葱岁月都伴随着我,也算是老朋友了。但是再好的朋友也总会有离别的一天。最近发现陪伴自己多年的windows7系统已经很多方面满足不了自己的需要。其中影响最大的是很多常用软件的最新版本已经不支持windows7。举个例子,office2016和office2019已经在windows7系统下面不能运行。adobe系列的最新组件也不能在win..._不小心把windows7给升级windows10也没升级成功windows7也不见了
文章浏览阅读3k次。1.客户端时间和服务端时间不一致,导致过期时间太长;这个是网友分析的一种场景,没遇到过2.主从节点快照不一致主节点和从节点的本地快照不一致,导致leader节点不存在从节点的session信息和临时节点信息。由于临时节点过期淘汰是由主节点操作的,因此从节点的临时节点一致存在。除非主节点发生切换,或者删除从节点快照,再重启从节点才可以恢复,否则就这样一直错下去。该问题根因是:zookeeper在3.6.0版本之前,数据一致性只通过zxid和epoch来确定,其快照实际内容是否完全一_failed to delete some node(s) in the subtree!
文章浏览阅读256次。QQ 1274510382Wechat JNZ_aming商业联盟 QQ群538250800技术搞事 QQ群599020441解决方案 QQ群152889761加入我们 QQ群649347320共享学习 QQ群674240731纪年科技aming网络安全 ,深度学习,嵌入式,机器强化,生物智能,生命科学。...
文章浏览阅读1.3w次,点赞5次,收藏26次。0x01 漏洞简介跨域资源共享(CORS)是一种放宽同源策略的机制,它允许浏览器向跨源服务器,发出 XMLHttpRequest 请求,从而克服了 AJAX 只能同源使用的限制,以使不同的网站可以跨域获取数据,目前已经被绝大多数浏览器支持,并被主流网站广泛部署使用。跨域资源共享 CORS 漏洞主要是由于程序员配置不当,对于 Origin 源校验不严格,从而造成跨域问题,攻击者可以利用 CORS 错误配置漏洞,从恶意网站跨域读取受害网站的敏感信息。这里只做简单介绍,关于 CORS 漏洞的详细分析可以点击_cors漏洞利用
文章浏览阅读609次。题意:给出n个人的身高,求这些人中连续的且满足对称、从做到中心递增的最大人数。题解:很明显,想到将序列倒序,然后两个串进行匹配最大上升公共子序列注意两点:一、像这样的23232 最长是3个人,所以匹配的二维循环中j最大不能超过n-i+1;二、要单独判断奇数偶数的匹配,否则奇数匹配结果会多1;#include#include#include#include#inc
文章浏览阅读3.6k次,点赞8次,收藏7次。一、除了像别人所说的索引问题,如索引不能用浮点数。二、还有一种可能是你原来pandas.DataFrame的数据已经转换成numpy.ndarray了,然后还在使用当时的表头如data[‘score’],这肯定是不行的,需要使用data = pd.DataFrame(data, columns=feature_col)来转换为dataframe继续使用。其中feature_col是你原来dataframe的表头,可以在原来是pandas.Dataframe格式时用feature_col = data._indexerror: only integers, slices (`:`), ellipsis (`...`), numpy.newaxis (`n
文章浏览阅读1.2w次,点赞5次,收藏15次。满意答案yeye_pig2019.11.25采纳率:40%等级:9已帮助:614人c语言%e的意思是:以指数形式输出实数。指针的值是语言实现(编译程序)相关的,但几乎所有实现中,指针的值都是一个表示地址空间中某个存储器单元的整数。printf函数族中对于%p一般以十六进制整数方式输出指针的值,附加前缀0x。示例:inti=1;printf("%p",&i);相当于inti=1;pr..._c语言%e
文章浏览阅读893次,点赞19次,收藏23次。Android 自定义 Adapter在中我们知道了啥是 Adapter,也知道了 Adapter 的家族体系,也用过了几个Adapter。本篇文章,我们就来自己实现一个 Adapter。要实现自定义的 Adapter,通常继承自 BaseAdapter 类,并重写其中的方法来适配你的数据源。首先,我们要做的就是要了解我们到底要重写哪些方法,因为 BaseAdapter 实现了 ListAdapter 和 SpinnerAdapter 接口,而这两个接口又继承自 Adapter。
文章浏览阅读1.1k次。19年毕业到现在也近4年了,最近面试了阿里集团(菜鸟网络,蚂蚁金服),网易,滴滴,点我达,最终收到点我达,网易offer,蚂蚁金服二面挂掉,菜鸟网络一个月了还在流程中…最终有幸去了网易。但是要特别感谢点我达的领导及HR,真的非常非常好,很感谢他们一直的关照和指导。............_4年java面试题