Не могу получить Hadoop Datanode, но не показала никакой ошибки. Поэтому не могу знать, что является источником ошибки
251
Myeongjang JO
У меня вопрос. В настоящее время я беру проект по созданию управления данными.
Я уже подключил мастер ip и slave1 ip друг к другу. Затем я сделал ключи ssh и скопировал.
Я не думаю, что у меня есть какие-либо ошибки в сети.
Далее я попытался использовать hadoop следующим образом.
hdfs namenode -format
и я получил предупреждение, указывающее
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Хотя я получил предупреждающий знак, я не думаю, что это проблема. Тем не менее, я не могу получить datanode после запуска start-dfs.sh и start-yarn даже без каких-либо проблем
[Проблема]
[hduser@master hadoop]$ jps 3877 SecondaryNameNode 4053 ResourceManager 5166 Jps 3647 NameNode [hduser@slave1 ~]$ jps 4423 Jps
Может кто-нибудь сказать мне, почему я получаю эту проблему?
[запустить start-dfs и пряжу]
[hduser@master hadoop]$ start-dfs.sh 18/11/16 13:49:46 WARN util.NativeCodeLoader: Unable to load native- hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [master] master: namenode running as process 3647. Stop it first. slave1: starting datanode, logging to /home/hduser/hadoop/logs/hadoop- hduser-datanode-slave1.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: secondarynamenode running as process 3877. Stop it first. 18/11/16 13:49:56 WARN util.NativeCodeLoader: Unable to load native- hadoop library for your platform... using builtin-java classes where applicable [hduser@master hadoop]$ start-yarn.sh starting yarn daemons resourcemanager running as process 4053. Stop it first. slave1: starting nodemanager, logging to /home/hduser/hadoop- 2.9.1/logs/yarn-hduser-nodemanager-slave1.out
Hadoop настроить я получаю, как показано ниже:
[Yarn_site.xml]
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> </configuration>
[Mapred_site.xml]
<!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapreduce.jobtracker.address</name> <value>master:54311</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
[Core_site.xml]
<!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
[Hdfs_site.xml]
<configuration> <property> <name>dfs.data.dir</name> <value>/opt/dfs/datanode</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/dfs/namenode</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
0 ответов на вопрос
Похожие вопросы
-
1
MapReduce и Hadoop: какие проблемы они хорошо решают?
-
1
Запуск Hadoop в Windows 8
-
1
Измените LD_LIBRARY_PATH и CLASSPATH на узле кластера перед запуском задания hadoop
-
-
1
Ошибка при запуске CYGWin SSH-демона в Windows 7 Home Edition
-
1
JAVA_HOME установлен неправильно
-
1
Конфигурирование результатов hadoop в "/ bin / java: нет такого файла или каталога"
-
0
IDE в сравнении с диском SCSI при запуске Cloudera Hadoop VMWare CDH 4.2.0
-
1
Установка Hadoop на Ubuntu
-
1
Как я могу получить доступ к веб-интерфейсу ganglia с помощью ssh-туннелирования для наблюдения за м...
-
2
Установка имени хоста как IP в Linux для виртуальной машины Hadoop