Не могу получить Hadoop Datanode, но не показала никакой ошибки. Поэтому не могу знать, что является источником ошибки

251
Myeongjang JO

У меня вопрос. В настоящее время я беру проект по созданию управления данными.

Я уже подключил мастер ip и slave1 ip друг к другу. Затем я сделал ключи ssh и скопировал.

Я не думаю, что у меня есть какие-либо ошибки в сети.

Далее я попытался использовать hadoop следующим образом.

 hdfs namenode -format 

и я получил предупреждение, указывающее

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

Хотя я получил предупреждающий знак, я не думаю, что это проблема. Тем не менее, я не могу получить datanode после запуска start-dfs.sh и start-yarn даже без каких-либо проблем

[Проблема]

 [hduser@master hadoop]$ jps 3877 SecondaryNameNode 4053 ResourceManager 5166 Jps 3647 NameNode  [hduser@slave1 ~]$ jps 4423 Jps 

Может кто-нибудь сказать мне, почему я получаю эту проблему?

[запустить start-dfs и пряжу]

 [hduser@master hadoop]$ start-dfs.sh 18/11/16 13:49:46 WARN util.NativeCodeLoader: Unable to load native-  hadoop library for your platform... using builtin-java classes where  applicable Starting namenodes on [master] master: namenode running as process 3647. Stop it first. slave1: starting datanode, logging to /home/hduser/hadoop/logs/hadoop-  hduser-datanode-slave1.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: secondarynamenode running as process 3877. Stop it first. 18/11/16 13:49:56 WARN util.NativeCodeLoader: Unable to load native-  hadoop library for your platform... using builtin-java classes where  applicable [hduser@master hadoop]$ start-yarn.sh starting yarn daemons resourcemanager running as process 4053. Stop it first. slave1: starting nodemanager, logging to /home/hduser/hadoop-  2.9.1/logs/yarn-hduser-nodemanager-slave1.out 

Hadoop настроить я получаю, как показано ниже:

[Yarn_site.xml]

 <configuration>  <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>  </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value>  </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value>  </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value>  </property>  </configuration> 

[Mapred_site.xml]

 <!-- Put site-specific property overrides in this file. -->  <configuration> <property> <name>mapreduce.jobtracker.address</name> <value>master:54311</value>  </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value>  </property> </configuration> 

[Core_site.xml]

 <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 

[Hdfs_site.xml]

 <configuration> <property> <name>dfs.data.dir</name> <value>/opt/dfs/datanode</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/dfs/namenode</value>  </property> <property> <name>dfs.replication</name> <value>1</value>  </property>  </configuration> 
-1

0 ответов на вопрос