Новые вопросы с тегом «hadoop»
Всего найдено 71 вопрос
0
голосов
0
ответов
538
просмотров
Настройка HortonWorks HDP с использованием мостовой сети на VirtualBox
Извините, если я пишу в неправильном месте. Я пытаюсь получить доступ к Hortonworks HDP из другой системы, используя SSH в той же сети. Для этого я настроил сеть virtualBox, используя NAT и Bridged, как здесь: Я решил включить оба сетевых адаптера. Я могу получить доступ ко всему кластеру из систе...
спросил user10061588 5 лет назад
-1
голосов
0
ответов
250
просмотров
Не могу получить Hadoop Datanode, но не показала никакой ошибки. Поэтому не могу знать, что является источником ошибки
У меня вопрос. В настоящее время я беру проект по созданию управления данными. Я уже подключил мастер ip и slave1 ip друг к другу. Затем я сделал ключи ssh и скопировал. Я не думаю, что у меня есть какие-либо ошибки в сети. Далее я попытался использовать hadoop следующим образом. hdfs namenode -f...
спросил Myeongjang JO 5 лет назад
-1
голосов
0
ответов
279
просмотров
Можно ли установить на Cygwin Hadoop-клиент?
У моего работодателя есть кластер Hadoop на базе Linux, и я хочу подключить Windows-компьютер к кластеру в качестве EdgeNode (шлюза). Я понимаю, что эта смешанная установка возможна через Cygwin64. Это правильно? Кто-нибудь сделал это успешно? Если так, где я могу найти инструкции?
спросил user169954 5 лет назад
0
голосов
1
ответ
265
просмотров
Ошибка Yum в Cent OS 7 Server
Я сталкиваюсь с следующей ошибкой при использовании yum. yum repolist Loaded plugins: fastestmirror File contains no section headers. file: file:///etc/yum.repos.d/ambari.repo, line: 1 '<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">\n' Я проверил e...
спросил Neville 5 лет назад
0
голосов
1
ответ
332
просмотра
Могу ли я создать кластер Hadoop 2 с двумя узлами на двух разных виртуальных ящиках на двух разных ноутбуках в одной сети?
Итак, у меня есть два ноутбука с VirtualBox, оба работают под управлением Ubuntu 18.4, и я пытаюсь настроить кластер Hadoop 2. Один VB, чтобы быть хозяином, и один VB, чтобы быть рабом, возможно и как? Потому что все учебные пособия, которые я нашел, были для главного и подчиненного на том же ноутбу...
спросил anagardastro 5 лет назад
2
голосов
0
ответов
414
просмотров
Можете ли вы подключить два GNOME-бокса через ssh?
Я пытаюсь настроить кластер Hadoop с двумя узлами, используя два ноутбука с GNOME-боксами, оба работают под управлением Ubuntu 17.10. Оба ноутбука подключены к одному и тому же Wi-Fi, но только GNOME-боксы не подключены к Wi-Fi. Мне нужен кто-то, чтобы объяснить мне сетевые концепции того, что я пыт...
спросил anagardastro 5 лет назад
0
голосов
0
ответов
246
просмотров
Восстановить метаданные hdfs
У меня есть один узел сервера HDFS. Я случайно запустил следующую команду:, hadoop namenode -formatкоторая удалила содержимое namenode. Данные датодателя по-прежнему хранятся в формате hdf (размер диска не изменился), но в файле hdf больше не отображаются файлы. Есть ли способ восстановить наменод и...
спросил Nvn 5 лет назад
0
голосов
0
ответов
450
просмотров
Apache nifi - системная ошибка: «Запрос содержал недопустимый заголовок узла [localhost: 8080]»
Я использую Apache nifi в своей системе в фоновом режиме. При доступе к нему в моем браузере через этот URL: http://localhost:8080/nifi Я получаю эту ошибку: System Error : The request contained an invalid host header [localhost:8080] in the request [/nifi-api/site-to-site/peers]. Check for reques...
спросил Kshitiz Katiyar 5 лет назад
0
голосов
0
ответов
254
просмотра
Reg-exp для чтения файла журнала weblogic
Пример записи моего файла журнала weblogic приведен ниже. Я ищу регулярное выражение, которое может прочитать этот файл, и затем я могу создать внешнюю таблицу улья с именем SerDe с регулярным выражением, пожалуйста, кто-нибудь может помочь с этим ####<03-Apr-2018, 7:06:05,564 PM BST> <Debu...
спросил Swastik 5 лет назад
1
голосов
0
ответов
565
просмотров
В чем разница между безголовыми, служебными и пользовательскими клавишами Kerberos
Я часто работаю с кластерами Kerberised Hadoop, и мне приходится использовать различные наборы клавиш, такие как: hbase.headless.keytab hbase.service.keytab devuser.keytab Мне не совсем ясно, какова цель каждого из них, и это не совсем задокументировано в Интернете. Может кто-нибудь объяснить, в че...
спросил Ben Watson 5 лет назад
0
голосов
0
ответов
270
просмотров
Hadoop на окнах подключения к Hadoop на VirtualBox
Я использую Apache BigTop на VirtualBox, и я хотел бы разработать и подключиться из Windows 10. Я перепробовал несколько конфигураций, но не получил «100%» того, что хотел бы сделать. Есть правильная конфигурация или очевидная проблема с тем, что я пытаюсь? Свойство core-site.xml hdfs.defaultFS для...
спросил K.Nicholas 5 лет назад
0
голосов
0
ответов
387
просмотров
Как редактировать группу HDFS?
У меня есть отдельный кластер для практических целей. Я попытался добавить пользователя root в группу hdfs, войдя в систему как пользователь HDFS. Команда, которую я использовал: hdfs dfs -chown -R root:hdfs / Теперь я могу получить доступ к командам hdfs dfs как root. Но я не знаю, как удалить r...
спросил Abhinav 6 лет назад
0
голосов
0
ответов
303
просмотра
Разница между пользователем Root на клиенте SSH и пользователем Root при входе в песочницу HDP
Поэтому я использую Hortonworks Sandbox 2.5 через виртуальную коробку, и вот мой простой запрос. Я могу войти в свою учетную запись, используя программное обеспечение SSH, называемое putty, и используя имя пользователя maria_dev. Я тогда набираюsu - для доступа к учетной записи root. Кроме того, я м...
спросил Anwesh Mohapatra 6 лет назад
0
голосов
0
ответов
333
просмотра
Как запустить простые веб-страницы из песочницы Hortonworks?
Я хотел бы запустить простую веб-страницу из песочницы Hortonworks 2.6, работающей на VmWare. Ничего особенного, просто страница прототипа, чтобы проверить некоторые основы. Я нашел этот рецепт, но получаю сообщение об отказе в соединении. Я могу получить доступ к Ambari, и все службы Hadoop работаю...
спросил Leo 6 лет назад
-1
голосов
1
ответ
375
просмотров
Замазка Загрузка предыдущего экземпляра Несмотря на то, что я загружаю правильный файл .ppk
Я пытаюсь подключиться к облачному терминалу Google Centos, используя внешний IP-адрес и файл .ppk, но замазка получает предыдущий загруженный IP-адрес с терминала AWS centos, и я загрузил правильный файл .ppk Пожалуйста, обратитесь к скриншоту ниже.
спросил Eresh 6 лет назад
0
голосов
0
ответов
335
просмотров
spark.dynamicAllocation + настройка параметров искры в соответствии с кластером ambari
мы хотим найти значения для следующих параметров искры в соответствии с входными данными, такими как память на машине с датоде, CPU CORE на машине с узлом данных, номера машины с датодой и т. д., spark.dynamicAllocation.initialExecutors = ? spark.dynamicAllocation.minExecutors = ? spark.dynamicAlloc...
спросил enodmilvado 6 лет назад
0
голосов
0
ответов
319
просмотров
Hadoop: настройка кластера с одним узлом
Я новичок в ubuntu (отказ от ответственности). Работаю над настройкой кластера с одним узлом Hadoop, следуя инструкциям на https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html. Я постоянно сталкиваюсь с ошибкой: / usr / java / latest / bin / java: Нет такого фай...
спросил Pavan 6 лет назад
0
голосов
0
ответов
245
просмотров
Кластер ambari + как определить RAID на разделах машинного мастера
Мы хотим определить конфигурацию RAID на наших компьютерах-мастерах (определенную настройку зеркала диска) У нас есть 3 машины-мастера (в то время как на машине master02 установлен ambari-сервер), на каждой мастер-машине есть 3 раздела. один раздел для hadoop один раздел для зоопарка один раздел для...
спросил King David 6 лет назад
1
голосов
0
ответов
454
просмотра
Лучшие практики для передачи данных между кластерами Hadoop
Ситуация: мне нужно перенести около 100 ТБ из старого кластера Hadoop в новый кластер Hadoop. Два кластера имеют прямое соединение 1GbE от namenode на каждом кластере. Датододы не связаны. Что я пробовал: Distcp: это не работает, потому что старые и новые датододы не подключены, он будет сообщать о...
спросил tbenz9 6 лет назад
0
голосов
1
ответ
310
просмотров
HDOD датоде использовать все доступное пространство
У меня есть жесткий диск емкостью 1 ТБ (931 ГБ), который я выделил для HDFS. Я монтирую его в / hdfs. Вот мой hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name....
спросил Dan Jenson 6 лет назад
-1
голосов
1
ответ
310
просмотров
Криптография на эллиптических кривых в Hadoop
Использует ли распределенная файловая система Hadoop криптографию с эллиптической кривой где-либо для защиты своих данных? Если нет, какой метод используется для обеспечения доступа к данным?
спросил Aman 7 лет назад
3
голосов
4
ответа
918
просмотров
Почему Hadoop не является хранилищем данных?
Каковы функциональные причины, по которым Hadoop не может быть хранилищем данных На нескольких сайтах можно увидеть заявления о том, что кластер Hadoop не является заменой традиционного хранилища данных. Однако я не могу найти реальные причины, почему. Я знаю, что технически есть некоторые вещи, кот...
спросил Dennis Jaheruddin 7 лет назад
13
голосов
2
ответа
16894
просмотра
7Zip Невозможно создать символическую ссылку, доступ запрещен для libhdfs.so и libhadoop.so
Я работаю на Windows 10 и пытаюсь установить Hadoop Я скачал это отсюда . При попытке извлечь Hadoop для файлов ( libhdfs.soи libhadoop.so) я получаю сообщение об ошибке. Cannot create symbolic link : Access is denied Как это исправить?
спросил Matas Vaitkevicius 7 лет назад
0
голосов
1
ответ
1968
просмотров
В Linux отказано в разрешении SSH с использованием ключей
Я новичок в hadoop, и я пытаюсь настроить кластер hadoop в режиме полного распространения. Мой хозяин - Windows, а мой ведомый компьютер - Linux, работающий на ВМ. Я создал ключи SSH и в Windows, и в Linux и скопировал открытый ключ со своего главного компьютера Windows на подчиненный компьютер Linu...
спросил Sriram Chandramouli 8 лет назад
0
голосов
1
ответ
393
просмотра
Копировать файлы, указанные в списке, один за другим только после завершения
У меня есть список имен файлов в текстовом файле, files.txtкоторые перечислены один за другим в следующей строке, т.е. file1.txt file2.txt file3.txt file4.txt ... ... ... Я должен выполнить следующую команду для каждого файла. hadoop fs -cp /tmp/FILENAME /folder/ Команда копирования следующего файл...
спросил Shahrukh Khan 8 лет назад
0
голосов
2
ответа
346
просмотров
Получит ли Hadoop пользу только от одного диска?
Если я использую настройку с одним узлом, Hadoopгде у него только один диск, я могу легко использовать его для игры Hadoopи прочее, но будет ли Hadoopв этом случае какая-то польза от использования по сравнению с другой парадигмой (обработка Pythonбез использования mapreduce и т. Д.) .)
спросил drjrm3 8 лет назад
2
голосов
2
ответа
3686
просмотров
Откройте eclipse с пользователем Linux, у которого нет графического окружения (созданного из консоли)
Я создал пользователя из консоли в моем Ubuntu Destkop 14.04 LTS, выполнив это: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser Я использовал этого пользователя для всякого рода вещей, потому что я использую его для выполнения каких-то программных вещей, связанных с hadoop, поэтому я знаю...
спросил chomp 8 лет назад
1
голосов
0
ответов
917
просмотров
Как определить, какой диск (том) выходит из строя?
Я использую стандартный Apache Hadoop 1.1.1, и я не могу запустить датоду из-за: 2015-04-23 09:12:48,138 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2015-04-23 09:12:48,152 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for...
спросил drjrm3 8 лет назад
0
голосов
1
ответ
289
просмотров
Выходные данные Hadoop во время выполнения - какое это число сразу после отметки времени
Когда Hadoop запускается, он выдает сообщения, которые мы все видели много раз. Например: 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration - dfs.data.dir is deprecated. Instead, use dfs.datanode.data.dir 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration...
спросил James Madison 9 лет назад
0
голосов
1
ответ
6396
просмотров
ОШИБКА: Невозможно получить мастер-адрес от зоопарка; данные znode == ноль
У меня two linuxмашина одна есть, master machine(192.168.8.174)а другая есть slave1 machine(192.168.8.173). Я успешно установил и настроил Hadoop 2.6.0полностью распределенный режим. Выход Hadoop также идет отлично. Я установил и настроил HBase 1.0.i использовал hbase default zookeeper.i. didn't ins...
спросил user430092 9 лет назад