Если я использую настройку с одним узлом, Hadoopгде у него только один диск, я могу легко использовать его для игры Hadoopи прочее, но будет ли Hadoopв этом случае какая-то польза от использования по сравнению с другой парадигмой (обработка Pythonбез использования mapreduce и т. Д.) .)
2 ответа на вопрос
0
Marek Grzenkowicz
Преимущество Hadoop заключается в том, что он использует распределенную файловую систему (HDFS) и модель распределенного программирования (MapReduce). Обработка не может быть распараллелена в одном узле кластера с одним диском, поэтому - из-за накладных расходов Hadoop - более простые парадигмы, вероятно, будут быстрее.
Даже при использовании полноценного кластера вы не увидите преимущества Hadoop, если набор дат слишком мал или алгоритм не подходит для распределенной обработки (например, поиск медианного значения).
0
NishantM
Hadoop is completely based on Distributed file system(HDFS), and the real power lies here.
But at the same time its important to learn the framework and understand its components. That is the reason Hadoop provides 3 modes of installation.
Answering to your exact question,single disk does not benefit from HDFS part of hadoop. But again it will help in understanding MapReduce Component of Hadoop.
If you have goof configuration system, I would suggest go for Pseudo Cluster setup,having two virtual machine interacting with reach other.