ຄໍາຖາມເລື້ອຍໆ: ຂ້ອຍຈະດໍາເນີນການ Hadoop ໃນ Windows 10 ໄດ້ແນວໃດ?

Hadoop ສາມາດແລ່ນໃນ Windows 10 ໄດ້ບໍ?

ການຕິດຕັ້ງ Hadoop ໃນ Windows 10

ທ່ານສາມາດຕິດຕັ້ງ Hadoop ໃນລະບົບຂອງທ່ານເຊັ່ນດຽວກັນເຊິ່ງຈະເປັນວິທີທີ່ເປັນໄປໄດ້ໃນການຮຽນຮູ້ Hadoop. ພວກເຮົາຈະຕິດຕັ້ງກຸ່ມ hadoop pseudo-distributed single node ຢູ່ໃນ windows 10. ເງື່ອນໄຂເບື້ອງຕົ້ນ: ເພື່ອຕິດຕັ້ງ Hadoop, ທ່ານຄວນມີ Java version 1.8 ໃນລະບົບຂອງທ່ານ.

ຂ້ອຍຈະແລ່ນ Hadoop ໃນ Windows ໄດ້ແນວໃດ?

  1. ຕິດຕັ້ງ Apache Hadoop 2.2. 0 ໃນ Microsoft Windows OS. …
  2. ເລີ່ມ HDFS (Namenode ແລະ Datanode) ແລະ YARN (ຜູ້ຈັດການຊັບພະຍາກອນແລະ Node Manager) ດໍາເນີນການຄໍາສັ່ງຕໍ່ໄປນີ້. …
  3. ແລ່ນ wordcount MapReduce ວຽກ. ຕອນນີ້ພວກເຮົາຈະດໍາເນີນການ wordcount MapReduce ທີ່ມີຢູ່ໃນ %HADOOP_HOME%sharehadoopmapreducehadoop-mapreduce-examples-2.2.0.jar.

3 февр. ປີ 2014.

ຂ້ອຍສາມາດແລ່ນ Hadoop ໃນ Windows ໄດ້ບໍ?

ທ່ານຈະຕ້ອງການຊອບແວຕໍ່ໄປນີ້ເພື່ອດໍາເນີນການ Hadoop ໃນ Windows. ຮອງຮັບ Windows OSs: Hadoop ຮອງຮັບ Windows Server 2008 ແລະ Windows Server 2008 R2, Windows Vista ແລະ Windows 7. … ດັ່ງທີ່ Hadoop ຖືກຂຽນໄວ້ໃນ Java, ພວກເຮົາຈະຕ້ອງຕິດຕັ້ງ Oracle JDK 1.6 ຫຼືສູງກວ່າ.

ຂ້ອຍຈະຕິດຕັ້ງ Hadoop ໃນ Windows 10 ໄດ້ແນວໃດ?

ໃນປັດຈຸບັນພວກເຮົາຈະເລີ່ມຕົ້ນຂະບວນການຕິດຕັ້ງ.

  1. ຂັ້ນ​ຕອນ​ທີ 1 – ດາວ​ນ​໌​ໂຫລດ​ຊຸດ Hadoop binary​. …
  2. ຂັ້ນ​ຕອນ​ທີ 2 – ປົດ​ຫຸ້ມ​ຫໍ່​. …
  3. ຂັ້ນ​ຕອນ​ທີ 3 - ຕິດ​ຕັ້ງ Hadoop native IO binary​. …
  4. ຂັ້ນຕອນທີ 4 – (ທາງເລືອກ) ການຕິດຕັ້ງ Java JDK. …
  5. ຂັ້ນຕອນທີ 5 - ຕັ້ງຄ່າຕົວແປສະພາບແວດລ້ອມ. …
  6. ຂັ້ນຕອນທີ 6 - ຕັ້ງຄ່າ Hadoop. …
  7. ຂັ້ນ​ຕອນ​ທີ 7 - ເລີ່ມ​ຕົ້ນ HDFS ແລະ​ການ​ແກ້​ໄຂ bug​.

18 ມັງກອນ. ປີ 2020

ຂ້ອຍສາມາດເອີ້ນໃຊ້ Hadoop ໃນແລັບທັອບຂອງຂ້ອຍໄດ້ບໍ?

ນີ້ແມ່ນສິ່ງທີ່ຂ້ອຍໄດ້ຮຽນຮູ້ໃນອາທິດທີ່ຜ່ານມາກ່ຽວກັບການຕິດຕັ້ງ Hadoop: Hadoop ເບິ່ງຄືວ່າເປັນເລື່ອງໃຫຍ່ທີ່ມີຂະບວນການຕິດຕັ້ງທີ່ສັບສົນ, ຫຼາຍໆກຸ່ມ, ຫຼາຍຮ້ອຍເຄື່ອງ, terabytes (ຖ້າບໍ່ແມ່ນ petabytes) ຂອງຂໍ້ມູນ, ແລະອື່ນໆ. ແຕ່ຕົວຈິງແລ້ວ, ທ່ານສາມາດດາວໂຫລດໄດ້. JAR ງ່າຍ​ດາຍ​ແລະ​ດໍາ​ເນີນ​ການ Hadoop ກັບ HDFS ໃນ​ຄອມ​ພິວ​ເຕີ​ຂອງ​ທ່ານ​ສໍາ​ລັບ​ການ​ປະ​ຕິ​ບັດ​.

ຂ້ອຍຈະຮູ້ໄດ້ແນວໃດວ່າ Hadoop ຖືກຕິດຕັ້ງຢູ່ໃນ Windows?

ເພື່ອກວດເບິ່ງ Hadoop daemons ເຮັດວຽກຫຼືບໍ່, ສິ່ງທີ່ທ່ານສາມາດເຮັດໄດ້ແມ່ນພຽງແຕ່ດໍາເນີນການຄໍາສັ່ງ jps ໃນ shell. ທ່ານພຽງແຕ່ຕ້ອງພິມ 'jps' (ໃຫ້ແນ່ໃຈວ່າ JDK ຖືກຕິດຕັ້ງຢູ່ໃນລະບົບຂອງທ່ານ). ມັນລາຍຊື່ຂະບວນການ java ທັງຫມົດທີ່ແລ່ນແລະຈະລາຍຊື່ Hadoop daemons ທີ່ກໍາລັງແລ່ນ.

ຂ້ອຍຈະເລີ່ມ Hadoop ໄດ້ແນວໃດ?

ດໍາເນີນການຄໍາສັ່ງ %$HADOOP_INSTALL/hadoop/bin/start-dfs.sh ໃນ node ທີ່ທ່ານຕ້ອງການໃຫ້ Namenode ດໍາເນີນການ. ນີ້ຈະນໍາເອົາ HDFS ກັບ Namenode ແລ່ນຢູ່ໃນເຄື່ອງທີ່ທ່ານແລ່ນຄໍາສັ່ງແລະ Datanodes ຢູ່ໃນເຄື່ອງທີ່ມີລາຍຊື່ຢູ່ໃນໄຟລ໌ slaves ທີ່ໄດ້ກ່າວມາຂ້າງເທິງ.

ຂ້ອຍຈະດໍາເນີນໂຄງການ MapReduce ໃນ Windows ໄດ້ແນວໃດ?

ແລ່ນແຜນທີ່ຫຼຸດວຽກໃນ Windows (ແລັບທັອບສ່ວນຕົວ)

  1. ຕິດຕັ້ງ hadoop-common-2.2. 0-bin-master (ຫຼາຍບ່ອນເກັບມ້ຽນ GitHub ເປັນເຈົ້າພາບລະຫັດແຫຼ່ງສໍາລັບຊອບແວນີ້).
  2. ຕັ້ງ HADOOP_HOME ເປັນຕົວແປສະພາບແວດລ້ອມທີ່ຊີ້ໄປຫາສະຖານທີ່ຂອງໂຟນເດີນີ້.
  3. ເພີ່ມ %HADOOP_HOME%bin ໃສ່ຕົວແປສະພາບແວດລ້ອມ PATH.
  4. ເພີ່ມການຂຶ້ນກັບ Maven ຕໍ່ໄປນີ້ໃສ່ລະຫັດຂອງທ່ານ:

ຂ້ອຍຈະດາວໂຫລດແລະຕິດຕັ້ງ Hadoop ໄດ້ແນວໃດ?

ຕິດຕັ້ງ Hadoop

  1. ຂັ້ນຕອນທີ 1: ຄລິກທີ່ນີ້ເພື່ອດາວໂຫລດຊຸດ Java 8. …
  2. ຂັ້ນຕອນທີ 2: ສະກັດໄຟລ໌ Java Tar. …
  3. ຂັ້ນຕອນທີ 3: ດາວນ໌ໂຫລດຊຸດ Hadoop 2.7.3. …
  4. ຂັ້ນຕອນທີ 4: ສະກັດໄຟລ໌ Hadoop tar. …
  5. ຂັ້ນຕອນທີ 5: ເພີ່ມເສັ້ນທາງ Hadoop ແລະ Java ໃນໄຟລ໌ bash (. …
  6. ຂັ້ນຕອນທີ 6: ແກ້ໄຂໄຟລ໌ການຕັ້ງຄ່າ Hadoop. …
  7. ຂັ້ນຕອນທີ 7: ເປີດ core-site. …
  8. ຂັ້ນຕອນທີ 8: ແກ້ໄຂ hdfs-site.

Hadoop ຕ້ອງການລະຫັດບໍ?

ເຖິງແມ່ນວ່າ Hadoop ເປັນກອບຊອບແວ open-source ທີ່ເຂົ້າລະຫັດ Java ສໍາລັບການເກັບຮັກສາແຈກຢາຍແລະການປຸງແຕ່ງຂໍ້ມູນຈໍານວນຫລາຍ, Hadoop ບໍ່ຕ້ອງການລະຫັດຫຼາຍ. … ທັງໝົດທີ່ທ່ານຕ້ອງເຮັດຄືການລົງທະບຽນໃນຫຼັກສູດການຢັ້ງຢືນ Hadoop ແລະຮຽນຮູ້ Pig and Hive, ທັງສອງອັນນີ້ຕ້ອງການຄວາມເຂົ້າໃຈຂັ້ນພື້ນຖານຂອງ SQL ເທົ່ານັ້ນ.

Hadoop ສາມາດແລ່ນໃນ RAM 4GB ໄດ້ບໍ?

ເງື່ອນໄຂເບື້ອງຕົ້ນໃນການຕິດຕັ້ງ Hadoop ໃນ Ubuntu

ຄວາມຕ້ອງການຮາດແວ - ເຄື່ອງຕ້ອງມີ RAM 4GB ແລະຮາດດິດຂັ້ນຕ່ໍາ 60 GB ສໍາລັບການປະຕິບັດທີ່ດີກວ່າ. ກວດເບິ່ງເວີຊັນ java- ມັນແນະນໍາໃຫ້ຕິດຕັ້ງ Oracle Java 8.

ຕ້ອງການ RAM ເທົ່າໃດສໍາລັບ Hadoop?

ຄຳແນະນຳຮາດແວ Hadoop Cluster

ອຸປະກອນ ການນຳໃຊ້ Sandbox ການນຳໃຊ້ພື້ນຖານ ຫຼືມາດຕະຖານ
ຄວາມໄວຂອງ CPU 2-2.5 GHz 2-2.5 GHz
ຫຼັກ CPU ຕາມເຫດຜົນ ຫຼື virtual 16 24 - 32
ຫນ່ວຍຄວາມຈໍາຂອງລະບົບທັງຫມົດ 16 GB 64 GB
ພື້ນທີ່ດິດໃນເຄື່ອງສຳລັບ yarn.nodemanager.local-dirs 1 256 GB 500 GB

ຄໍາຖາມສໍາພາດ Hadoop ແມ່ນຫຍັງ?

Hadoop ຄໍາຖາມສໍາພາດ

  • ການແຈກຢາຍສະເພາະຂອງຜູ້ຂາຍທີ່ແຕກຕ່າງກັນຂອງ Hadoop ແມ່ນຫຍັງ? …
  • ໄຟລ໌ການຕັ້ງຄ່າ Hadoop ທີ່ແຕກຕ່າງກັນແມ່ນຫຍັງ? …
  • ສາມໂຫມດທີ່ Hadoop ສາມາດແລ່ນໄດ້ແມ່ນຫຍັງ? …
  • ຄວາມແຕກຕ່າງລະຫວ່າງ FileSystem ແລະ HDFS ປົກກະຕິແມ່ນຫຍັງ? …
  • ເປັນຫຍັງ HDFS ຈຶ່ງມີຄວາມຜິດ? …
  • ອະທິບາຍສະຖາປັດຕະຍະກໍາຂອງ HDFS.

ຂ້ອຍຈະດາວໂຫລດ Java ໃນຄອມພິວເຕີ Windows 10 ຂອງຂ້ອຍໄດ້ແນວໃດ?

ຕິດຕັ້ງ Java ໃນ Internet Explorer

  1. ເປີດໄອຄອນ Internet Explorer ແລະໄປທີ່ Java.com.
  2. ເລືອກປຸ່ມດາວໂຫຼດ Java ຟຣີ, ແລະຫຼັງຈາກນັ້ນເລືອກ ຕົກລົງ ແລະເລີ່ມຕົ້ນການດາວໂຫຼດຟຣີ. …
  3. ໃນແຖບການແຈ້ງເຕືອນ, ເລືອກ Run. …
  4. ເລືອກຕິດຕັ້ງ> ປິດ.
  5. ຖ້າທ່ານມີບັນຫາໃນການຕິດຕັ້ງຫຼືໃຊ້ Java, ໃຫ້ຊອກຫາ ຄຳ ຕອບຢູ່ໃນ Java Help Center.

Hadoop ແມ່ນບໍ່ເສຍຄ່າບໍ?

ແຜນການລາຄາ Apache Hadoop:

Apache Hadoop ຖືກຈັດສົ່ງໂດຍອີງໃສ່ Apache License, ໃບອະນຸຍາດຊອບແວທີ່ບໍ່ເສຍຄ່າແລະເສລີທີ່ອະນຸຍາດໃຫ້ທ່ານໃຊ້, ແກ້ໄຂ, ແລະແບ່ງປັນຜະລິດຕະພັນຊອບແວ Apache ສໍາລັບຈຸດປະສົງສ່ວນບຸກຄົນ, ການຄົ້ນຄວ້າ, ການຜະລິດ, ການຄ້າ, ຫຼືແຫຼ່ງເປີດໂດຍບໍ່ເສຍຄ່າ.

ມັກໂພສນີ້ບໍ່? ກະລຸນາແບ່ງປັນໃຫ້ ໝູ່ ເພື່ອນຂອງທ່ານ:
OS ມື້ນີ້