爱意满满的作品展示区。
BeiChuanAlex

[分享脚本] 这是一个可以一键在本地虚拟机中一键创建 Hadoop 集群的脚本

  •  
  •   BeiChuanAlex · Sep 18, 2023 · 2778 views
    This topic created in 985 days ago, the information mentioned may be changed or developed.

    标题:花了一天时间写了个 Hadoop 集群 构建脚本

    痛点:在做大数据开发的时候需要在本地虚拟机中创建 Hadoop 集群测试环境,但是搭建一个 Hadoop 集群并不是很容易,需要配置很多东西,费时费力,有的时候还有可能出现配置错误等情况。

    解决:采用 python 脚本在本地 pycharm 中一键运行脚本,在 3 分钟时间内就可以创建一个集群环境,免去了人工搭建的烦恼。

    使用:

    1.下载脚本

    https://raw.githubusercontent.com/jackhawks/bigdata-dev-helper/main/hadoop_cluster_init_script.py
    

    2.在脚本的同级目录,创建一个名为 packages 的目录

    3.上传 jdk 和 hadoop 包到 packages 目录(因为包过大,所以不能上传到 github )

    jdk-8u212-linux-x64.tar.gz
    hadoop-3.1.3.tar.gz
    

    4.根据自己的虚拟机 dhcp ip 配置 hosts 参数

    5.一键运行

    全自动构建集群环境,三分钟搞定!!!

    Supplement 1  ·  Oct 14, 2023
    仓库改了名字,如有需要请访问以下链接:


    https://github.com/jackhawks/dev-helper
    3 replies    2023-10-14 23:07:35 +08:00
    q11391
        1
    q11391  
       Sep 19, 2023
    已 star
    xyooyx
        2
    xyooyx  
       Oct 14, 2023
    楼主,仓库不见了
    BeiChuanAlex
        3
    BeiChuanAlex  
    OP
       Oct 14, 2023
    @lqw3030

    改了项目名字,用下面这个链接

    https://github.com/jackhawks/dev-helper
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2767 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 02:36 · PVG 10:36 · LAX 19:36 · JFK 22:36
    ♥ Do have faith in what you're doing.