运维

接上一篇《在Windows11上使用WSL安装Hadoop伪分布式》本篇记录下安装Hive的过程。 一、环境 二、 下载Hive 三、部署Hive 1. 解压 创建一个hive的文件夹 2. 配置环境变量 修改为如下内容： 使环境变量生效 ...

最近调试程序，由于各种原因把，不允许开发机器连接Hadoop集群，只能在本机部署了，我使用了Docker和WSL（适用于Linux的Windows子系统）两种方法，经过对比，最终决定用WSL，Docker还不算稳定，动不动就闪退了。 一、环...

今天遇到一个小问题，在安装Python以来的时候，总是提示zsh: pip killed得错误，导致无法正常安装依赖，经过一番搜索发现是内存不足导致的，默认WSL2只有2GB内存，而我经常需要在WSL2中运行一些计算，所以就需要将其设置大一...

使用SSH方式登录Linux操作系统的云服务器时，过一段时间就会自动断开连接。本篇操作介绍如何保持SSH会话持续连接不断开。 配置sshd 可通过修改sshd配置文件来解决自动断开的问题，编辑/etc/ssh/sshd_config文件设置...

1. 前言 通常我一直在虚拟机中安装Hadoop、Hive、Hbase等大数据相关的组件，但随着我的笔记本使用年限越爱越长，性能也下降的很快，已经达到开虚拟机就会开的地步，于是我就考虑直接将Hadoop安装到macOS上，避免了虚拟机对资源...

1. 场景 CDH6.3.4集群，开通了Kerberos认证，在客户端得机器上已经通过了Kerberos得认证并且缓存了票据。 由于是新装的系统，安装了最新的jdk-8u371。 2. 报错 执行hdfs dfs -ls / 命令频繁的打印...

1. 背景 最近服务器升级了CentOS7.9，在重新部署服务后，运行模型训练，提示了如下错误： 2. 解决办法 将系统自带的libsasl2.so.3.0.0 软链到 libsasl2.so.2 再次执行python程序就不会出现这个错误...

1. 背景 最近重新复习下大数据相关的知识，于是就决定在mbp上安装一套大数据服务（Hadoop、Hive、Spark），使用brew比较简单，很容易就安装好了，按时启动的时候出现了如下错误： 根据错误日志，发现是macOS的权限问题，目前...

1. nvm简介 2. 安装nvm 直接下载安装程序安装即可。安装过程中会有两个目录需要选择： 3. 安装node 在运行nvm installor时nvm use，Windows通常需要管理权限（以创建符号链接）。 执行nvm得到一些帮助...

近期换了Win11，发现现在Win下的powershell也可以像macOS的zsh那样，配合iterm2做一番美化，网上搜了很多文章，但是大部分都比较老旧，已经不符合现在版本的安装方式，所以跟着官方文档一步一步走，发现步骤非常简单，并不如...