moneykamik的博客

主站展示位

Spark 各项代码示例kamik的博客

SparkSql向mysql建表 写数据 查询操作 val sparkConf: SparkConf = new SparkConf().setMaster('local[*]').setAppName('wula') val sparkContext = new SparkContext(sparkConf) //设置日志等级 sparkContext.setLogLevel('warn') MySql建表

1 2024-12-14 02:59 查看原文

CDH安装Hadoop权限问题kamik的博客

如遇到put: Permission denied: user=root, access=WRITE, inode='/':hdfs:supergroup:drwxr-xr-x 执行 sudo -u hdfs hadoop fs -mkdir /user/root groupadd supergroup usermod -a -G supergroup root su - hdfs -s /bin/bash -c 'hdfs dfsad

查看原文

通过Python urllib爬取中图网kamik的博客

抱歉，只有登录并在本文发表评论才能阅读隐藏内容

1 2024-08-29 14:06 查看原文

通过Python urllib爬取中图网kamik的博客

抱歉，只有登录并在本文发表评论才能阅读隐藏内容

查看原文

Elasticsearch7.7数据库 集群部署&入门kamik的博客

安装部署 前置需求 JDK6+(被监控的应用程序运行在jdk6及以上版本) JDK8+(SkyWalking collector和WebUI部署在jdk8及以上版本) Elasticsearch 5.x(集群模式或不使用) Zookeeper 3.4.10 被监控应用的宿主服务器系统时间(包含时区)与collectors,UIs部署的宿主服务器时间设置正确且相同

查看原文

HiveSQL 系统内存分配问题处理kamik的博客

[INFO] 2021-04-26 18:18:52.147 - [taskAppld=TASK-51-2469-19327]:[127] - -> Ended Job = job 1619390628176 0017 with errors Error during job, obtaining debugging information. Examining task ID: task 1619390628176_0017_m_00

查看原文

Hadoop Hive 字段类型kamik的博客

Hive 字段类型 分类 类型 描述 字面量示例 原始类型 BOOLEAN true/false TRUE - TINYINT 1字节的有符号整数 -128~127 1Y - SMALLINT 2个字节的有符号整数，-32768~32767 1S - INT 4个字节的带符号整数 1 - BIGINT 8字节带符号整数 1L - FLOAT 4字节单精度浮点数1.0 - DOUBLE 8字节双精度

1 2024-12-15 14:37 查看原文

APIkamik的博客

各位客官点击就知道了！

1 2024-05-25 05:04 查看原文

如何在HP ProLiant DL360 G6组RAIDkamik的博客

方法一： 重启服务器，提示阵列卡时，按 F8 进入阵列卡的配置页面。Create Logical Drive 创建阵列 View Logical Driver 查看阵列 Delete Logical Driver 删除阵列 Select as Boot Controller 将阵列卡设置为机器的第一个引导设备 进入'Create Logical Drive'的界面,可以看到4部分的信息 ①Available Physical Dri

1 2024-04-27 14:17 查看原文

在hadoop集群中服役新节点kamik的博客

环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 node03 192.168.100.104 node04 四台Vmware Workstatuin中搭建的centos6.9主机，hadoop版本为2.6.0 前置准备说明 准备台新的节点node04，配置好ssh免密登录,JDK环境,防火墙配置,SELINUX关闭，将Hadoop文件拷贝到node04

查看原文

基于 Numba 的 CUDA Python 编程简介【加速计算基础——CUDA Python】kamik的博客

摘要使用 Numba 从NumPy ufuncs 编译 CUDA 核函数 使用 Numba 创建和启动自定义 CUDA 核函数 应用关键的GPU内存管理技术 基于 Numba 的 CUDA Python 编程简介**[CUDA](]

查看原文

MapReduce高级案例⑦kamik的博客

小文件处理（自定义InputFormat） 需求分析 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。将多个小文件合并成一个文件SequenceFile，SequenceFile里面存储着多个文件，存储的形式为文件路径+名称为key，文件内容为value。 小文件的优化无非以下几种方式： （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS （

查看原文

IntelliJ IDEA 快捷键合集kamik的博客

1. 编辑类快捷键 编辑类快捷键 介绍 psvm + Tab 生成main方法 sout + tab 生成输出语句 Ctrl+X / Ctrl + Y 删除一行 Ctrl+D 复制一行 Ctrl+/ 或 Ctrl+Shift+/ 注释代码 Ctrl + Z 撤销 Ctrl + Shift + Z 取消撤销 Ctrl + C 复制 Ctrl + V 粘贴 Ctrl + O 重写方法

查看原文

Springkamik的博客

各位客官点击就知道了！

查看原文

Kerberos入坑指南kamik的博客

抱歉，只有登录并在本文发表评论才能阅读隐藏内容

查看原文

Kafka Receiver错误 java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to executekamik的博客

20/04/15 21:46:25 WARN KafkaUtils: overriding receive.buffer.bytes to 65536 see KAFKA-3135 org.apache.spark.streaming.kafka010.DirectKafkaInputDStream@108531c2 20/04/15 21:46:25 ERROR StreamingContext: Error starting the

1 2024-12-21 11:28 查看原文

神经网络入门《Deep Learning with Python》kamik的博客

神经网络剖析 训练神经网络主要围绕以下四个方面。 ‰ 层，多个层组合成网络（或模型）。 ‰ 输入数据和相应的目标。 ‰ 损失函数，即用于学习的反馈信号。 ‰ 优化器，决定学习过程如何进行。 将这四者的关系可视化，如下图所示：多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。 层：深度学习的基础组件 神经网

查看原文

支持向量机SVM简介kamik的博客

抱歉，只有登录并在本文发表评论才能阅读隐藏内容

1 2024-04-24 04:14 查看原文

在Centos8下安装Dockerkamik的博客

系统版本 [root@iZzmul0jih2lenZ ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 8.1.1911 (Core) Release: 8.1.1911 Codename: Core 安装

1 2024-12-21 13:35 查看原文

Spring SSM阶段常见注解kamik的博客

@Configuration 声明 一个类 是 配置类 @Bean 通常用在方法上面 目的是把这个方法返回的对象 存入到 IOC容器中 @Resource 把IOC中的对象 注入到指定的变量 . 建议使用 @Resource 因为是JDK 自带的 @Autowired 作用跟@Resource作用是相同的 都是 把IOC容器中 的对象注入的指定的变量中 Spring框架带的. @Resource(name='aaaa') 相当于 @A

1 2024-04-27 17:25 查看原文