https://q2.qlogo.cn/headimg_dl?dst_uin=1057372918&spec=100

kamisamak'BLOG

0.0

给kamisamak'BLOG打分

start start start start start

感谢您打了2

详情

全站展示位

MapReduce高级案例①①kamik的博客

WordCount案例 数据 hello world dog fish hadoop spark hello world dog fish hadoop spark hello world dog fish hadoop spark 统计一堆文件中单词出现的个数(WordCount案例) 在一堆给定的文本文件中统计输出每一个单词出现的总次数 ruaDriver package com.kami.demo04; import o。。。

推荐

概率论与数理统计资料分享kamik的博客

抱歉,只有登录并在本文发表评论才能阅读隐藏内容

Java内存结构kamik的博客

在 Java 虚拟机规范中,定义了五种运行时数据区,分别是 Java 堆、方法区、虚拟机栈、本地方法区、程序计数器 抱歉,只有登录并在本文发表评论才能阅读隐藏内容 堆内存 堆是OOM故障最主要的发生区域,Java 堆是所有线程共享的,它在虚拟机启动时就会被创建 Java 堆是内存空间占据的最大一块区域了,Java 堆是用来存放对象实例及数组,也就是说我们代码中通过 new 关键字 new 出来的对象都存放在这里,存储着几乎所有的实例对

基于Ambari的大数据平台搭建(HDP)kamik的博客

简介 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理,类似于CDH,是一个集中部署、管理、监控 Hadoop 分布式集群的工具,主要由Ambari Server 和 Ambari Agent构成,支持Kerberos安全管理。 官网:

心灵鸡汤

006、《老人与乌龟》

有个老人到了90岁还觉得没活够,于是去山神庙求山神,山神问:“你只是祈求长寿吗?”他说:“是的。”山神说:“那么你就放心地回去吧。”老人往回走的时候,身子逐渐缩小,变成了一只乌龟,这个龟慢腾腾往回爬行的时候碰见石缝里的另一只龟,那只龟对他说:“我原先也是一个祈求长寿的人,山神把我变成乌龟后度过了漫长的三百年,除了僵硬的躯壳和微弱的呼吸外,一点生活乐趣都没有,想死也死不了,看来痛痛快快做人过三天也比没有意义的三百年强啊。”

列表展示

主站展示位

Spark性能优化指南——高级篇kamik的博客

调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快,但个别task执行极慢。比如,总共有1000个task,997个task都在1分钟之内执行完了,但是剩余两三个task却要一两个小时。这种情况很常见。 原本能够正常执行的Spa

Elasticsearch7.7数据库 集群部署&入门kamik的博客

安装部署 前置需求 JDK6+(被监控的应用程序运行在jdk6及以上版本) JDK8+(SkyWalking collector和WebUI部署在jdk8及以上版本) Elasticsearch 5.x(集群模式或不使用) Zookeeper 3.4.10 被监控应用的宿主服务器系统时间(包含时区)与collectors,UIs部署的宿主服务器时间设置正确且相同

HiveSQL 系统内存分配问题处理kamik的博客

[INFO] 2021-04-26 18:18:52.147 - [taskAppld=TASK-51-2469-19327]:[127] - -> Ended Job = job 1619390628176 0017 with errors Error during job, obtaining debugging information. Examining task ID: task 1619390628176_0017_m_00

VirtualBoxkamik的博客

各位客官点击就知道了!

Hadoop Hive 字段类型kamik的博客

Hive 字段类型 分类 类型 描述 字面量示例 原始类型 BOOLEAN true/false TRUE - TINYINT 1字节的有符号整数 -128~127 1Y - SMALLINT 2个字节的有符号整数,-32768~32767 1S - INT 4个字节的带符号整数 1 - BIGINT 8字节带符号整数 1L - FLOAT 4字节单精度浮点数1.0 - DOUBLE 8字节双精度

Apache DolphinScheduler集群 1.3.3部署记录kamik的博客

<!doctype html> 环境依赖 PostgreSQL (8.2.15+) 或 MySQL (5.7系列) JDK (1.8+) ZooKeeper (3.4.6+) Hadoop (2.6+) 创建部署用户和hosts映射 在所有部署调度的机器上创建部署用户,并且一定要配置sudo免密。假如我们计划在ds1,ds2,ds3,ds4这4台机器上部署调度,首先需要在每台机器上都创建部署用户 # 创建用户需使用root登

k8s v1.16&es&zk&kafka&MySQL部署kamik的博客

k8s&Docker安装 # 将 SELinux 设置为 permissive 模式(相当于将其禁用) sudo setenforce 0 sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config #关闭防火墙 systemctl stop firewalld systemctl disable firewalld

Centos禁用透明大页面压缩kamik的博客

首先查看透明大页是否启用,[always] never表示已启用,always [never]表示已禁用 cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 如果是启用状态,修改/etc/rc.d/rc.local文件并添加以下两行 echo never > /sys/kernel/mm/transparent_hugepage/defra

在hadoop集群中服役新节点kamik的博客

环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 node03 192.168.100.104 node04 四台Vmware Workstatuin中搭建的centos6.9主机,hadoop版本为2.6.0 前置准备说明 准备台新的节点node04,配置好ssh免密登录,JDK环境,防火墙配置,SELINUX关闭,将Hadoop文件拷贝到node04

IntelliJ IDEA 快捷键合集kamik的博客

1. 编辑类快捷键 编辑类快捷键 介绍 psvm + Tab 生成main方法 sout + tab 生成输出语句 Ctrl+X / Ctrl + Y 删除一行 Ctrl+D 复制一行 Ctrl+/ 或 Ctrl+Shift+/ 注释代码 Ctrl + Z 撤销 Ctrl + Shift + Z 取消撤销 Ctrl + C 复制 Ctrl + V 粘贴 Ctrl + O 重写方法

hadoop MapReduce自定义分区kamik的博客

背景 在Hadoop的MapReduce过程中,每个map task处理完数据后,如果存在自定义Combiner类,会先进行一次本地的reduce操作,然后把数据发送到Partitioner,由Partitioner来决定每条记录应该送往哪个reducer节点,默认使用的是HashPartitioner,其核心代码如下: MapReduce自定义分区 自定义Partitioner public class FlowPartit

Kerberos入坑指南kamik的博客

抱歉,只有登录并在本文发表评论才能阅读隐藏内容

Hadoop High Availability 高可用kamik的博客

一、 Hadoop High Availability HA(High Available), 高可用,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(Standby)。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务的不中断或短暂

神经网络入门《Deep Learning with Python》kamik的博客

神经网络剖析 训练神经网络主要围绕以下四个方面。 ‰ 层,多个层组合成网络(或模型)。 ‰ 输入数据和相应的目标。 ‰ 损失函数,即用于学习的反馈信号。 ‰ 优化器,决定学习过程如何进行。 将这四者的关系可视化,如下图所示:多个层链接在一起组成了网络,将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。 层:深度学习的基础组件 神经网

MapReduce高级案例①①kamik的博客

WordCount案例 数据 hello world dog fish hadoop spark hello world dog fish hadoop spark hello world dog fish hadoop spark 统计一堆文件中单词出现的个数(WordCount案例) 在一堆给定的文本文件中统计输出每一个单词出现的总次数 ruaDriver package com.kami.demo04; import o

SparkContext详解kamik的博客

简介 SparkContext是spark功能的主要入口。其代表与spark集群的连接,能够用来在集群上创建RDD、累加器、广播变量。每个JVM里只能存在一个处于激活状态的SparkContext,在创建新的SparkContext之前必须调用stop()来关闭之前的SparkContext。 每一个Spark应用都是一个SparkContext实例,可以理解为一个SparkContext就是一个spark application的

Spring SSM阶段常见注解kamik的博客

@Configuration 声明 一个类 是 配置类 @Bean 通常用在方法上面 目的是把这个方法返回的对象 存入到 IOC容器中 @Resource 把IOC中的对象 注入到指定的变量 . 建议使用 @Resource 因为是JDK 自带的 @Autowired 作用跟@Resource作用是相同的 都是 把IOC容器中 的对象注入的指定的变量中 Spring框架带的. @Resource(name='aaaa') 相当于 @A

博客寄语:

    很高兴遇到你,这里是kamisamak,22岁,刚毕业,正在不断学习。

实时播报:

博客号-学习成长

相信每一分耕耘都有每一分收获,致力帮助博客主所创作的博客能更快的被收录! 如果有其它需求,可联系下方邮箱。