Flink的基础代码示例（更新中）kamik的博客

主站展示位

kafka错误处理 ERROR kafka.server.KafkaApis: [KafkaApi-83] Number of alive brokers '2' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignored if the cluster is star

ERROR kafka.server.KafkaApis: [KafkaApi-83] Number of alive brokers '2' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignor

2 2024-12-19 22:02 查看原文

Kafka知识点总结kamik的博客

Kafka知识点总结 Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区（Partition） 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组成。 被复制的分区叫做主副本（Lead

查看原文

Spark性能优化指南——高级篇kamik的博客

调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。 原本能够正常执行的Spa

查看原文

Elasticsearch7.7数据库 集群部署&入门kamik的博客

安装部署 前置需求 JDK6+(被监控的应用程序运行在jdk6及以上版本) JDK8+(SkyWalking collector和WebUI部署在jdk8及以上版本) Elasticsearch 5.x(集群模式或不使用) Zookeeper 3.4.10 被监控应用的宿主服务器系统时间(包含时区)与collectors,UIs部署的宿主服务器时间设置正确且相同

查看原文

HiveSQL 系统内存分配问题处理kamik的博客

[INFO] 2021-04-26 18:18:52.147 - [taskAppld=TASK-51-2469-19327]:[127] - -> Ended Job = job 1619390628176 0017 with errors Error during job, obtaining debugging information. Examining task ID: task 1619390628176_0017_m_00

查看原文

VirtualBoxkamik的博客

各位客官点击就知道了！

查看原文

Centos禁用透明大页面压缩kamik的博客

首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用 cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 如果是启用状态，修改/etc/rc.d/rc.local文件并添加以下两行 echo never > /sys/kernel/mm/transparent_hugepage/defra

查看原文

Hadoopkamik的博客

各位客官点击就知道了！

查看原文

如何在HP ProLiant DL360 G6组RAIDkamik的博客

方法一： 重启服务器，提示阵列卡时，按 F8 进入阵列卡的配置页面。Create Logical Drive 创建阵列 View Logical Driver 查看阵列 Delete Logical Driver 删除阵列 Select as Boot Controller 将阵列卡设置为机器的第一个引导设备 进入'Create Logical Drive'的界面,可以看到4部分的信息 ①Available Physical Dri

1 2024-04-27 14:17 查看原文

MapReduce高级案例⑦kamik的博客

小文件处理（自定义InputFormat） 需求分析 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。将多个小文件合并成一个文件SequenceFile，SequenceFile里面存储着多个文件，存储的形式为文件路径+名称为key，文件内容为value。 小文件的优化无非以下几种方式： （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS （

查看原文

Spark 高级案例①kamik的博客

各位客官点击就知道了！

查看原文

Cloudera CDH 6.3.2 Centos7离线安装kamik的博客

CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存 储、分布式计算），最为重要的是提供基于web的用户界面。 CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。 CDH分为Clo

查看原文

hadoop MapReduce自定义分区kamik的博客

背景 在Hadoop的MapReduce过程中，每个map task处理完数据后，如果存在自定义Combiner类，会先进行一次本地的reduce操作，然后把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下： MapReduce自定义分区 自定义Partitioner public class FlowPartit

1 2024-04-27 07:35 查看原文

Linux更换为本地yum源kamik的博客

①挂载镜像到 /mnt/cdrom   mkdir /mnt/cdrom ISO镜像临时挂载 : mount -o loop ISO镜像 /mnt/cdrom 光驱临时挂载       : mount /dev/sr0 /mnt/cdrom ISO镜像开机自动挂载:更改etc下fstab文件 /root/CentOS-6.9-x86_64-bin-DVD1.iso /mnt/cdrom iso9660 loop,defau

查看原文

Kerberos入坑指南kamik的博客

抱歉，只有登录并在本文发表评论才能阅读隐藏内容

查看原文

本站域名已更换kamik的博客

本站域名已于2020.06.12 23:00将域名从/

1 2024-05-04 22:52 查看原文

分享下自己的Windows Terminal配置kamik的博客

// This file was initially generated by Windows Terminal (Preview) 1.0.1402.0 // It should still be usable in newer versions, but newer versions might have additional // settings, help text, or changes that you will not

查看原文

LeetCode算法题目011 : 盛最多水的容器kamik的博客

给你 n 个非负整数 a1，a2，...，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。 说明：你不能倾斜容器，且 n 的值至少为 2。 图中垂直线代表输入数组 [1,8,6,2,5,4,8,3,7]。在此情况下，容器能够容纳水（表示为蓝色部分）的最大值为 49。 示例： 输

查看原文

Spring SSM阶段常见注解kamik的博客

@Configuration 声明 一个类 是 配置类 @Bean 通常用在方法上面 目的是把这个方法返回的对象 存入到 IOC容器中 @Resource 把IOC中的对象 注入到指定的变量 . 建议使用 @Resource 因为是JDK 自带的 @Autowired 作用跟@Resource作用是相同的 都是 把IOC容器中 的对象注入的指定的变量中 Spring框架带的. @Resource(name='aaaa') 相当于 @A

1 2024-04-27 17:25 查看原文

Spark-On-Hivekamik的博客

官网：执行引擎去

1 2024-12-11 14:59 查看原文