全站展示位
https://q2.qlogo.cn/headimg_dl?dst_uin=1057372918&spec=100
kamisamak'BLOG
| 0.0 |
给kamisamak'BLOG打分 |
|
|
感谢您打了2分 |
相关推荐
点击榜
详情
推荐
心灵鸡汤
南宋大臣张浚因与奸相秦桧政见不和，被贬往湖南零陵做地方官。
他出发时，带了几箱书随行，有人诬告他与乱党有关系，结果被高宗检查书信和破旧衣物，高宗叹息道：“想不到张浚贫守到如此地步!”
很可怜他，于是派人骑快马追上张浚，赏赐他黄金三百两。
列表展示
主站展示位
Spark 各项代码示例kamik的博客
SparkSql向mysql建表 写数据 查询操作 val sparkConf: SparkConf = new SparkConf().setMaster('local[*]').setAppName('wula') val sparkContext = new SparkContext(sparkConf) //设置日志等级 sparkContext.setLogLevel('warn') MySql建表
kafka错误处理 ERROR kafka.server.KafkaApis: [KafkaApi-83] Number of alive brokers '2' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignored if the cluster is star
ERROR kafka.server.KafkaApis: [KafkaApi-83] Number of alive brokers '2' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignor
Kafka知识点总结kamik的博客
Kafka知识点总结 Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区（Partition） 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组成。 被复制的分区叫做主副本（Lead
CDH安装Hadoop权限问题kamik的博客
如遇到put: Permission denied: user=root, access=WRITE, inode='/':hdfs:supergroup:drwxr-xr-x 执行 sudo -u hdfs hadoop fs -mkdir /user/root groupadd supergroup usermod -a -G supergroup root su - hdfs -s /bin/bash -c 'hdfs dfsad
Spark性能优化指南——高级篇kamik的博客
调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。 原本能够正常执行的Spa
Elasticsearch7.7数据库 集群部署&入门kamik的博客
安装部署 前置需求 JDK6+(被监控的应用程序运行在jdk6及以上版本) JDK8+(SkyWalking collector和WebUI部署在jdk8及以上版本) Elasticsearch 5.x(集群模式或不使用) Zookeeper 3.4.10 被监控应用的宿主服务器系统时间(包含时区)与collectors,UIs部署的宿主服务器时间设置正确且相同
Hadoop Hive 字段类型kamik的博客
Hive 字段类型 分类 类型 描述 字面量示例 原始类型 BOOLEAN true/false TRUE - TINYINT 1字节的有符号整数 -128~127 1Y - SMALLINT 2个字节的有符号整数，-32768~32767 1S - INT 4个字节的带符号整数 1 - BIGINT 8字节带符号整数 1L - FLOAT 4字节单精度浮点数1.0 - DOUBLE 8字节双精度
Apache DolphinScheduler集群 1.3.3部署记录kamik的博客
<!doctype html> 环境依赖 PostgreSQL (8.2.15+) 或 MySQL (5.7系列) JDK (1.8+) ZooKeeper (3.4.6+) Hadoop (2.6+) 创建部署用户和hosts映射 在所有部署调度的机器上创建部署用户，并且一定要配置sudo免密。假如我们计划在ds1,ds2,ds3,ds4这4台机器上部署调度，首先需要在每台机器上都创建部署用户 # 创建用户需使用root登
k8s v1.16&es&zk&kafka&MySQL部署kamik的博客
k8s&Docker安装 # 将 SELinux 设置为 permissive 模式（相当于将其禁用） sudo setenforce 0 sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config #关闭防火墙 systemctl stop firewalld systemctl disable firewalld
Centos禁用透明大页面压缩kamik的博客
首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用 cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 如果是启用状态，修改/etc/rc.d/rc.local文件并添加以下两行 echo never > /sys/kernel/mm/transparent_hugepage/defra
在hadoop集群中服役新节点kamik的博客
环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 node03 192.168.100.104 node04 四台Vmware Workstatuin中搭建的centos6.9主机，hadoop版本为2.6.0 前置准备说明 准备台新的节点node04，配置好ssh免密登录,JDK环境,防火墙配置,SELINUX关闭，将Hadoop文件拷贝到node04
MapReduce高级案例⑦kamik的博客
小文件处理（自定义InputFormat） 需求分析 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。将多个小文件合并成一个文件SequenceFile，SequenceFile里面存储着多个文件，存储的形式为文件路径+名称为key，文件内容为value。 小文件的优化无非以下几种方式： （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS （
Cloudera CDH 6.3.2 Centos7离线安装kamik的博客
CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存 储、分布式计算），最为重要的是提供基于web的用户界面。 CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。 CDH分为Clo
神经网络入门《Deep Learning with Python》kamik的博客
神经网络剖析 训练神经网络主要围绕以下四个方面。 层，多个层组合成网络（或模型）。 输入数据和相应的目标。 损失函数，即用于学习的反馈信号。 优化器，决定学习过程如何进行。 将这四者的关系可视化，如下图所示：多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。 层：深度学习的基础组件 神经网
在Centos8下安装Dockerkamik的博客
系统版本 [root@iZzmul0jih2lenZ ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 8.1.1911 (Core) Release: 8.1.1911 Codename: Core 安装
博客寄语：
很高兴遇到你，这里是kamisamak，22岁，刚毕业，正在不断学习。
实时播报：
- Charleston · Haojin's Blog
- 云·小怪兽（20240524）-博客|旅游与摄影-风雨行者
- 二分 · Heeepin
- 找出缺失的观测数据Heeepin
- 用队列实现栈Heeepin
- 28strstrHeeepin
- 最后一个单词长度Heeepin
- 二叉树后序遍历Heeepin
- 区域和检索Heeepin
- 合并两个有序链表Heeepin
- 二叉树的深度Heeepin
- 存在重复元素2Heeepin
- 交替的二进制位Heeepin
- 阶乘后的0Heeepin
- 棒球比赛Heeepin
- 草台班子Heeepin
- 树状数组 · Heeepin
- 的平方根Heeepin
- 两数之和4Heeepin
- 如果相邻两个颜色均相同则删除当前颜色Heeepin
博客号-学习成长
相信每一分耕耘都有每一分收获，致力帮助博客主所创作的博客能更快的被收录！ 如果有其它需求，可联系下方邮箱。
Copyright © 2023 bokehaos.com 版权所有 ICP证：陕ICP备19005541号-3 |
hahashipin@yeah.net