kettle相关知识

主站展示位

Hadoop集群运行时问题

Hadoop Copy -copyFromLocal 相当于复制-moveFromLocal 本地会删除，相当于剪切-getmerge 合并， 源目录 -> 目的目录-mkdir-rmr-ls-copyToLocal 从hadoop下文件，不过通常用 -get（类似于-put）hadoop fs -lsr

1 2024-12-18 03:09 查看原文

国内外攻读博士之我见

注：转载请注明出处，以下内容均为个人总结，不保证百分百正确性和完整性，请酌情参考 由毕业出路说起

查看原文

Python的JSON处理

注：此为慕课网Python（不打广告）视频的观看笔记，只做记录之用，并未勘误。

1 2024-10-20 15:37 查看原文

CentOS安装JDK

centos 安装jdk 目的是使用hadoop不要使用openjdk，要使用更完整的jdk，Oracle官网 首先卸载当前已有的jdk【root下进行】 12java-version显示当前jdkrpm -qa | grep java将本机全部的jdk查找出来

查看原文

初识图数据的可视化

图数据的产生和发展图是信息科学中最常用的一类抽象数据结构，能够直观的表达现实世界中对象之间的真实关系。许多重要应用都需要用图结构表示，传统应用如最优运输路线的确定、疾病爆发路径的预测、科技文献的引用关系等；新兴应用如社交网络分析、语义 Web 分析、生物信息网络分析等，与图相关的处理和应用几乎无所不在 [1] 。

查看原文

双显卡笔电安装N卡驱动及CUDA

由于工作需要，必须换操作系统了，一想到笔记本已经冗杂不堪，所以就索性重装成Linux系统，虽然显卡性能不如实验室的机器，但完全可以当做试验机，同时本身机子性能也不差，所以装个乌班图应该体验还不错。以上是我开始时的想法，后来装完了之后呢，体验总体也不错，但总归是有写麻烦，我总结一下放在开头。

查看原文

WebSocket的初次使用及调试

出现的错误1[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.3:compile (default-compile) on project JavaWebSocket: Fatal error compi...

1 2024-12-17 00:48 查看原文

音频格式的汇总及压缩比较

数字音源，也就是数字音频格式，最早指的是CD，CD经过压缩之后，又衍生出多种适于在随身听上播放的格式，这些压缩过的格式，我们可以分为两大类：有损压缩的和无损压缩的。这里所说的压缩，是指把PCM编码的或者是WAV格式的音频流经过特殊的压缩处理，转换成其他格式，从而达到减小文件体积的效果。有损／无损，是指经过压缩过后...

查看原文

Python的枚举类型

注：此为慕课网Python（不打广告）视频的观看笔记，只做记录之用，并未勘误。

查看原文

Summary and Review of 2019, B

This article is a set of memories, belonging to the list of RMBATS. *August *From July, after I finished my master’s defense, I had been modifying my paper t...

1 2024-12-17 00:29 查看原文

ETL工具~Kettle调研

ETL工具~Kettle调研 2017.2Kettlekettle是其中Pentaho默认的ETL工具，下图为Pentaho的使用情况

查看原文

关于图中节点间的概率求解问题

（本文年代久远，请谨慎阅读）前提：节点是含有若干特征（小节点）的大节点，大节点间连接实际为特征间的连接 在一个网络图中，若干节点之间的概率问题有以下几种： 设现有A,B,C等若干大节点，其内特征为ai,bj,ck;

查看原文

IDEA如何在项目中快速添加Maven依赖

前言在日常项目开发中，组件的引入是很平常的事情，一般来说，我们的项目由Maven构建，然后在需要新引入一个依赖时，只需在pom.xml中添加依赖描述即可，但是，有时我们的项目未必采用Maven构建，比如Spark项目就多采用sbt，或者直接添加jar包的方式，这时，如果需要添加某个外部依赖如果采用添加jar包的方...

1 2024-10-19 02:37 查看原文

替代Websocket的解决方案：GoEasy

写在前面GoEasy这个库的适用场景：同Websocket的场景在后台使用例如Java进行逻辑处理后将变量的值传入前台，前台不用发起请求即可接收后台发布的数据，整个流程与Redis的Pub和Sub过程类似整个交互类似Socket的长连接，前台首次调用不需要请求后台。非常适合监控后台参数等场景；

查看原文

远离借呗！查询你的个人征信

在过去一年的年末，支付宝可谓是经历了巨大的风波，从蚂蚁金服上市被叫停整改，到马云的人设出现崩塌，似乎大家都有了一个比较统一的观念，那就是逃离蚂蚁花！对于相当一部分年轻人，蚂蚁花呗、蚂蚁借呗已经成了其生活中必不可少的工具，但同时也有相当一部分人深陷超前消费的漩涡中无法自拔…

1 2024-12-05 11:28 查看原文

美国是如何一步步成为超级大国的

美国如何一步步成为超级大国的 　　古往今来，从来没有哪个国家像美国这样强大 　　美国究竟依靠了哪些力量和因素崛起为超级大国? 　　一、崛起历程

查看原文

如何使用IDEA加载已有Spark项目

背景是这样的：手上有一个学长之前实现的Spark项目，使用到了GraphX，并且用的Scala编写，现在需要再次运行这个项目，但如果直接在IDEA中打开项目，则由于各种错误会导致运行失败，这里就记录一下该如何使用IDEA来加载老旧的Spark项目。注意：默认你的机器已有Scala环境，项目使用IDEA打开，对Sb...

1 2024-12-14 11:22 查看原文

使用D3.JS进行坐标轴绘制和图绘制

前面已经说过D3的功能十分强大，但是往往实际使用时只需要用到一部分内容，在这里，就只用到了 *比例尺 *和 *布局 *两部分，外加 *核心 *的请求部分（请求数据），分别用来绘制Graph的显示坐标轴和图的顶点及边；

1 2024-12-21 11:55 查看原文

Gephi-Toolkit的引入与使用

Gephi-Toolkit是一个工具包，可以不依赖NetBeans平台来对输入数据进行可视化，输入数据一般是gexf等格式的文件，大多已经完成了坐标计算过程，用此Toolkit的目的就是使用Gephi强大的绘图功能（还有独立的其他功能，这里暂不展开）。详细项目地址点击 这里 。

查看原文

纵览全局的文档组织模式（下）

本文详细记录了如何在Hexo博客中实现用图组织内容的方法，但是，请注意：以下内容并非操作教程，仅表明相信思路以供参考，或许您可以实现出更好的版本，但仅依照下文内容并不保证一定能重现，一些尝试和debug的细节过于繁琐并未列出，如有疑问欢迎留言。

查看原文