yypiao的博客
yypiao · 共 133 篇文章
haddop从单机改为集群
Host配置 vim /etc/hosts 如果没有足够的权限,可以切换用户为root。 三台机器的内容统一增加以下host配置: 可以通过hostname来修改服务器名称为master、slave1、slave2 192.168.71.242 master 192.168.71.212 slave1 192.168.71.213 slave2 配置SSH无密码登录 设置ssh免密码登录 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.…
2017-11-10 16:45 · 评论(0)
HBase介绍、搭建、环境、安装部署
1、搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。 Hadoop搭建环境: l 虚拟机操作系统: CentOS6.6 64位,单核,1G内存 l JDK:1.7.0_55 64位 l Hadoop:1.1.2 2、HBase介绍…
2017-11-08 15:22 · hadoop · 评论(0)
大数据平台架构技术选型与场景运用
引用 导读:本文将大数据的工作角色分为三种类型,包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面,大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类,数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解,最终联系到大数据的应用场景,让数据应用方式更加直观。 一、大数据平台 大数据在工作中的应用有三种: 与业务相关,比如用户画像、风险控制等; 与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴; 与工程相关,如何实施、如何实现、解决什么业务问…
2017-09-26 15:48 · 架构师 · 评论(0)
Spark在GrowingIO数据无埋点全量采集场景下的实践
<转自http://www.infoq.com/cn/articles/spark-in-growingio-data> 大家好,我是来自GrowingIO的数据工程师付旗,今天跟大家分享的是我们GrowingIO在使用Spark中的经验,遇见的一些问题,以及我们修复的方法。在来之前,昨天晚上我在跟我们组同事讨论的时候,我说我发给他们简要写的我是GrowingIO的大数据工程师,我们组的几个工程师都非常的不屑,说现在大数据已经烂大街了,所以他们对外自称数据工程师,不叫大数据工程师。 GrowingIO业务功能背后的考验 事实上,我们是一个刚成立一年的公司,今年5月份刚过了一周岁的生日,是一个…
2017-09-26 10:50 · 大数据 · 评论(0)
大数据架构流程
数据处理分为三大类: 第一类是从业务的角度,细分为查询检索、数据挖掘、统计分析、深度分析,其中深度分析分为机器学习和神经网络。 第二类是从技术的角度,细分为Batch、SQL、流式处理、machine learning、Deep learning。 第三类是编程模型,细分为离线编程模型、内存编程模型、实时编程模型。 结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理,我在这里给出一个总体的大数据平台的架构。值得注意的是,架构图中去掉了监控、资源协调、安全日志等。 左侧是数据源,有实时流的数据(可能是结构化、非结构化,但其特点是实时的),有离线数据,离线数据一般采用的多为E…
2017-09-26 01:12 · 评论(0)
数据埋点-浏览器User-Agent大全
<转自http://www.360doc.com/content/12/1012/21/7662927_241124973.shtml> 以下为原文: 截止今天,关于精准广告定向技术的介绍已经全部写完。介绍的写作初衷是总结自己的知识,将知识从片段的、隐形的转化为可以向别人讲述、能够给人帮助的。在总结的过程中自己也提升了很多,同时希望这些内容能够切实的给刚进入这个行业的同学们以帮助。 一、基础知识篇: Http Header之User-Agent User Agent中文名为用户代理,是Http协议中的一部分,属于头域的组成部分,User Agent也简称UA。它是一个特殊字符串头,是一种向访…
2017-09-21 14:02 · Web · 评论(0)
webstorm 2017 激活破解
2017.2.27更新 选择“license server” 输入:http://idea.imsxm.com/ 2016.2.2 版本的破解方式: 安装以后,打开软件会弹出一个对话框;选择“license server” 输入:http://114.215.133.70:41017 2016.2.3 版本的破解方式: 目前最新的就是2.3版本,在打开的License Activation窗口中选择“activation code”,在输入框输入下面的注册码 43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoi…
2017-06-07 18:40 · 评论(0)
Tomcat启动时卡在“INFO: Deploying web application directory ......”的解决方法
第一次遇到Tomcat在Linux服务器启动卡住的情况,情况很简单,tomcat启动以后卡在INFO: Deploying web application directory ......这句话,具体会卡多久就没测试了。google、baidu都没找到解决方法。 幸亏UCloud的技术支持人员给出了解决方案。 找到jdk1.x.x_xx/jre/lib/security/Java.security文件,在文件中找到securerandom.source这个设置项,将其改为: securerandom.source=file:/dev/./urandom 这时候根据修改内容就可以查到因为此原因…
2017-05-03 09:20 · Java基础 · 评论(0)
docker+jenkins的实现方式(ps.使用dockerfile的方式)
前两天朋友问的,docker+jenkins整合。 我也没搞过,但是正好最近有空,我也很有兴趣,就搞一下。 docker是什么,以及如何安装,我这里不做解释,只介绍一些我踩过的坑。 首先说docker,我用的是centos7的镜像,里面连wget都没有,网上资料也很少,坑也是自己慢慢踩过来。 先说路由表,我用的是阿里云,安装完docker,命令会报错,经查找需要改路由表 sudo route del -net 172.16.0.0 netmask 255.240.0.0 由于我对linux也不是很熟,我只知道他需要启动一些进程,例如提示你docker -d,你可以输入docker -d看看。…
2017-04-21 17:17 · docker · 评论(0)
基于docker官方的jenkins镜像启动容器
1、基于docker官方的jenkins镜像启动容器 运行命令为:docker run --name myjenkins -p 8080:8080 -v /var/ jenkins_home jenkins docker run --name myjenkins -p 8080:8080 -v /var/jenkins_home jenkins 运行docker run命令时,如果本地没有镜像,则默认会从DockerHub pull镜像,将镜像缓存到本地,然后再启动基于镜像创建的容器。 使用docker images查看镜像信息: 使用docker ps查看运行的容器信息: 通过web界面访…
2017-04-21 17:16 · docker · 评论(0)
在Windows里使用Docker
<转自https://sanwen8.cn/p/2f88vQh.html> 1 曾经的双系统 对于初学Linux的同学,装双系统是一个很大的挑战。下载镜像、上谷歌、上不去谷歌、试各种方法、终于上去了、开始找镜像、下载镜像、刻录光盘、分区、改BIOS启动项顺序、终于装上了、修改引导、改软件源,blablabla。只有经历过的人才懂,精疲力竭。 实际在使用时,也并不舒服。想象一下,正在Linux里愉快的写代码呢,不得不上QQ处理一件事情。好嘛,重启,进Windows。要记得,此刻Linux还开着若干个Terminal,以及N个打开的浏览器Tab页呢!为什么不用QQ for Linux,为什么不用…
2017-04-21 15:32 · docker · 评论(0)
RocketMQ与Kafka对比(18项差异)
转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用 MySQL 作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单、充值等场景下还有诸多特性不满足,为此我们重新用 Java 语言编写了Rocke…
2017-03-11 22:41 · SOA · 评论(0)
Lock和synchronized比较详解
今天看了并发实践这本书的ReentantLock这章,感觉对ReentantLock还是不够熟悉,有许多疑问,所有在网上找了很多文章看了一下,总体说的不够详细,重点和焦点问题没有谈到,但这篇文章相当不错,说的很全面,主要的重点都说到了,所有在这里转载了这篇文章,注意红色字体。 在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题,从 Java 5之后,在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问,那就是Lock。 也许有朋友会问,既然都可以通过synchronized来实现同步访问了,那么为什么…
2017-03-07 11:35 · Java基础 · 评论(0)
探讨Java中static synchronized和synchronized
探讨Java中static synchronized和synchronized synchronized提供内部锁的机制,防止其它线程同时进入synchronized的代码块。synchronized由两部分组成:1.锁对象的引用;2.锁保护的代码块。 对锁对象引用的不同,是static synchronized和synchronized最大的区别: 1 public class SynchronizedTester { 2 3 /* 4 * testOne()和testTwo()均是对SynchronizedTester这个类的对象(实例)加上锁 5 * 也就是锁对象的引用是Synchro…
2017-03-07 11:09 · Java基础 · 评论(0)
Java 动态代理作用是什么
作者:Intopass 链接:https://www.zhihu.com/question/20794107/answer/75164285 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 ① 首先你要明白静态代理的作用我们有一个字体提供类,有多种实现(从磁盘,从网络,从系统)public interface FontProvider { Font getFont(String name); } public abstract class ProviderFactory { public static FontProvider getFontProvider…