yypiao
- 浏览: 162013 次
- 性别:
- 来自: 南京
-
最新评论
-
yjsxxgm：
yjsxxgm 写道yjsxxgm 写道
揭秘淘宝286亿海量图片存储与处理架构 -
yjsxxgm：
yjsxxgm 写道
揭秘淘宝286亿海量图片存储与处理架构 -
yjsxxgm：
yjsxxgm 写道
揭秘淘宝286亿海量图片存储与处理架构 -
yjsxxgm：
揭秘淘宝286亿海量图片存储与处理架构 -
raodun：
哥们，nginx做websphere的会话保持何如写？
nginx的会话保持
文章列表
Host配置
vim /etc/hosts
如果没有足够的权限，可以切换用户为root。 三台机器的内容统一增加以下host配置： 可以通过hostname来修改服务器名称为master、slave1、slave2
192.168.71.242 master
192.168.71.212 slave1
192.168.71.213 slave2
配置SSH无密码登录
设置ssh免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_key ...
HBase介绍、搭建、环境、安装部署
- 博客分类：
- hadoop
1、搭建环境
部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环境：
l 虚拟机操作系统： CentOS6.6 64位，单核，1G内存
l JDK：1.7.0_55 64位
l Hadoop：1.1.2
2、HB ...
大数据平台架构技术选型与场景运用
- 博客分类：
- 架构师
引用
导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结 ...
<转自http://www.infoq.com/cn/articles/spark-in-growingio-data>
大家好，我是来自GrowingIO的数据工程师付旗，今天跟大家分享的是我们GrowingIO在使用Spark中的经验，遇见的一些问题，以及我们修复的方法。在来之前，昨天晚上我在跟我们组同事讨论的时候，我说我发给他们简要写的我是GrowingIO的大数据工程师，我们组的几个工程师都非常的不屑，说现在大数据已经烂大街了，所以他们对外自称数据工程师，不叫大数据工程师。
GrowingIO业务功能背后的考验
事实上，我们是一个刚成立一年的公司，今年5月份刚过了一周 ...
数据处理分为三大类：
第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
第二类是从技术的角度，细分为Batch、SQL、流式处理、machine learning、Deep learning。
第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。
结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理，我在这里给出一个总体的大数据平台的架构。值得注意的是，架构图中去掉了监控、资源协调、安全日志等。
左侧是数据源，有实时流的数据（可能是结构化、非结构化，但其特点是实时的），有离线数据，离 ...
<转自http://www.360doc.com/content/12/1012/21/7662927_241124973.shtml>
以下为原文：
截止今天，关于精准广告定向技术的介绍已经全部写完。介绍的写作初衷是总结自己的知识，将知识从片段的、隐形的转化为可以向别人讲述、能够给人 ...
2017.2.27更新
选择“license server” 输入：http://idea.imsxm.com/
2016.2.2 版本的破解方式：
安装以后，打开软件会弹出一个对话框；选择“license server” 输入：http://114.215.133.70:41017
2016.2.3 版本的破解方式：
目前最新的就是2.3版本，在打开的License Activation窗口中选择“activation code”，在输入框输入下面的注册码
43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lI ...
第一次遇到Tomcat在Linux服务器启动卡住的情况，情况很简单，tomcat启动以后卡在INFO: Deploying web application directory ......这句话，具体会卡多久就没测试了。google、baidu都没找到解决方法。
幸亏UCloud的技术支持人员给出了解决方案。
...
前两天朋友问的，docker+jenkins整合。
我也没搞过，但是正好最近有空，我也很有兴趣，就搞一下。
docker是什么，以及如何安装，我这里不做解释，只介绍一些我踩过的坑。
首先说docker，我用的是centos7的镜像，里面连wget都没有，网上资料也很少，坑也是自己慢慢踩过来。
先说路由表，我用的是阿里云，安装完docker，命令会报错，经查找需要改路由表
sudo route del -net 172.16.0.0 netmask 255.240.0.0
由于我对linux也不是很熟，我只知道他需要启动一些进程，例如提示你docker -d，你可以输入docker ...
1、基于docker官方的jenkins镜像启动容器
运行命令为：docker run --name myjenkins -p 8080:8080 -v /var/ jenkins_home jenkins
docker run --name myjenkins -p 8080:8080 -v /var/jenkins_home jenkins
运行docker run命令时，如果本地没有镜像，则默认会从DockerHub pull镜像，将镜像缓存到本地，然后再启动基于镜像创建的容器。
使用docker images查看镜像信息：
使用docker ps查看运行的容器信息：
通过w ...
在Windows里使用Docker
- 博客分类：
- docker
<转自https://sanwen8.cn/p/2f88vQh.html>
1 曾经的双系统
对于初学Linux的同学，装双系统是一个很大的挑战。下载镜像、上谷歌、上不去谷歌、试各种方法、终于上去了、开始找镜像、下载镜像、刻录光盘、分区、改BIOS启动项顺序、终于装上了、修改引导、改软件源，blablabla。只有经历过的人才懂，精疲力竭。
实际在使用时，也并不舒服。想象一下，正在Linux里愉快的写代码呢，不得不上QQ处理一件事情。好嘛，重启，进Windows。要记得，此刻Linux还开着若干个Terminal，以及N个打开的浏览器Tab页呢！为什么不用QQ for Linux ...
RocketMQ与Kafka对比（18项差异）
- 博客分类：
- SOA
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单、充值等场景下还有诸多特性不满足，为此我们重新用Java语言编写了RocketMQ， ...
Lock和synchronized比较详解
- 博客分类：
- Java基础
今天看了并发实践这本书的ReentantLock这章，感觉对ReentantLock还是不够熟悉，有许多疑问，所有在网上找了很多文章看了一下，总体说的不够详细，重点和焦点问题没有谈到，但这篇文章相当不错，说的很全面，主要的重点都说到 ...
探讨Java中static synchronized和synchronized
synchronized提供内部锁的机制，防止其它线程同时进入synchronized的代码块。synchronized由两部分组成：1.锁对象的引用；2.锁保护的代码块。
对锁对象引用的不同，是static synchronized和synchronized最大的区别：
1 public class SynchronizedTester {
2
3 /*
4 * testOne()和testTwo()均是对SynchronizedTester这个类的对 ...
作者：Intopass链接：https://www.zhihu.com/question/20794107/answer/75164285来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
① 首先你要明白静态代理的作用我们有一个字体提供类，有多种实现（从磁 ...