1)前提条件,配置阿里源
mv /etc/yum.repos.d/* /tmp/
wget http://dev.mysql.com/get/mysql57-community-release-el6-8.noarch.rpm
rpm -ivh mysql57-community-release-el6-8.noarch.rpm –nodeps –force
yum -y install yum-utils (安装yum-config-manager 命令) 如果执行这个命令报错,请……
准备知识
HTTP的头域包括四个部分:
通用头:通用头部是客户端和服务器都可以使用的头部,可以在客户端、服务器和其他应用程序之间提供一些非常有用的通用功能,如Date头部
请求头:请求头部是请求报文特有的,它们为服务器提供了一些额外信息,例如客户端希望接收什么类型数据的Accept头部
响应头:响应头部便于……
web
IP地址:127.0.0.1
JVM参数配置:
export JAVA_OPTS=”-Djava.library.path=/usr/local/lib -server -Xms3072m -Xmx3072m -XX:MaxPermSize=256m -Djava.awt.headless=true -Dsun.net.client.defaultConnectTimeout=60000 -Dsun.net.client.defaultReadTimeout=60000 -Djmagick.systemclassloader=no -Dnetworkad……
测试环境分配的虚拟机,安装mysql后,mysqll的数据文件默认在/var/lib/mysql下
但是根路径的磁盘大小是10G,不太够用,/export路径比较大,有40G空间,所以决定把数据文件迁移到/export下
1.关闭mysql服务
service mysqld stop
2.迁移数据文件
数据文件的位置可以从/etc/my.cnf中看到
迁移文件:mv……
一、What
1. Jstack(查看线程)
1.1 作用:
1.2 内容:
1.3 Demo:
1.4 常见线程:
2. Jstat(查看性能)
2.1 作用:
2.2 命令选项:
2.3 参数内容
3. Jmap(查看内存)
3.1 作用:
3.2 命令选项
二、Why
三、How
1. Jstack
2. Jstat
3. Jmap
四、参考资料
一、What
JDK 本身提供了很……
关键点:
了解机器学习数据流水线有关内容。
怎么用Apache Spark机器学习包来实现机器学习数据流水线。
数据价值链处理的步骤。
Spark机器学习流水线模块和API。
文字分类和广告检测用例。
引用:http://www.infoq.com/cn/articles/apache-sparkml-data-pipelines
在之前的“用Apache Spark做大数据处理……
格式与命名
1.1. 命名规则
1.1.1. 程序文件
1.1.2. 变量、函数、类
语法特性
编码风格
高效编码
编码模式
测试
避免直接借用其他语言的编码规范
参考资料
深入理解Scala-编码规范
格式与命名
1) 代码格式用两个空格缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使……
1.优化Spark
由于大多数Spark计算的内存本质,Spark程序可能因为集群中的任何资源造成瓶颈:CPU,网络,带宽,或者内存。大多数情况下,如果数据可以容纳在内存中,性能瓶颈就是网络带宽,但是有时,你还是需要做一些调优,比如用序列化形式存储RDDs来减少内存使用。这篇指南会覆盖两个主题:数据序列化,这对良好……
1、jdk自带线程池为什么先入队列,后创建非核心线程?
因为队列增加一个元素的成本更低。
2、内部类引用外部类方法的局部变量,为什么必须使用final修饰?
因为外部类方法的变量运行完毕就会回收,但加载的内部类可能仍然存在。
3、方法的签名包括方法名和参数列表,为什么不包括返回值?
因为调用端可以不接收返……
一、概述。
1、应用场景。
消息标识。
订单标识。
运单标识。
帖子标识。
2、核心问题。
保证全局唯一。
满足一定规则。
位数固定,统一前缀,或者后缀。
趋势有序,时间相关。
有校验位,防止推断。
高性能、高可用、吞吐量、易用性。
二、依赖数据库(MySQL)。
1、单点单次。
2、单点批量。
3、主备批量。
优点:
缺点……