作者:Joy Lee

JVM 性能调优工具学习

一、What 1.   Jstack(查看线程) 1.1 作用: 1.2 内容: 1.3 Demo: 1.4 常见线程: 2.     Jstat(查看性能) 2.1 作用: 2.2 命令选项: 2.3 参数内容  3.     Jmap(查看内存) 3.1 作用: 3.2 命令选项 二、Why 三、How 1. Jstack 2. Jstat 3. Jmap 四、参考资料 一、What JDK 本身提供了很……

Spark机器学习数据流水线

关键点: 了解机器学习数据流水线有关内容。 怎么用Apache Spark机器学习包来实现机器学习数据流水线。 数据价值链处理的步骤。 Spark机器学习流水线模块和API。 文字分类和广告检测用例。 引用:http://www.infoq.com/cn/articles/apache-sparkml-data-pipelines   在之前的“用Apache Spark做大数据处理……

Scala编码规范

格式与命名 1.1.    命名规则 1.1.1.      程序文件 1.1.2.      变量、函数、类 语法特性 编码风格 高效编码 编码模式 测试 避免直接借用其他语言的编码规范 参考资料 深入理解Scala-编码规范   格式与命名 1) 代码格式用两个空格缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使……

Spark性能优化指南

1.优化Spark 由于大多数Spark计算的内存本质,Spark程序可能因为集群中的任何资源造成瓶颈:CPU,网络,带宽,或者内存。大多数情况下,如果数据可以容纳在内存中,性能瓶颈就是网络带宽,但是有时,你还是需要做一些调优,比如用序列化形式存储RDDs来减少内存使用。这篇指南会覆盖两个主题:数据序列化,这对良好……

JAVA知识总结

1、jdk自带线程池为什么先入队列,后创建非核心线程? 因为队列增加一个元素的成本更低。 2、内部类引用外部类方法的局部变量,为什么必须使用final修饰? 因为外部类方法的变量运行完毕就会回收,但加载的内部类可能仍然存在。 3、方法的签名包括方法名和参数列表,为什么不包括返回值? 因为调用端可以不接收返……

分布式序列号生成方案-待完善

一、概述。 1、应用场景。 消息标识。 订单标识。 运单标识。 帖子标识。 2、核心问题。 保证全局唯一。 满足一定规则。 位数固定,统一前缀,或者后缀。 趋势有序,时间相关。 有校验位,防止推断。 高性能、高可用、吞吐量、易用性。 二、依赖数据库(MySQL)。 1、单点单次。 2、单点批量。 3、主备批量。 优点: 缺点……

JVM性能调优-收集

1、JVM源码分析之SystemGC完全解读 http://mp.weixin.qq.com/s/V1Y6DIoscTuv7RVlIZgVpw 2、JVM源码分析之堆外内存完全解读 http://mp.weixin.qq.com/s/WgQkXxBJDF7QdTHFFGVypg 3、JVM源码分析之Object.wait/notify(All)完全解读 http://mp.weixin.qq.com/s/4oCEWVrs67aONxEgMaOVFg 4、JDK的sql设计不合理导致的驱……

lsof查看端口被谁占用

使用 lsof 查找打开的文件 通过查看打开的文件,了解更多关于系统的信息。了解应用程序打开了哪些文件或者哪个应用程序打开了特定的文件,作为系统管理员,这将使得您能够作出更好的决策。例如,您不应该卸载具有打开文件的文件系统。使用 lsof,您可以检查打开的文件,并根据需要在卸载之前中止相应的进……

为应用选择和创建最佳索引,加速数据读取

由于SQL问题导致的数据库故障层出不穷,索引问题是SQL问题中出现频率最高的,常见的索引问题包括:无索引,隐式转换,索引创建不合理。 当数据库中出现访问表的SQL没创建索引导致全表扫描,如果表的数据量很大扫描大量的数据,执行效率过慢,占用数据库连接,连接数堆积很快达到数据库的最大连接数设置,新的应用请求将会……

数据库变慢的分析

问题描述:用户的数据库发现相同的一条sql 语句,数据量百万级左右,在原来SQL 中执行大概是0.015s,而在云数据库下直接运行是5分左右,执行非常的慢,已经严重的影响了用户使用云数据库使用的信心。 可能原因:为什么在用户的数据库上执行只需要0.015s,而到云数据库后变为了5分?根据经验,很有可能是SQL 的执行计划改……