一淘网数据部数据工程-了解前端内存泄露
本博客会陆续更新一淘数据部 各位技术同学分享的资料。 本次分享的内容来自夜沨同学: 受众： 对基数，概率算法感兴趣的同学 简介: 1、基数的概念、应用、传统计算方式极其局限； 2、三种计算基数的概率算法、相关数理分析、比较及实现重点 文件下载：基数估计的概率算法及uv计算中的应用-PDF文件
View ArticleClik here to view.
基于storm引擎的虫洞系统
虫洞系统是吸星大法项目衍生出来实时计算的基础平台。 它以storm实时流处理引擎为基础，提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。 这几个功能模块是此实时计算平台提供稳定运行的基础，虫洞系统承载的业务包括：月光宝盒、一淘首页个性化（实时用户个性化指标的计算）、吸星大法实时日志接入（数据源整合）。 计算能力...
View Article一淘数据部-月光宝盒双11 HBase集群应用和优化经验
本博客会陆续更新一淘数据部 各位技术同学分享的资料。 本次分享的内容来自九翎同学: 受众： 对HBase集群应用感兴趣的同学。 简介: 培训内容： 月光宝盒项目为了满足双11当天天猫所有会场坑位效果计算的需求，尝试对HBase集群进行了一系列的应用和优化，顺利支撑双11当天各个流量峰值时刻的读写压力。本次是对这些经验的总结与分享，和大家探讨交流HBase在高并发读写应用场景下的实践方法。 内容大纲：...
View Article一淘数据部-基数估计的概率算法
本博客会陆续更新一淘数据部 各位技术同学分享的资料。 本次分享的内容来自夜沨同学: 受众： 对基数 概率算法感兴趣的同学。 简介: 内容： 1、基数的概念、应用、传统计算方式极其局限； 2、三种计算基数的概率算法、相关数理分析、比较及实现重点 文件下载：基数估计的概率算法及uv计算中的应用-PDF文件
View Article一淘数据部-Linux上进程的表示以及入门
本博客会陆续更新一淘数据部 各位技术同学分享的资料。 本次分享的内容来自太奇同学: 受众： 对Linux系统感兴趣的同学。 简介: 1.理解linux系统上进程的原理以及实现 2. 信号处理简述 3. 了解内存管理初步知识 4. 打开通向linux内核的大门 文件下载：linux进程的表示及入门-PDF文件
View Articlestorm入门教程 第一章 前言
1.1 实时流计算 互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。...
View ArticleClik here to view.
Storm入门教程 第二章 构建Topology
2.1 Storm基本概念 在运行一个Storm任务之前，需要了解一些概念： Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce...
View ArticleClik here to view.
Storm入门教程 第三章 Storm安装部署步骤
本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： 1. 主控节点（Master...
View ArticleClik here to view.
storm入门教程 第四章 消息的可靠处理
4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。 4.2 理解消息被完整处理 一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建。 我们来思考一下流式的“单词统计”的例子： storm任务从数据源（Kestrel...
View ArticleClik here to view.
Storm入门教程 第五章 一致性事务
第五章 一致性事务 Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。 Transactional...
View ArticleClik here to view.
淘宝商家数据部 隆重招贤纳士！
没赶上20年前关系型数据库系统的狂潮，不要紧！ 没赶上8年前分布式数据处理系统的突飞猛进，不要紧！ 但是现在摆在大家面前的大数据应用浪潮，你不珍惜，那就太可惜了！ 未来是你们的，也是我们的，但终究是大数据的！ 如果你精通海量数据处理技术or精通数据可视化技术or精通数据挖掘及算法技术or网站和前端开发牛人，对业务及数据敏感，那么请加入淘宝商家数据部吧！...
View Article
