数据采集 分布式爬虫mongoDB/MapReduce/hadoop程序开发编写 编程

数据之美工作室简介        

立志做中国领先的大数据全产业链数据解决方案提供商

n 数据之美工作室成立于信息大炸和大数据的时代，数据之美工作室力图在大数据时代的海量数据中深根细作，利用计算机学（数据挖掘、机器学习、模式识别）、统计、计量经济、金融领域的知识发现数据的学术价值或商业价值，为学生朋友、科研同仁、企业客户创造价值。

n 我们的成员由首都北京985、211高校的多名硕博士高学历人员及技术大牛组成，部分成员有海外留学、交叉学科的复合背景经历，还有多名成员曾就职于北京中关村软件园内某知名的互联网公司 和 园区内 世界500强企业。

n 团队成员长期活跃在互联网技术，大数据，经济金融研究大舞台，紧跟国际学术发展前沿，数据挖掘、机器学习、模式识别、统计及计量方法运用娴熟，实战经验丰富。

n 我们专注于提供互联网数据采集、处理、数据分析、数据挖掘、图像识别、量化投资方面的服务，以及其他专业领域数据服务（个人工作学习，本硕博论文，中小企业研发）。

n 我们擅长python，matlab，SAS，Stata，spss，R，Weka，Java，C++等工具和语言。

2. 互联网数据爬取；网页爬虫；数据处理；各行业数据分析；数据挖掘

l（1）新浪、腾讯、搜狐、网页四大微博的各类数据，包括 微博、粉丝、评论、关注

（2）购物网站的商品信息，包括名称、价格、图片、描述、评价

（3）新闻类、论坛、博客、等各类咨询网站的采集

（4）制定采集开发，可以按客户的需求，采集您需要的数据

（5）多线程采集

爬虫策略

在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，主要的采集策略有以下几种：

深度优先的策略

深度优先的遍历策略类似家族继承策略，典型的如封建帝王的继承，通常为长子，如果长子去世，长孙的优先级大于次子的优先级(这点大家多多仔细分析琢磨下)，如果长子和长孙都已经去世，那么次子继承，这种继承上的优先关系也称深度优先策略。(从这点上我们可以了解到蜘蛛的抓取栏目页先后顺序)，这主要体现在读一个站点的深入采集上。

宽度优先的策略

宽度优先我们又称为广度优先，或者叫层次优先，例如：我们在给祖辈和父辈还有平辈敬茶的时候先给最年长的祖辈，其次为父辈，最后为平辈。这主要体现在对多个不同网站的抓取上。

这两种策略决定了爬虫采集的覆盖面和深入度，一般来说搜索引擎爬虫兼具这两种策略，具体的操作策略则是根据网站的不同而有所不同。 

 数据挖掘

 数据挖掘的方法主要有：关联分析、聚类分析、预测、时序模式分析和偏差分析等。

常见和应用最广泛的算法和模型有：

1、传统统计方法：抽样技术、多统计分析和统计预测方法等。

2、可视化技术：用图表等方式把数据特征直观地表述出来。

3、决策树：利用一系列规则划分，建立树状图，用树形结构来表示决策集合，可用于分类和预测，常用的算法有CART、CHAID、ID3、C4.5、C5.0等。

4、人工神经网络：模拟人的神经功能，从结构上模仿生物神经网络，经过输入层、隐藏层、输出层等，对数据进行调整、计算，最后得到结果，是一种通过训练来学习的非线性预测模型，可以完成分类、聚类、特征挖掘、回归分析等多种数据挖掘任务。

5、遗传算法：基于自然进化理论，在生物进化的概念基础上设计的一种优化技术，它包括基因组合、交叉、变异和自然选择等一系列过程，通过这些过程以达到优化的目的，模拟基因联合、突变、选择等过程的一种优化技术。

6、关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为“A1∧A2∧…∧An→B1∧B2∧…∧Bn”。一般分为两个步骤：第一铂求出频繁数据项集；第二铂用频繁数据项集产生关联规则。

7、最近邻技术：这种技术通过已辨别历史记录的组合来辨别新的记录，它可以用来做聚类和偏差分析。

Hadoop应用

数据挖掘方面服务（支持向量机，神经网络，聚类，关联规则）

l智能算法（进化算法，蚁群算法）

社会网络计算