数据挖掘学习计划（收藏16篇）

时间:2025-03-02 作者:好拿网

❖ 数据挖掘学习计划

三一文库（演讲致辞/公众演讲

大家好！欢迎大家来参加我们今天这个联络中心大数据系列应用的讲座，这一次我们这个讲座是我们这一系列的第一次课程。我们的观众和观众在**前面。

首先简单介绍一下所谓联络中心的大数据应用，这个系列课程还是围绕着现在比较流行大数据的概念，然后跟联络中心之间彼此相关的关系，跟相应的应用，那我们会有六个课程的主题。

第一部分是大数据的数据挖掘。第二个主题是跟大家介绍有关大数据的基本概念，第三个部分会跟大家介绍联络中的一个全局的战略，第四个部分是在讲联络中的精准营销上面的运用，第五个部份是怎么运用联络中心提升客户的体验，最后第六个这个单元我们会跟大家介绍一下如何在联络中心内部搭建测试学习这个平台。

在我们开始以后的课程之前，我将花点时间简要介绍一下我自己的个人背景。

我叫徐元亮在联络中心这个行业工作有超过15年以上的时间，那最早我求学跟第一份工作是在台湾但是从2003年以后就在内地开始工作，那在大陆这边也有超过10年以上工作时间。在学校部分我在台湾的国立台湾大学心理系取得本科的学历，之后在美国德克萨斯贝勒大学bayloruniversity取得教育心理学的学位。

，，协助它建立**销售中心整个筹建以及后面规模的运作，那个人最大的管理幅度当时大概下面管理大概超过有2000的座席。年营业额超过10亿。那在2004年以后离开了企业界，在外面开始从事咨询与专门培训的工作那我今年开始20xx年也成立专门这个培训工作室，。

以上是我们的资历简介，然后我们将参加这一系列的正式课程。

❖ 数据挖掘学习计划

客户流失的市场活动及数据挖掘应用————《电信业客户流失管理》读书笔记（大三crm）

从《电信业客户流失管理》（罗布·马蒂森著人民邮电出版社）中，我了解到，电信业是与客户交流频繁、客户支持要求高的行业。目前，电信运营商面临着激烈的市场竞争，对客户的竞争也越来越激烈。每个企业都有客户流失的问题。从客户生命周期的各个阶段来讲，留住一个客户所需要的成本是争取一个新用户成本的1/5，尤其对于剩余客户市场日渐稀疏的通信市场来说，减少客户流失就意味着用更少的成本减少利润的流失，这点已经为运营商所广为接受。

所以如何对客户进行有效的管理，如何提高客户的满意度及忠诚度，如何防止客户流失，是电信运营商在客户管理中的重要内容。作者robmatheson以他在ibm担任顾问的丰富实践经验，描述了如何通过客户流失管理促进企业发展。

虽然我从其他资料中了解到，在中国目前相对垄断、缺乏竞争力的环境下，客户流失现象与发达国家相比还有一定差距。但是随着3g格局明确后，各运营商都有了多种满足市场的手段；新电信法出台后，部分国外运营商，特别是那些虚拟运营商和增值业务运营商将把中国潜在的巨大发展空间作为新的战场，中国各运营商之间的客户流失大幕就拉开了。因此，客户流失管理非常重要。

在这本书中，我最感兴趣的一章是客户流失的分类。作者根据客户流失的原因对客户流失进行了分类。在顾客离开的各种原因中，有两类非常明显。笔者从更高的层面对其进行了总结。第一种是非自愿的，另一种是自愿的。

非自愿客户流失包括受骗、薪酬过低和使用不足的客户。

自愿性客户流失包括两个方面，一个是无意的，另一个是有意的。非故意客户流失是指客户的财务、地理位置和生活方式的改变，不再需要企业的产品和服务。蓄意客户流失发生的原因有技术的（客户想要更新的或更好的技术）、**的、质量的、社会心理的以及便捷度方面的因素，客户不再认为使用企业产品有任何价值。

上述客户流失的原因是多方面的。运营商只有明确客户流失的类型，才能更好地管理客户流失。然而问题所在是当营运商面临海量的客户资料时，应如何才能够从中提取出有效的信息以判断客户流失的状况或者倾向。一般来说，顾客不愿意把自己的愿望和理由一一告诉经营者。

在这里，我想到了老师在课堂上关于数据挖掘的知识，它的数据挖掘能力在这里是非常有用的。数据挖掘可以对以前的客户数据进行分析，找出未来会有什么样的客户离开。即使客户离开，也不是所有流失的客户都会完全消失。

赢得客户活动的目标是重新获得失去的客户。

但是这种方法具体是怎么做的？所以我就带着这个问题寻找相关的信息，并简要介绍数据挖掘在客户流失分析与管理中的应用过程。

(1)定义主题客户流失分析中的主题。主题是数据挖掘的主要目标，应该包括流失客户的特征；现有客户的流失概率如何(包括不同细分客户群的流失程度)；哪些因素造成了客户的流失等。该主题确定了以下过程中数据挖掘的主要方向，因此定义应该非常清楚。

(2)数据选择。数据选择是数据挖掘的前提，主要是确定数据字段的收集，因为并不是所有的客户信息都会对客户的流失产生影响，应尽可能地降低数据的复杂度以发掘较高的关联度，但是考虑到后期客户流失的多维分析，应当尽量确保客户信息的完整性，因此，应对客户的有价值信息予以区分收集，剔除部分冗余数据，减少数据噪音。此间要注意的是在客户流失分析上，从数据仓库中采集数据的主要目的是调查客户信息的变化情况，因此对数据采集时间间隔的设置显得尤为重要。

若采集时间过长，可能在流失判断出来时客户已然流失；如果采集时间太近或实时采集，则应考虑运营商现有系统的支持能力。我发现前五个月的消费行为趋势（流量、收入、欠费金额）是按年龄和网络持续时间收集和分析的。

（3）分析数据。数据分析主要是对提取的数据进行分析，找出对**输出影响最大的数据字段，并决定是否定义导出字段。在分析数据时，我们需要仔细选择参与**相关丢失客户数据的建模，以便有效地建立模型。

数据分析的过程还应包括数据清理和数据预处理。数据清洗和预处理是建模前的数据准备工作，包括数据采集、数据转换、缺陷数据处理等。数据采样是根据预先确定的数据进行采样，选择采样而不是整体处理，以降低系统的处理能力。

另外，样本一般分为建模样本和测试样本，一部分用于建模，另一部分用于修改和测试模型。数据转换是为了保证数据的质量和可用性。例如，一些数据挖掘模型需要对连续数据进行离散化和规范化。缺损数据有时可以不做处理，由后面具体选择的数据挖掘模型来处理。

（4）模型建立。本文利用各种数据挖掘技术和方法对数据进行分析，从多个模型中找出最佳模型。在初始阶段，模型的拟合程度可能不高，因此需要反复替换模型，直到找到最合适的模型来描述数据并从中找出规律。

建立模型通常由数据分析专家配合业务专家来完成，常用的流失分析模型主要有决策树、贝叶斯网络和神经网络等。

（5）模型的评估与检验。模型建立后，只有通过训练集的测试才能考虑下一步的应用。比较常规的验证方法是输入一些历史的流失客户数据，运行此模式予以判断，比较数据挖掘的结果与已知历史结果的差异。

对客户流失的判断通常有两个错误的结果。一是抛弃了事实，即原有的历史客户有流失的趋势，已经流失，但模型不能准确的**客户流失趋势；二是存在虚假错误，即原用户没有流失倾向，但被模型判断为有流失倾向。区别主动离开和被动离开对企业来说是非常重要的。

数据挖掘可以对以前的客户数据进行分析，找出未来会有什么样的客户离开。即使客户离开，也不是所有流失的客户都会完全消失。赢得客户活动的目标是重新获得失去的客户。

（6）应用模型。从前面的工作中可以得出一些简单的结论，比如通信支出越少的客户越容易流失、欠费频率越高的客户越容易流失等。除此之外，数据挖掘人员还应配合业务专家，根据数据挖掘分析寻找流失的原因，并找出潜在的规律，对未来的客户流失进行**，建立信用机制，指导业务行为，提升服务质量，保持住有价值的客户。

❖ 数据挖掘学习计划

要求如下：

任职要求教育程度：本科或以上学历，统计/数学/计算机科学专业;

工作经验：二年以上相关通信行业业务支撑或者BI工作经验

个人素质要求：

数据分析(COGNOS，BO等)、数据挖掘工具软件(如SPSS，SAS等)

2. 熟悉数据仓库;

3. 有IT行业数据/研究/规划工作经验;

4. 强烈的`数据敏感度，较好的逻辑分析能力和解决问题能力;

北京盛大百年科技发展有限公司

主要致力于移动通信行业的数据开发和数据挖掘

base主要在北京，但是需要经常出差到现场

❖ 数据挖掘学习计划

1、通过海量数据挖掘、机器学习等方法，构建用户画像、个性化推荐、销量预测、风险控制等系统

2、参与数据挖掘项目的设计、实现、算法调研、优化

3、用户分析、理解及建模，持续提升用户产品体验

4、调研并促进数据挖掘在公司多个业务领域的应用

任职资格：

1、熟悉Java、Scala或Python编程语言，有Java多线程、AkkaActor编程经历者优先。

2、熟悉hadoop、Spark、Redis、ES以及数据可视化等方面者优先

3、拥有基于MapReduce的分布式编程思想，熟悉常用的机器学习算法，如：决策树、SVM、聚类、回归、贝叶斯、神经网络。且有上述算法的分布式实现与优化经验者优先

4、熟悉大规模分布式系统理论，研读过mllib/mahout/H20/TensoFlow等源码，在项目中将分布式算法应用到业务当中者优先。

5、较强的英文文献阅读理解能力，相关文档编制能力

❖ 数据挖掘学习计划

本文是由论文工作室上传的：数据挖掘在物流业中的应用-物流管理论文(1)。您可以通过本文底部的“下载”来下载本文的文档。

数据挖掘在物流业中的应用刘晓华（山东工商学院统计学院山东烟台

论文摘要：本文在对数据挖掘的概念概述的基础上，着重介绍了数据挖掘在物流业中的应用。

论文关键词：数据挖掘；物流业；信息系统Abstract: Based on the concept outlined on the basis of data mining, this article emphatically introduced its application in logistics industry.

一、数据挖掘概述

数据挖掘，是指从大量的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。它是数据库研究中的一个新领域，融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术，把人们对数据的应用从低层次的查询，提升到从数据中挖掘知识，提供决策支持的层级。从商业角度看，数据挖掘是一种商业信息处理技术，特点是对商业数据库中的数据进行抽取、转换、分析等，从中提取可用于辅助商业决策的关键数据。数据挖掘的目标是从大量数据中，发现隐藏于其后的规律或数据间的关系，从而服务于决策。数据挖掘一般有以下几类任务：

1、分类。分类分析就是通过分析样本数据库中的数据，为每个类别做出准确的描述，或挖掘出分类规则，然后用这个分类规则对其他记录进行分类。

关联分析。数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联，关联分析的目的是找出数据库中隐藏的关联网。

4、预测。预测是根据对象属性之过去观察值来预测该属性未来之值。数据挖掘自动在大型数据库中寻找预测性信息。

不满足规则的特例等。

二、数据挖掘在物流业中的应用

现代物流系统是一个庞大复杂的系统，特别是全程物流，包括运输、仓储、配送、搬运、包装和再加工等环节，每个环节信息流量十分巨大，使企业很难对这些数据进行及时、准确的处理。为了帮助决策者快速、准确地做出决策，提高企业的运作效率，降低物流成本、增加收益，就需要一种新的'数据分析技术来处理数据。数据挖掘技术能帮助企业在物流信息系统管理中，及时、准确地收集和分析各种信息，对客户的行为及市场趋势进行有效的分析，了解不同客户的爱好，从而为客户提供有针对性的产品和服务，提高各类客户对企业和产品的满意度。物流决策系统是一种结合了数据挖掘和人工智能的新型经营决策系统，主要通过人工智能对原料采购、加工生产、分销配送到商品销售的各个环节的信息进行采集，并利用数据仓库和数据挖掘对其进行分析处理，确定相应的经营策略。数据仓库作为数据挖掘的基础，它具有面向主题的、集成的、随时间变化的特性。各个联机事务处理系统作为数据仓库的原始数据源，以文件方式提供企业在日常活动中收集的数据资料和报表，同时还有大量的外部信息等数据。基于数据挖掘的物流信息的体系结构主要由以下几部分组成：

采购决策、存货控制、采购价格管理等信息管理子系统。

记录客户购买信息、管理销售价格、处理应收货款及退款等。

进出货管理、机械设备管理、流通加工等功能子系统，负责相关信息的处理。

应收帐进行会计操作，同时对物流中心的整个业务与资金进行平衡、测算和分析，编制财务报表，并与银行进行转帐。结算系统主要功能是利用现有的业务信息管理系统和计算机处理能力，自动为客户提供各类业务费用信息，为广大物流企业的自动结算提供一套完整的解决方案。

运输调度计划、分配计划等功能子系统。

6．物流分析系统。其主要功能是应用ＧＩＳ技术与运筹决策模型，完善物流分析技术。

物流、资金流和信息流所产生的信息并加以利用，在数据仓库技术、运筹学模型的基础上，运用数据挖掘工具对历史数据进行多角度、立体的分析，实现对物流中心的资源的综合管理，为决策提供科学决策的依据。

三、进行数据分析与决策

决策管理人员在日常管理业务中收集并存储了大量的数据，但却很难掌握到所希望得到的信息，这是因为一方面缺乏足够的信息来支持科学的决策，另一方面，积累的丰富数据没有发挥应有的作用。这是由于涉及的数据量大，且来源广泛，传统的操作型数据库已无法支持生产物流管理系统的分析功能。

搭建的系统模型可有效的为决策者提供强有力的数据，以便于进行最终的决策，而使企业立于不败之地。

沃尔玛公司就是一个成功应用数据挖掘技术的大公司。一个典型例子，是客户的菜篮子分析，从客户购买的记录中得出客户会同时购买哪些产品。其中最著名的结论是，一个生病的消费者的购买篮包括橙汁和咳嗽糖浆――如果一个消费者购买了咳嗽糖浆，他就有30%的可能会同时购买橙汁。这些结论可以战略性的布置货品在仓库中的位置，以促进交叉销售和某类交易模式。

很显然这正是库存储位管理系统所表现出来的强劲的说服力。由此可以看出，关联规则挖掘通常比较适用与记录中的指标取离散值的情况。如果原始数据库中的指标值是取连续的数据，则在关联规则挖掘之前应该进行适当的数据离散化（实际上就是将某个区间的值对应于某个值），数据的离散化是数据挖掘前的重要环节，离散化的过程是否合理将直接影响关联规则的挖掘结果。这样通过对数据分析，可以制定出有利于企业发展的战略决策，使其立于不改之地。

此外，还可得出以下决策过程中的结论：

★客户发展分析：对于生产物流来说，客户是影响利润的一个重要因素，所以从不同层次分析客户，提供更加快捷、周全的服务来增加新客户，以提供生产效率和利润。

★市场竞争分析：通过对市场占有率、竞争对手情况等分析来为决策人员提供科学的信息，以提高自身在市场竞争中的地位。

★部门绩效分析：将生产物流管理策略转化为企业内部各个部门的执行力，通过制定各个部门，包括财务、仓储、配送、生产等方面的考核指标，在统计分析的基础之上形成各个部门的绩效考核体系，通过分析掌握和了解各个部门的执行力度以及效率等情况。

★生产利润分析：分析各种产品的产出与投入之比以及发展趋势等。

★客户价值分析：根据客户与企业之间的关系，衡量客户对整个企业生产效率的贡献度进行分析，包括客户当前价值分析和潜在价值分析等。

★业务发展分析：在现有业务的基础之上，如何通过改善管理来发展业务，譬如说如何根据生产节拍，使仓库的供货和库存达到一个平衡，同时也使生产线的排队达到平衡，从而提高物流效率，为进一步业务发展提供科学的依据。

★供应商信用度分析：对供应商供应的商品进行质量、时效、质量价格比等进行分析，是衡量供应商供货好坏的一个标准，也是企业选择合作伙伴的一个重要参考指标。引入数据仓库技术，在分析其系统体系结构的基础上，提出基于数据仓库的生产物流决策管理系统，解决基于传统操作型数据库的决策管理系统存在的问题，将分散的、标准不同的、逻辑关系不一致的数据经过分析、抽取、转换、整合到统一的数据仓库中，通过多维分析和数据挖掘，形成生产物流决策管理人员所需要的信息和数据，从而有利于生产物流决策管理人员做出科学的决策，提高自身在市场竞争中的地位。

在现代物流管理系统中充分利用基于数据挖掘技术的物流体系，为物流企业决策者提供决策支持，有利于提升物流企业的核心竞争力，使企业能够及时、准确地调整经营策略，适应市场的变化，有效的拓展市场，扩大生存空间，实现可持续发展，在激烈的市场竞争中立于不败之地。

❖ 数据挖掘学习计划

职责：

1、负责对海量文本内容进行要素提取，精分类别、关联挖掘等技术的研发工作；

2、负责实现文本挖掘技术的产品化，并且结合招标领域开展应用与优化；

3、能指导较低职位的工程师完成工作；

4、能与高校科研机构进行协同创新。

任职资格：

1、模式识别/人工智能/计算机相关专业，本科或以上学历；3年以上工作经验；

2、正直、诚信、敬业、有激情、有良好团队交流能力；

3、精通Java、Python语言，熟悉linux基本开发环境；

4、精通NLP相关领域知识，拥有较为丰富的文本处理经验：精准分词、实体抽取、属性抽取、关系抽取、分类聚类、主题挖掘、POI挖掘等；

5、具有NLP实战经验，参与过相关项目，有知识图谱/深度学习研发经验者优先；熟悉Hadoop、 Spark、Storm等分布式处理框架者更佳；

6、熟悉Git，SVN等通用工具；

7、对自然语言处理、知识图谱构建、人工智能等具有浓厚的兴趣。

❖ 数据挖掘学习计划

清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的.

搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据.

将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的.建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键.

对所得到的经过转换的数据进行挖掘.除了完善从选择合适的挖掘算法外,其余一切工作都能自动地完成.

解释并评估结果.其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术.

将分析所得到的知识集成到业务信息系统的组织结构中去.

在对网站进行数据挖掘时，所需要的数据主要来自于两个方面：一方面是客户的背景信息，此部分信息主要来自于客户的登记表；而另外一部分数据主要来自浏览者的点击流，此部分数据主要用于考察客户的行为表现。但有的时候，客户对自己的背景信息十分珍重，不肯把这部分信息填写在登记表上，这就会给数据分析和挖掘带来不便。在这种情况之下，就不得不从浏览者的表现数据中来推测客户的背景信息，进而再加以利用。就分析和建立模型的技术和算法而言，网站的数据挖掘和原来的数据挖掘差别并不是特别大，很多方法和分析思想都可以运用。所不同的是网站的数据格式有很大一部分来自于点击流，和传统的数据库格式有区别。因而对电子商务网站进行数据挖掘所做的主要工作是数据准备。

生物基因数据挖掘则完全属于另外一个领域，在商业上很难讲有多大的价值，但对于人类却受益非浅。例如，基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因？这都需要数据挖掘技术的支持。对于生物信息或基因的数据挖掘和通常的数据挖掘相比，无论在数据的复杂程度、数据量还有分析和建立模型的算法而言，都要复杂得多。从分析算法上讲，更需要一些新的和好的算法。现在还远没有达到成熟的地步。

在现实世界中，可获取的大部分信息是存储在文本数据库中的，由来自各种数据源的大量文档组成。由于电子形式的信息量的飞速增长，文本数据库得到飞速的发展。文档数据库中存储最多的数据是所谓的半结构化数据(semistructure data)，它既不是完全无结构的，也不是完全结构化的。在最近数据库领域研究中已由大量有关半结构化数据的建模和实现方面的研究。而且，信息检索技术已经被用来处理费结构化文档。传统的信息检索已经不适应日益增长的大量文本数据处理的需要。因此，文档挖掘就成为数据挖掘中一个日益流行而重要的流行课题。

Web上有海量的数据信息，怎样对这些数据进行复杂的应用成了现今数据库技术的研究热点。数据挖掘就是从大量的数据中发现隐含的规律性的内容，解决数据的应用质量问题。充分利用有用的数据，废弃虚伪无用的数据，是数据挖掘技术的最重要的应用。显然，面向Web的数据挖掘比面向单个数据仓库的数据挖掘要复杂得多。因为它面临如下诸多挑战：

1、对于有效的数据仓库和数据挖掘而言，Web的存储量实在是太庞大了。

2、 Web页面的复杂性远比任何传统的文本文档复杂得多。

3、 Web是一个动态性极强得信息源。

4、 Web面对的是一个广泛形形色色的用户群体。

5、 Web上的信息只有很小的一部分是相关的或有用的。

一般的，Web数据挖掘可分为三类：Web内容挖掘(Web content mining)，Web结构挖掘(Web structure mining)，Web使用纪律挖掘(Web usage mining)。

面向Web的数据挖掘是一项复杂的技术，由于上述种种挑战的存在，因而面向Web的数据挖掘成了一个难以解决的问题。而XML的出现为解决Web数据挖掘的难题带来了机会。由于XML能够使不同来源的结构化的数据很容易地结合在一起，因而使搜索多样的不兼容的数据库能够成为可能，从而为解决Web数据挖掘难题带来了希望。XML的扩展性和灵活性允许XML描述不同种类应用软件中的数据，从而能描述搜集的Web页中的数据记录。同时，由于基于XML的数据是自我描述的，数据不需要有内部描述就能被交换和处理。作为表示结构化数据的一个工业标准，XML为组织、软件开发者、Web站点和终端使用者提供了许多有利条件。相信在以后，随着XML作为在Web上交换数据的一种标准方式的出现，面向Web的数据挖掘将会变得非常轻松。

当前，DMKD研究方兴未艾，其研究与开发的总体水平相当于数据库技术在70年代所处的地位，迫切需要类似于关系模式、DBMS系统和SQL查询语言等理论和方法的指导，才能使DMKD的应用得以普遍推广。DMKD的研究还会形成更大的高潮，研究焦点可能会集中到以下几个方面：

发现语言的形式化描述，即研究专门用于知识发现的数据挖掘语言，也许会像SQL语言一样走向形式化和标准化。

寻求数据挖掘过程中的可视化方法，使知识发现的过程能够被用户理解，也便于在知识发现的过程中进行人机交互。

研究在网络环境下的数据挖掘技术（WebMining），特别是在因特网上建立DMKD服务器，并且与数据库服务器配合，实现WebMining。

加强对各种非结构化数据的开采（DataMining for Audio ＆ Video），如对文本数据、图形数据、视频图像数据、声音数据乃至综合多媒体数据的开采。

交互式发现。

知识的维护更新。

但是，不管怎样，需求牵引与市场推动是永恒的，DMKD将首先满足信息时代用户的急需，大量的基于DMKD的决策支持软件产品将会问世。只有从数据中有效地提取信息，从信息中及时地发现知识，才能为人类的思维决策和战略发展服务。也只有到那时，数据才能够真正成为与物质、能源相媲美的资源，信息时代才会真正到来。

❖ 数据挖掘学习计划

一、专利数据挖掘

数据挖掘技术是延伸和扩展了传统分析方法,可以发现传统分析方法不能发现的内容和规律,并且它将人们从单调、枯燥的阅读专利文献的工作中解放出来,使用计算机代替了人类劳动,这样不仅提高了效率,而且提升了准确度。因此,数据挖掘作为一个专利分析的强有力工具被引入到专利分析中来,并且得到快速的发展应用。专利数据挖掘流程应考虑的问题：一是用数据挖掘解决什么样的问题；二是为进行数据挖掘所做的数据准备；三是数据挖掘的各种分析算法。故专利数据挖掘的一般过程通常按照以下步骤来完成：领会数据挖掘的目的，获取分析所用的数据集合，探索、清理和预处理数据，选择要使用的数据挖掘技术，使用算法解决问题，解释算法的结果。而其一般流程可简化为三个阶段：数据准备→数据挖掘→结果解释和评价。本文采用简化的流程进行实证分析。

二、石家庄地区制药企业专利数据挖掘

本文对石家庄地区制药企业的专利数据进行挖掘分析，挖掘对象是华北制药集团公司、石家庄制药集团有限公司、石家庄神威药业股份有限公司、石家庄四药股份、河北以岭药业股份有限公司、石家庄市华曙制药集团、河北医科大学制药厂、河北圣雪大成制药有限责任公司等地址在石家庄且具有一定代表性的药企，希望通过这些药企数据能够找到石家庄地区制药领域的核心组成，并能为药企更好地发展提供有力的信息支持。IPC号是目前权威的专利技术主题的标识编码之一,基本包含了各行各业的专利信息，是一个庞大的专利信息体系。目前国内外很多分析方法及技术大部分是基于专利的IPC分类号来分析专利技术主题的,此分析方法有一定的参考价值和科学性,而且对于具有大量专利信息的分析具有很好的总结概括效果。本文以专利全部IPC号为分析对象,并且构建IPC号之间的关联规则,在最大程度上揭示隐含的专利技术关联性，从而为石家庄地区制药企业专利技术的发展提供参考。

1.数据准备。数据来源的准确与否是数据分析与挖掘的基础，是数据分析与挖掘的根本。本文所使用的石家庄地区制药领域专利数据由万方数据公司提供，以制药企业地址为石家庄为检索条件，搜索出了包括从1985—2014年间石家庄地区制药领域专利644条,分别分布在A、B、C、D、E、F、G、H八个大部。对专利数据库中的644条专利进行筛选，根据“分类号”字段限制，它涉及专利信息的分类,有些IPC所涉及的范围与石家庄地区制药领域没有联系或联系很小,不宜保留。根据“申请人（专利权人）”字段的限制,剔除与石家庄地区制药不相关或制药企业地址不在石家庄地区的专利。最后筛选出590条最符合该领域特点的专利。由于IPC号在几乎所有现存数据库中均是以一个字段存储一个专利的所有IPC分类号的，形如:A61K38/26、A61K9/08、A61K47/12、A61P3/10，且每个专利一般都有好几个分类号，而每个企业又研究大量的专利，所以在进行专利分析之前,需要对专利IPC号进行数据整理。由于过于细致的IPC分类号并不利于专利主题的分析与揭示,所以本文中采用专利小类分析,就是取IPC号的前4位。并将申请人与其对应的多条IPC号进行拆分,拆分后的数据项有773条，即显示每个申请人对应的一条IPC分类号。

2.数据挖掘。本文数据挖掘过程将采用Excel和SQLsever2005软件，首先对所得到的数据导入SQLserver2005进行挖掘，利用SQLserver2005可以直接进行IPC号的关联规则挖掘，然后对专利信息进行分析。

3.数据挖掘结果与分析。基于关联规则制作依赖关系网络图,可以更加直观地看到各个IPC号之间的关联和依赖状态。

（1）以A61K、C12N、C12P、C07D、C07C为中心的核心专利技术群。这些专利的IPC分类号是关键部分药物组成的.各种化合物即药物主要成分的重要聚集组。A61K（医用、牙科用等的配置品）是项集次数最多的，即支持度较高的，C12P（发酵或使用酶的方法合成目标化合物或组合物或从外消旋混合物中分离旋光异构体）、C12N（微生物或酶；其组合物）、C07D(杂环环合物,例如邻氯苄星青霉素的合成)、C07C(无环和碳环化合物)通过专利相关知识我们已经知道这些都是药物的合成成分，即土霉素、链霉素、青霉素等多种抗生素和维生素的主要成分组成，是制药领域的核心。这也是和石家庄地区制药企业的核心领域相符合的。另外这些专利主题的相互关联、依赖说明了石家庄地区制药企业在该领域具有很好的布局网络，在研发数量上也占有一定优势，所以说是石家庄地区制药企业的主要研究领域。

（2）以B65G、C12M为中心的辅助设备专利技术群。药品的生产离不开设备的支持，所以设备方面的专利也能体现制药企业的技术水平。在图1中也能体现出来，专利间有着很强的依赖性和关联性，在核心专利周边有B65G（运输或贮存装置，例如装载或倾斜用输送机、车间输送机系统、气动管道输送机）、C12M（酶学或微生物学装置），这些是制药的辅助技术手段，与中心专利是相互联系的，也是制药过程中必不可少的，在这些方面的提高有利于制药核心领域的发展。先进药品的研制离不开先进制药设备支持，所以设备水平的提高也是关键的。如图3所示，石家庄地区制药企业在这一方面的技术依赖网络也已经形成,说明在此技术领域也已经拥有较强实力。但与中心主要专利相比,辅助设备专利技术还是需要不断提高的。

三、总结

对专利的研究有着巨大的潜在价值，我们能通过数据挖掘技术对专利进行挖掘，发现隐含在其中的有用信息，为企业的有效发展提供保障。石家庄地区制药企业在专利方面是河北省此领域的发达企业，所以发现其中隐含的价值及蕴含的规律能带动河北省制药行业快速发展，同时也能发现自己存在的问题。总的来说，我们只有利用挖掘工具把数据转化为有用的信息，才能帮助企业制定有效的决策，才能在市场竞争中获得优势地位。本文有很多不足之处，还有待更为深入的研究。

❖ 数据挖掘学习计划

职责：

1.依据项目需求建构数据萃取与转换流程

2.挖掘数据特征，进行数据和特征融合

3.搭建数学模型，并对模型进行检验评估

职位要求：

1、计算机、数学、统计、人工智能等相关专业的硕士或以上学历;

2、二年以上数据挖掘、机器学习相关工作经验，熟悉python、spark、pandas、sklearn等数据分析工具者优先;

3、熟练掌握贝叶斯、随机森林、深度学习等机器学习算法;

4、突出的分析问题和解决问题能力，自我驱动，并且具备较强的学习能力、创新应用能力及沟通协调能力，有良好的团队合作意识;

5、有国际背景或能熟练使用英文沟通者优先

❖ 数据挖掘学习计划

岗位职责：

1、对数据进行分析关联；

2、以数据为依托预制精准方案，对数据进行分析和评估；

3、深入发掘业务需求，开发各类数据模型；

4、研究、创新、开发和实践新技术应用；

★好拿网深夜阅读陪伴计划:

专业学习计划 | 简单韩语学习计划 | 赴台学习计划 | 针灸学习计划 | 数据挖掘学习计划 | 数据挖掘学习计划

岗位要求

1、掌握数据统计、挖掘和机器学习基本原理；

2、良好的数据和业务理解能力，具备一定写作能力；

3、熟悉oracle数据库和sql操作，能够编写存储过程和package更佳；

4、熟悉至少一种分析挖掘工具，python或者r语言尤佳；

5、熟练使用excel，包括公式、透视图、作图等；

6、关注数据分析能力以及tableau可视化能力。

❖ 数据挖掘学习计划

岗位职责：

1.负责项目的需求调研、数据分析、商业分析及数据挖掘建模等工作；

2.根据业务需求，制定用户相关数据的采集策略，设计、建立、测试相关的数据模型，从而实现从数据中提取决策价值，撰写分析报告；并跟踪分析客户业务数据，为客户提供决策支持；

3.研究数据挖掘模型，参与数据挖掘模型的构建、维护、部署和评估工作；

4.完成需求分析、样本抽样、模型构建、指标定义以及相关文档编写；

任职要求：

1.数学、统计学本科及以上学历，硕士学历优先考虑;

2. 5年以上互联网、金融行业数据分析、数据挖掘工作经验；

3.熟悉决策树、时间序列模型、回归分析模型、聚类挖掘、贝叶斯、关联规则挖掘等数据统计模型和挖掘技术，并有独立完整的建模实践经验；

4.熟悉sql、r、python等语言，熟练使用spss、sas等数据分析工具；

5.有大数据并行处理经验，能使用hadoop/hive分析海量数据；能高效的'与技术团队进行沟通；

6.良好的数据敏感度，能从海量数据提炼核心结果；有丰富的数据分析、挖掘、清洗和建模的经验；

7.对数据驱动业务有深入理解，对数据与业务方面有足够敏感性，有较强的逻辑分析能力，有较强的独立思考能力；

8.能独立编写商业数据分析报告，及时发现和分析其中隐含的变化和问题，具备良好的商业敏感度和创新意识，快速识别商业问题和机会。

❖ 数据挖掘学习计划

1、从大量数据集中找出异常数据一般用什么数据挖掘算法哈

2、有没有同学对数据测试比较熟悉的，能不推荐一些书籍(当时问到，我没怎么答上来)

3、接上题，将源表中的数据中的某些字段映射ETL到目标表字段，应该用哪些测试用例和测试方法

4、把100个石头随机放入十个篮子中，最后随机从十个篮子中抽取两个篮子，最后两个篮子里的'数值相减，两篮子之差就是最后的得分。那么，最初怎么分配石头到两个篮子里，使得两个篮子之差得分最优。

SQL、数据结构算法之类的还是要重新温习下~~

6、问得最多的一问题，你去到了深圳，怎么样知道深圳大概有多少家旅馆，不能问别人或者查找任何资料，需要用统计学方法~~(被问过很多次，不过都没答上来过，杯具)

❖ 数据挖掘学习计划

1、数据挖掘要解决的问题

可伸缩（算法在处理各种规模的数据时都有很好的性能。随着数据的增大，效率不会下降很快。）

高维性（简单的说就是多维数据的意思。平时我们经常接触的是一维数据或者可以写成表形式的二维数据，高维数据也可以类推，不过维数较高的时候，直观表示很难。）

异种数据和复杂数据

数据的所有权与分布（分布式数据挖掘：应付分布式海量数据的现代方法）

非传统的分析（传统方法：基于一种假设-检验模式；数据挖掘分析-时机性样本，而不是随机样本）

2、数据挖掘任务

2）描述任务

A预测建模：分类-预测离散的目标变量和回归-预测连续的目标变量

B关联分析

C聚类分析

D异常检测（识别其特征显著不同于其他数据的观测值。这样的观测值称为异常点或离群点）

3、属性的四种类型

1）标称

2）序数

3）区间

4）比率

（布尔变量：Boolean Variable (布尔型变量) 是有两种逻辑状态的变量，它包含两个值：真和假。如果在表达式中使用了布尔型变量，那么将根据变量值的真假而赋予整型值

❖ 数据挖掘学习计划

自KDD一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议以来。迄今为止,由美国人工智能协会主办的KDD国际研讨会已经召开了13次,规模由原来的专题讨论会发展到国际学术大会,人数由二三十人到超过千人,论文收录数量也迅速增加,研究重点也从发现方法逐渐转向系统应用直到转向大规模综合系统的开发,并且注重多种发现策略和技术的集成,以及多种学科之间的相互渗透。其他内容的专题会议也把数据挖掘和知识发现列为议题之一,成为当前计算机科学界的一大热点。

与国外相比，国内对DMKD的研究稍晚，没有形成整体力量。1993年国家自然科学基金首次支持我们对该领域的研究项目。目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究，这些单位包括清华大学、中科院计算技术研究所、空军第三研究所、海军装备论证中心等。其中，北京系统工程

研究所对模糊方法在知识发现中的应用进行了较深入的研究，北京大学也在开展对数据立方体代数的研究，华中理工大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等单位开展了对关联规则开采算法的优化和改造；南京大学、四川联合大学和上海交通大学等单位探讨、研究了非结构化数据的知识发现以及Web数据挖掘。