基于深度学习的电子病历中实体关系抽取_吴嘉伟
第4卷第3期2014年6月
智能计算机与应用
INTELLIGENT COMPUTEＲAND APPLICATIONS
Vol．4No．3Jun．2014
基于深度学习的电子病历中实体关系抽取
吴嘉伟，关毅，吕新波
（哈尔滨工业大学计算机科学与技术学院，哈尔滨150001）
摘要：电子病历中包含着医疗领域的丰富知识，对于医疗健康信息服务有着重要的意义。其中的概念实体之间的关系是医疗
对于获取医疗领域中疾病、治疗、检查之间关系有着重要的意义。针对于电子病历中文本结构稀疏的特点，知识的重要组成部分，
原有的基于词的特征表示效果有限，所以从特征选择的角度出发，提出了一种基于深度学习的特征学习，将有限的上下文特征进行进一步抽象表示的方法。实验中使用深度稀疏自动编码来对实体上下文的向量表示进行再表示，来得到更抽象和更有识别意义的特征。实验表明，本文使用的深度学习进行特征的再表示方法对于识别的召回率对比于基线实验有比较明显的提高。
关键词：电子病历；实体关系抽取；特征选择；深度学习中图分类号：
TP391
文献标识码：
A
文章编号：2095－2163（2014）03－0035－05
A Deep Learning Approach in ＲelationExtraction in EMＲs
WU Jiawei ，GUAN Yi ，LV Xinbo
（School of Computer Science and Technology ，Harbin Institute of Technology ，Harbin 150001，China ）
Abstract ：Electronic medical records contain huge quantity of medical knowledge ，and it has great importance to the clini-cal decision support system．The relations of concepts and entities are very important in the medical knowledge and have significance in getting the relation of diseases ，treatment and test．According to the sparsity of the text in the EMＲ，original method based on the word feature can be limited．This paper starts from the feature selection and makes a research on the feature learning based on deep learning to extract abstract features from the limited context among the entities．Then this pa-per uses the deep sparse auto －encoder to make a representation of the vector of context for getting more abstract and Dis-criminative features．The experiment shows that the method of learning features by deep architecture can reach a better re-sult than the baseline experiment by improving the recall rate of the relation extraction．Key words ：EMＲs；Entity ＲelationExtraction ；Feature Selection ；Deep Architecture
0引言
之间的关系来进行和展开
［3］
，研究中选用的关系定义来源于。抽取这几类实体间的关系
电子病历是医疗机构生成的针对于医疗活动过程中文字、图表等数据的数字化信息，而且也是便于转储、管理和传输的医疗记录
［1］
I2B2评测提供的8种实体关系类型，例如关系TrIP 定义为治疗改善或治愈了医疗问题
［4］
，其中的内容是由医务人员撰写的与患者开可以构造基于患者健康状况的个体病历的简明摘要，并且可以发现潜在的药物之间的联系。同时以医疗问题为中心，将抽取得到的实体关系组织起来，由此而形成对于医疗知识中疾病、治疗和检查等概念的系统表示。
目前电子病历中的实体关系抽取主要采取机器学习的方法，将关系抽取任务转化为多分类的问题
［5－6］
包括病程记录、出院小结等部分。展医疗有关的过程实录，
电子病历中包含了大量丰富的医疗知识，通过分析即可得到用药情况以及治疗方式等各项之间的诸如疾病的患病特征、
潜在联系。这样的知识数据可以对医疗问题决策提供有建并且还可以为用户建立个性化的健康模型。设性的帮助，
电子病历是结构化文本和非结构化文本相结合的一种因此可以通过自然语言处理的方法，来对其进行知识数据，
信息的抽取，以得到有用的医疗知识。电子病历中的一些专业概念，在自然语言处理问题中可称为实体，例如药品名称、治疗名称，实体和实体之间存在着语义关系
［2］
。其具体过
程为：首先对候选实体进行特征选择，加入医疗知识作为辅并将抽取得到的特征转化为特征向量，在向量空间助分析，
模型中进行有监督学习的分类判别，由此而得到实体对的关系。鉴于电子病历的结构特殊性和领域特殊性，对于其任务中的特征选择，将在很大程度上影响关系识别的准确性。但是对于全领域中的特征选择，并没有能对领域中特征之间的关系实现整合，因而也并未形成有判别性的特征。同时，若将医疗领域丰进一步考虑到有些实体所处上下文信息不足，富的词典知识适当地引入就显得尤为必要。
，当两个实体
实体以及其对应的上下文就决定了这出现在一个句子中时，
两个实体之间的关系。实体关系抽取任务可以完成对给定实体关系类型的判断，针对于电子病历中的数据，就可以选择合理的特征来对实体之间的关系实现有效甄别。
电子病历中的实体关系抽取主要针对疾病、治疗和检查
收稿日期：2014－04－24
作者简介：吴嘉伟（1989－），男，黑龙江哈尔滨人，硕士研究生，主要研究方向：自然语言处理、电子病历信息抽取；
关毅（1970－），男，黑龙江宁安人，博士，教授，博士生导师，主要研究方向：自然语言处理、领域本体；吕新波（1982－），男，内蒙古牙克石人，博士研究生，主要研究方向：用户健康信息学、病历信息抽取。
1相关工作
电子病历中的实体关系抽取主要针对单句中的实体对，
进行关系类别判定时，主要采用的方法则是机器学习中的分类算法
［4］
。
［7］
Ｒoberts在已有的研究中，在临床信息抽取系统CLEF
中使用了SVM 分类器来实现对关系的识别，研究中试图对跨句子的关系识别进行尝试，但是得到的准确率却较低。Uzuner 等［4］针对电子病历单句内实体关系的抽取，把关系识别视为分类问题，问题中的实体关系可分成6大类，并针对每一种类均训练一个特定的分类器，以实现对应关系类别的辨识，并对其特征选择了实体相对位置特征、组成实体的词及其上下文、上下文之间的依赖关系等语法。Demner －Fushman
［8］
图1电子病历中词的缩写
Fig．1An example of word abbreviation in the EMＲ2．2
关系抽取方法
实体关系抽取问题的基本方法是将其转化为一个多分类问题
［4］
针对I2B22010数据，对关系抽取任务的特征选择
，对实体进行特征提取，转化为特征向量，再进行分
部分添加了其他资源以助力提升识别的准确率，再融入医疗词典资源和UMLS 中的概念关系来扩充特征，来共同解决部分实体上下文内容比较稀疏的问题，研究结果表明词典资源在电子病历关系抽取任务中起到了重要作用。Berry de Brui-jn
［9］
类器的训练学习。对于实体关系抽取的任务，其关系的描述多取决于词级别和上下文的词之间的关系和组合，为此将选择特征如下：
实体中包含的词、实体中包含的词的词性、实体前的2个词、实体后的2个词、实体前的2个词的词性、实体后的2个词的词性、实体的类型特征、实体之间的位置关系特征。
将这些特征组合为特征向量，词特征可表述为（w i －2，w i －1，w i +1，w i +2），word end 对应的实体特征则表示为（type ，begin ），type 为对应的实体类其中word begin 包含了实体中所有的词，
型。其后，则将得到的特征向量引入关系类别识别的分类任务中，即对训练数据实行有监督的学习2．32．3．1
基于深度学习的关系抽取词特征的特点
由于词特征在自然语言处理中是比较低级的特征，而对这样于词之间的组合和共现关系则可以得到更高级的特征，的特征可以表示更加丰富的意义；或者，多个词之间的组合可以与单个词有相近的语义表达，这样的特征对于实体关系识别将具有特别重要的意义，可以作为一个有判别性的特征对分类进行有针对性的指导。2．3．2
特征学习
机器学习问题分为两个部分。第一部分是对数据进行处理，并且针对研究任务选择合适的特征和表示来对数据进行形式化描述，第二部分则是针对数据的表示来进行分类模型的训练和学习，如此即使分类模型在给定的数据表示下得到可判别的效果。
对词的特征的进一步表示可以转化为特征学习的问题，问题实质是如何从数据中学习得到一个符合任务的特征表示。考虑到词之间组合的层次关系，以及概念意义的抽象层次，可选择深度学习的结构来进行多层表示的学习。2．3．3
深度结构
深度结构是由多层神经网络组成的，每层节点由上层节点的取值来决定当前节点是否应该激活，示例为一个四层的神经网络，构成了一个深层结构，具体则如图2所示。
［15］
end
则对比研究了有监督分类和基于自学习的半监督分类
方法在关系抽取中的效果表现，更通过加入未标注数据和句法分析中的依存分析结果，而使得关系抽取的识别在效果上有比较明显的提升。Xiaoyan Wang 等
［10］
还对电子病历从统
计方法入手，来计算疾病和症状的上下文共现以挖掘对应实
［11］
体对之间的关联关系。Oana Frunza 等又针对疾病和治疗
之间的三种关系研究中，选择在每个多分类模型上均给出一个可能性最大的类型预测结果，而在分类模型的选择上，则在以朴素贝叶斯为代表的概率分类模型和以SVM 为代表的线性分类模型上取得了较好的结果。
。
2
2．1
电子病历中的实体关系抽取
电子病历中数据及预处理
本课题研究的电子病历中的实体关系抽取，其数据主要
［4］
来源于I2B2在2010年的评测任务中所提供的病历训练数
据，并且还带有官方标注实体、实体间关系的语料。原始数据为非结构化文本数据，下面即对其进行句子级别的关系抽取。
电子病历中词语存在着大小写不统一、词形以及领域词缩写等问题，针对这些问题，要对电子病历进行词级别的预也就是进行过滤和修改。针对大小写和词形的问题，处理，
则可以通过由UMLS 提供的语言处理工具luiNorm 对其中的领域词表现了较好的识别能力。工具，
电子病历中也存在一些缩写词，示例则如图1所示，在应该将其展开为多个词的组合，也意义上若为了明确表示，
就是将缩写词进行拆分以得到对应的词，有利于更小粒度的特征提取，这样就形成更多的组合特征。还有些缩写在医疗领域中具有着特殊的意义，为此这些词也需要进行展开，实现方法是通过使用UMLS 中提供的metamap 叙词表来进行词的展开和替换，图1的方框中即给出了词的特殊表示意义
［13－14］
［12］
进行归
一化的映射。luiNorm 是针对医学领域的词级别处理的专业
。
由以上过程得到的表示结构和词特征的形式类似，词作而高级特征也可以继续为基本特征将不断聚合成高级特征，
生成新的特征，所以实验中正是通过这样的方法来尝试提升词特征的效果。2．3．5
稀疏特征限制
判别一个学习到的特征是在进行特征再表示的过程中，
则要定义一个损失函数，以其对否为原始输入的良好表示，
数据重构的准确性进行判别。两个向量之间的距离可通过公式（2）来进行计算：
J （w ，b ）=
图2多层神经网络
Fig．2Multi －layer neural network
h 1层节点的值由前层V 的节点值计算得到，图2中，具体公式为：
h 1j =σ（
其中，σ（z ）=
12
‖h （x ）－x ‖2
（2）
对于一个特征的表示，如果越稀疏，就说明这样的特征只被少数的上层节点所激活，也就是这样的状态是只有部分在一定程度上起到了相应的判别作数据才能达到的状态，用
［20］
。所以，为对这一部分做以改进，也就是使得这样的特
∑W
（1）
ij V i +b
（1）
）（1）
征的判别效果更为明显，可在损失函数的后面加上权重的正则项来提高模型得到特征的稀疏性，具体公式为：
J （w ，b ）=
2．3．6
特征表示
1λ2
‖h （x ）－x ‖+22
1
，作为激活函数，将实数值映射到1+e ∑W
i ，j
2
ij （3）
［0，1］0为神经元节点的抑之间，与神经元节点的原理相似，1为激活状态，制状态，以此来描述一种触发的组合状态，从而表示一种特征2．3．4
［16－17］
首先将电子病历中的实体上下文词进行过滤，实验中，
根据任务特点以及电子病历的文本结构特点，可先进行词性的过滤，只保留有判别意义的词性，并去除停用词，按照词频再将其中词频最高的1．5%的词从表中去除，这些进行筛选，
词对于识别领域内的实体关系并不具有明显的效果或是指此后即可只针对于描述关系有意义的词性以及部分导意义，
非通用词来进行特征的选择和表示
［21］
。
自动编码机
［17］
自动编码机（auto －encoder ）是一种深度学习结构的基本单位，深度学习的过程就是获得逐层学习特征的表示
，
来进行特征的不断抽象和整合，每层学习均可得到一种新的表示，这种表示还能通过某种方式表示成原来的数据，如图3所示
。
。
将特征分成两部分表示。第一部分使用深度结构对特征进行表示，对于词级别的特征表示为一个0－1词向量，对D =｛w 1，w 2，w 3，…，w N ｝为上下其上下文出现的词进行编码，
文中出现的词的全集，其中每一个词对应一个向量v i =｛δ1，…，δ2，δ3，δN ｝，并且δj =
{
0，j ≠i 1，j =i
，1≤j ≤N 。关于一个实体对
应的上下文，对其进行统一的表示，可得到上下文对应的向量表示：V k =
图3自动编码结构
Fig．3Architecture of auto －encoder
通过如图3所示的结构，可以进行一次特征的变换，如果学习到的特征，也就是隐层节点能够重构表示为曾经的原始输入，则认为这个特征是原始输入的一个良好表示。深度进行逐层的特学习的多层神经网络可以以此作为基本模块，
征抽象，再利用得到的隐藏层节点作为新的输入来进行其下一层的表示学习。在逐层学习的过程中，使用反向传播算法来进行参数的调整，每次只训练一个三层的神经网络，即只有输入层、隐藏层、输出层的一个神经网络。这样做一方面防止了神经网络层数过深可能导致的陷入局部最小值的问题，另一方面也可以通过这样无监督的学习，得到数据的分布表示
［18］
w ∈P k
∑v
w
，其中P k 为第k 个实体候选相对应的上
下文的词集合
［21］
。这个表示通过多层自动编码来进行深层
特征的抽取，作为词特征的新表示。在进行深度学习的特征不仅是对输入数据的编码压缩，也是对词多层抽象过程中，级别特征的连续整合。
另一部分，将已经具有明确意义的可区分特征直接作为输入特征，包括将实体类别特征，实体相对位置特征进行分开，还是表示为原来的数据。生成了两部分特征之后，将其统一整合得到完整的特征，来进行分类预测。
3实验结果与分析
本文使用2010年I2B2评测会议中公开的英文电子病
历数据进行实验的训练和测试，数据中已完成去隐私的工作，并且对于标注语料也完成了实体的识别。实验针对一句中的实体候选对来进行关系类别的识别。实验数据中训练数据一共包含3120对实体关系，测试数据中包含6293对
，同时又达到了对数据降维的效果
［19］
。
实体关系。对其进行前面所述的预处理工作之后，对词进行筛选得到词特征。对词进行词形还原词性过滤和词频过滤，
和归一化处理之后对词进行编码，构成词的向量空间模型表示，进行基线实验的有监督分类学习，实验中使用CＲF模型来对得到的向量进行分类。
深度学习实验部分，采取了两部分对比实验，分别采用原始方式和加入稀疏特征约束的两种方式的模型。实验中
表1
词特征构成的上下文特征的0－1向量维数为3595，设置隐
［22］
1000，训练三层的神经网络。藏层节点参数分别为2000、
对抽取的特征进行分类之后得到结果。
结果的评价是分别对于8种预定实体关系展开准确率、F1值的计算，召回率、对比实验效果如表1所示，表中加重的数字表示实验效果提升的部分。实验结果
Tab．1Ｒesultof the experiments
基线实验
实体关系类别
TrAP
TeＲPTrIP TrCP TrWP TrNAP PIP TeCP
P 76．289．458．367．3064．3100．072．8
Ｒ97．298．29．239．208．0100．029．3
F185．493．615．949．5014．3100．041．8
P 77．289．250．946．842．948．499．156．8
多层自动编码
Ｒ90．194．117．847．42．713．498．138．2
F183．191．626．347．15．221．098．645．6
P 78．290．644．367．066．743．6100．063．0
多层稀疏自动编码
Ｒ95．696．217．844．41．815．2100．039．3
F186．093．325．453．43．622．5100．048．5
从结果中可以看出，通过深度学习对有限的特征进行不断抽象，可以在基线实验的效果之上获得一定的提升，并且主要对于一些召回率过低的类别的识别具有更为明显的提升效果。多层自动编码的实验中，对TrIP 和TrWP 两个类别的提高较大，但是对于原有的识别较好的关系却略有下降，这就说明特征引入了一些噪声干扰。加入了稀疏性约束之相对于原来的两个实验则得到了一个较后的自动编码模型，
好的整体提升效果，其中对于特征提取的限制更加严格，特征的稀疏性也得到了限制，并且对于噪声进行了合理过滤，这就使得真正具有判别意义的特征能够保留下来，因而分类的效果得以提升。
［2］UZUNEＲO ，MAILOA J ，ＲYANＲ，et al．Semantic relations for
problem －oriented medical records ［J ］．Artificial Intelligence in 2010，50（2）：63–73．Medicine ，
［3］徐永东，权光日，王亚东．基于HL7的电子病历关键信息抽取
J ］．哈尔滨工业大学学报，2011（11）：89–94．技术研究［
［4］UZUNEＲD S O ，SOUTH B Ｒ，SHEN S．2010I2B2/VAchallenge
on concepts ，assertions ，and relations in clinical text．Challenge ，2011，18（5）：552–557．
［5］．合肥：中国科学技术张奇．信息抽取中实体关系识别研究［D ］
2010．大学，
［6］J ］．中文信息学报，2005车万翔，刘挺，李生．实体关系自动抽取［
（2）：1－6．
［7］ＲOUBEＲTSA ，GAIZAUSKAS Ｒ，HEPPLE M ，et al．Extracting
．BMC Bioinformat-clinical relationships from patient narratives ［J ］ics ，2008，9Suppl 11（June ）：S3．
［8］DEMNEＲ－FUSHMAN A A D ，APOSTOLOVA E ，ISLAMAJ D Ｒ，
et al．NLM ’s system description for the fourth I2B2/VAchallenge ［C ］//Proceedingsof the 2010I2B2/VAWorkshop on Challenges in 2010．Natural Language Processing for Clinical Data ，
［9］De BＲUIJNB ，CHEＲＲYC ，KIＲITCHENKOS ，et al．Machine －
learned solutions for three stages of clinical information extraction ：the state of the art at I2B22010［J ］．Journal of the American Medical In-formatics Association ，2011，18（5）：557–562．
［10］WANG X ，CHUSED A ，ELHADAD N ，et al．Automated knowl-edge acquisition from clinical narrative reports ［J ］．AMIA Annual Symposium proceedings AMIA Symposium ，2008：783–787．［11］FＲUNZAO ，INKPEN D．Extraction of disease －treatment semantic
relations from biomedical sentences ［C ］//Proceedingsof the 2010Workshop on Biomedical Natural Language Processing ，2010，（Ju-ly ）：91–98．
［12］http ：//lexsrv2.nlm. nih. gov /LexSysGroup/Projects/lvg/2012/docs/
userDoc /tools/luiNorm．html
（下转第41页）
4结束语
本文提出了一种针对英文电子病历的实体关系抽取的
以及词特征的特征学习方法。针对电子病历文本结构特点，
有限表达问题，首先对电子病历中的词进行有效性的过滤和筛选，初步筛选能够获得在识别上可能有意义的词，组成上下文的一个表示，然后通过深度学习来学习上下文的一个表示，从而发掘词之间的组合关系特征，对于实体关系抽取任务能够实现一定的效果提升。实验证明，相对于电子病历中的实体关系抽取任务，采用这样的方法对有限特征进行再整合生成更高级的特征，对于识别的召回率可获得较大的提升，并可使更多的关系得到正确识别。然而，该方法距离真正可使用的精度要求还有一定差距，进一步提升的空间比较大，可以从更多的特征上面入手进行再次抽象，而且在数据集合更大的情况下，可通过预先统计和添加规则的方法进行初步词过滤，由此而将上下文的特征进行一个更好的表示。
参考文献：
［1］，中华人民共和国卫生部．电子病历基本规范（试行）．［Online ］
available ：http ：//www.gov. cn /zwgk/2010－03/04/content_1547432．htm ，2010－03－04．
California ，November ，2004：73－82．
测试用例需求，并在此基础上进行测试需求的优化，由此即构造出与测试需求相关的测试用例。
amples ［C ］//Foundationsof Software Engineering．Newport Beach ，［9］JEFFＲEYD ，GUPTA N．Improving fault detection capability by selec-tively retaining test cases during test suite reduction ［J ］．IEEE Trans．2007，33（2）：108－123．Softw．Eng．，
［10］SHEN Shengyu ，QIN Ying ，LI Sikun．Localizing errors in counterex-ample with iteratively witness searching ［C ］//theProceedings of 2nd International Conference on Automated Technology for Verification and Analysis ，Taipei ，Taiwan ，2004：56－469．
［11］叶俊民，张涛，董威，等．基于程序静态分析和故障树的软件故障
2008，34（16）：75－79．检测［J ］．计算机工程，
［12］吕春燕．用于程序错误定位的运行路径聚类方法［D ］．大连海事
2011．6．大学，
［13］ＲEPST ，BALL T ，DAS M ，et al．The use of program profiling for
software maintenance with applications to the year 2000problem ［C ］//Proceedingsof the 6th European Software Engineering Confer-ence Held Jointly with the 5th ACM SIGSoFT International Symposi-um on Foundations of SoftwareEngineering （ESEC ’97/FSE－5）．Zurich ，Switzerland ，1997：432－449．
［14］BAUDＲEYB ，FLEUＲEYF ，TＲAONY L．Improving test suites for
efficient fault localization ［C ］//InternationalConference on Software Engineering ，Shanghai ，China ，May 2006：82－91．
［15］ZHANG X ，GU Q ，CHEN X ，et al．A study of relative redundancy in
test －suite reduction while retaining or improving fault －localization 2010：2229－2236．effectiveness．SAC ，
［16］SANTELICES Ｒ，JONES J A ，YU Yanbing ，et al．Lightweight fault
－localization using multiple coverage types ［C ］//Proceedingsof the 31st International Conference on Software Engineering ，May 16－24，2009：56－66．
［18］WANG Tao ，ＲOYCHOUDHUＲYA．Automated Path Generation for
2005：347－351．Software Fault Localization ，
［19］CHEN Z ，XU B ，ZHANG X ，et al．A novel approach for test suite re-duction based on requirement relation contraction．SAC ，2008：390－394．
3结束语
目前的测试用例约简方法，都只研究了程序运行时的语
句覆盖情况，忽略了程序运行时的具体执行路径信息，因为具有相同语句覆盖的测试用例所对应的执行路径未必相同，而且约简测试用例时对错误定位的需求考虑并不充分，因此，约简后的测试用例对错误定位的精度没有明显提高，甚至某些测试用例选择方法还会降低错误定位的精度。如果面向错误定位需求约简出能够在分析程序执行路径基础上，
那么不仅能降低错误定位的复对错误定位有效的测试用例，
杂度，而且也必将有助于提高错误定位的精度。
参考文献：
［1］VESSEY I．Expertise in debugging computer programs ［J ］．Interna-1985，tional Journal of Man －Machine Studies ：A Process Analysis ，23（5）：459－494．
［2］WAGNEＲD．A first step towards automated detection of buffer over-run vulnerabilities ［C ］//Proc．7th Network and Distributed System Internet Soc ，2002：3－17．Security Symp ，
［3］ALEXANDＲEP ，ＲUIA ，ANDＲEＲ．A dynamic code coverage ap-proach to maximize fault localization efficiency ［J ］．Journal of Systems and Software ，2014：18－28．
［4］JAＲEDD D ，ＲICHAＲDJ E ，WILLIAM F P．Systematic bug finding
J ］．Computer and fault localization enhanced with input data tracking ［＆Security ，2013，32：130－157．
［5］MAO X G ，YAN L ，DAI Z Y ，et al．Slice －based statistical fault local-ization ［J ］．Journal of Systems and Software ，2014，89：51－62．［6］FEYZULLAH K ，HASAN S ，ＲＲIA．Spectrum －based fault localiza-tion for diagnosing concurrency faults ［J ］．Testing Software and Sys-tems ，2013，8254：239－254．
［7］GＲOCEA．Error explanation with distance metrics ［C ］//Toolsand
Algorithms for the Construction and Analysis of Systems （TACAS ），Barcelona ，Spain ，March /April，2004：108－122．
［8］CHAKI S ，GＲOCEA ，STＲICHMANO．Explaining abstract counterex-
檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸
（上接第38页）
［13］．现代白海燕，王莉，梁冰．UMLS 及其在智能检索中的应用［J ］
2012（4）：1－9．图书情报技术，
［14］方平，胡德华．一体化医学语言系统在医学科技信息检索中的应
2000（1）：32－36．用［J ］．湖南医科大学学报（社会科学版），
［15］ＲINKB ，HAＲABAGIUS ，ＲOBEＲTSK．Automatic extraction of
relations between medical concepts in clinical texts ，2011．［16］BENGIO Y．Learning deep architectures for AI．Foundations and
Trends in Machine Learning ，2009．
［17］BENGIO Y ，LAMBLIN P ，POPVICI D ，et al．Greedy layer －wise
training of deep networks ［C ］//Advancesin Neural Information Pro-2007．cessing Systems 19：Proceedings of the 2006Conference ，
［18］孙志军，薛磊，许阳明．深度学习研究综述［J ］．计算机应用研究，
2012，29（8）：2806－2810．
［19］HINTON G E ，SALAKHUTDINOV Ｒ．Ｒeducingthe dimensionality
of data with neural networks ［J ］．Science ，2006，313：504–507．［20］LE Q V ，ＲANZATOM A ，MONGA Ｒ，et al．Building high －level
2012．features using large scale unsupervised learning ［C ］//ICML，［21］COATES A ，LEE H ，NG A Y ．An analysis of single －layer net-works in unsupervised feature learning ［C ］//AISTATS14，2011．［22］ZHOU S ，CHEN Q ，WANG X．Active deep networks for semi －su-pervised sentiment classification ［C ］//InternationalConference on Computational Linguistics ，Coling 2010Organizing Committee ，Bei-2010：1515–1523．jing ，China ，