新闻类

奥迪q5报价,discovery,桂林生活网-莫风24小时滚动新闻

常识图谱( Knowledge Graph)以结构化的方式描绘客观国际中概念、实体及其联络,将互联网的信息表达到更挨近人类认知国际的方式,供给了一种更好地安排、办理和了解互联网海量信息的才能。上述一大段是我从2018常识图谱开展陈述中copy下来的一段话,用普通人能听懂的人话来描绘:常识图谱便是把去发现人间万物的之间的联络。 在技能上便是将数据以一个一个的的三元组方式存储起来。

不知道咱们有没有这样一种感触,假如你在某一范畴的学习了解到许多的常识碎片,却无法将他们相关起来,这些常识碎片并不会加深你对这一范畴的认知。而假如你能将他们联络起来,串联成一张常识网,那很有或许你便是这个范畴决议的专家。因为你的脑中有这个范畴的常识网,你就能知道这个范畴的鸿沟在哪。常识图谱便是要将常识串联起来,构成一张常识网。

常识图谱的使用场景:

常识图谱首要分为两类:

通用常识图谱和范畴常识图谱。通用常识图谱首要需求常识的广度,而范畴常识图谱需求常识具有深度。

  • 通用常识图谱最遍及的使用场景便是:搜索引擎,
  • 范畴常识图谱的使用场景则比较丰富多样:司法,医疗,金融,电商等各行各业都可以构建归于自己职业的常识图谱,而这些常识图谱可以用于智能问答,辅佐决议计划,危险躲避等。

当然以上仅仅常识图谱被使用最多的场景,还有一些很有潜力的使用场景,比方将常识图谱和深度学习结合等。常识图谱这个新的,年青的概念还等着咱们去探究更多的使用或许性。

常识图谱的构建简介

这儿笔者就不没有考虑事务逻辑,也不考虑构建进程中一下细节技能,直接讲一个简略粗犷版的构建流程。

  • 实体抽取,实体链接(两个实体同一个意义需求规整),现在最干流的算法便是CNN+LSTM+CRF进行实体辨认。
  • 实体之间,联络抽取,拿到常识图谱最小单元三元组,比较经典算法的便是Piece-Wise-CNN,和 LSTM+ Attention 。
  • 常识存储,一般选用图数据库(neo4j等)。

可是要留意的是,常识图谱一定要最早界说好构建它是用来干什么,方针事务导向,界说好契合事务逻辑schema层才是最最重要的。有了schema之后接下来的使命便是实体抽取和联络抽取啰,其间联络抽取是把常识点串联成一张常识网的重要进程,所以这儿笔者侧重介绍一下最近在常识图谱范畴很火的有监督的联络抽取使命的一个模型PCNN。

联络抽取之PCNN(Piece-Wise-CNN)

这儿笔者细心解说一下有监督的联络抽取的使命的数据款式,使命方式,以及PCNN(Piece-Wise-CNN)的思维和tensorflow完成。

联络抽取数据:

data.png

input : 语句 Steve Jobs was the co-founder of Apple Inc和两个entities Steve Jobs 和 Apple Inc

out: 实体之间联络 : /business/company/founder

所以咱们可以将其笼统成一个分类问题,输入语句和实体信息,然后让模型分出这两个实体之间的联络归于哪一类。

PCNN

下图明晰了显现了PCNN的整个网络架构,原文链接在这儿,下面我对着下图介绍一下PCNN的完成进程:

  • 数据预处理:首要对数据进行方位编码,按语句中各个词离entity的间隔进行编码。
  • 例如:“As we known,Steve Jobs was the co-founder of Apple Inc which is a great company in America.”
  • 因为语句中有两个entity,所以这条语句就会发生两个和语句长度相同的编码。
  • pos_1:[-4,-3,-2,-1,0,1,2,3......] ,其间0便是Steve Jobs的方位。
  • pos_2:[-9,-8,-7,-6,-5,-4,-3,-2,-1,0,1,2,3......] 其间0便是Apple Inc的方位。
  • 切分语句:其间最首要的便是将一条文本数据在两个entity处各切一刀将文本且成了3段
  • 比方 As we known,Steve Jobs was the co-founder of Apple Inc which is a great company in America,将被切成:
  1. As we known,Steve Jobs
  2. Steve Jobs was the co-founder of Apple Inc
  3. Apple Inc which is a great company in America.
  4. 留意,方位向量也相同进行了切分操作。
  • 特征提取:将方位特征和文本特征拼接之后,然后将上面三个数据别离经过CNN 提取特征,
  • 联络分类:提取出来的特征经过maxpooling层之后进行拼接后送入softmax层,终究得到relation的分类。


  • pcnn.png
  • 从上面PCNN的流程咱们可以发现,这个网络结构很重视entitiy之间的间隔信息,方位信息,以及entitiy之间或许左右的信息。其实这些都是是联络抽取中最重要的特征。
  • 一般来说两个entitiy之间间隔越近,则他们有联络的或许性越大。
  • 而透露出entities之间有联络的词一般会出现在两个entity之间,左边,或许右侧。
  • 例如:Steve Jobs was the co-founder of Apple Inc , 联络词 co-founder就在两个entity之间

tensorflow 代码完成

因为之前对PCNN的整个流程有了比较具体的解说,这儿笔者仅仅简略的介绍一下代码构成。

下方这一步是现已将文本向量和方位向量进行了切分,因为文本被两个entity分成了三段,再这三段加上各自的两个方位向量。所以网络总共有9个输入,加上联络label输出,总共需求界说10个placeholder。

import tensorflow as tf
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '1'
tf.reset_default_graph()
word_ids_left = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
word_ids_mid = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
word_ids_right = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
pos_l_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_l_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_m_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_m_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
label = tf.placeholder(dtype=tf.int32,shape=[None,n_class])

下方代码这是PCNN的完成,其间Piece_Wise_CNN函数是对PCNN的完成。

def get_sentence_emb(word_ids,pos_1,pos_2):
pos_emb_l1 = tf.keras.layers.Embedding(input_dim=498,output_dim=10,input_length=100)(pos_l_1)
pos_emb_l2 = tf.keras.layers.Embedding(input_dim=498,output_dim=10,input_length=100)(pos_l_2)
return tf.concat([word_ids,pos_emb_l1,pos_emb_l2],2)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
def Piece_Wise_CNN(left_emb,mid_emb,right_emb,feature_map,n_class):
left = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(left_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
left = tf.keras.layers.GlobalMaxPool1D()(left)#[batch_size,feature_map]
mid = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(mid_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
mid = tf.keras.layers.GlobalMaxPool1D()(mid)#[batch_size,feature_map]
right = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(right_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
right = tf.keras.layers.GlobalMaxPool1D()(right)#[batch_size,feature_map]
final_feature = tf.concat([left,mid,right],1)#[batch_size,3*feature_map]
out = tf.keras.layers.Dense(n_class,activation="softmax")(final_feature) #[batch_size,n_class]
return out
def train_op(out,label,lr):
losses = tf.nn.softmax_cross_entropy_with_logits_v2(
logits=out, labels=label)
loss = tf.reduce_mean(losses)
train_op = tf.train.GradientDescentOptimizer(learning_rate=lr).minimize(loss)
return train_op,loss

这儿是界说train_op部分。

left_emb = get_sentence_emb(word_ids_left,pos_l_1,pos_l_2)
mid_emb = get_sentence_emb(word_ids_mid,pos_m_1,pos_m_2)
right_emb = get_sentence_emb(word_ids_right,pos_r_1,pos_r_2)
out = Piece_Wise_CNN(left_emb,mid_emb,right_emb,20,n_class)
train_op,loss = train_op(out,label,lr = 0.01)

结语

这儿笔者首要是想经过PCNN这个经典的联络抽取网络阐明:其实有监督的联络抽取使命的要害是需求神经网络了解两个entity之间的语义连接,所以,而怎么使用好语句中entity周围的词语的语义信息和entity之间的方位信息,或许是处理这类使命的要害。笔者在之前的文章中屡次强调过自然语言处理终究方针仍是期望算法可以了解语义。像PCNN这个网络则提出了切分语句,会集留意力重视语句供给要害信息的部分(自己的了解),也许是一个好的方向。

作者:王鹏你妹

链接:https://www.jianshu.com/p/f29bc334c4f9

相关文章