未来的世界作文(精选40篇)
18阅读 0评论
产品评论范文精选3篇(全文)?下面小编为大家介绍下“产品评论范文精选3篇(全文)”的详细内容:产品评论篇1本文从在线产品评论的特征、作用和分析技术三个方面对目前该领域的研究现状进行综述。关键词:在线产品评论; ...
产品评论范文精选3篇(全文)?下面小编为大家介绍下“产品评论范文精选3篇(全文)”的详细内容:
[提要] 本文从在线产品评论的特征、作用和分析技术三个方面对目前该领域的研究现状进行综述。
关键词:在线产品评论;文本评论;文本挖掘技术
基金项目:教育部人文社会科学研究青年基金项目:“网页中产品属性文本信息对消费者购买决策的影响机制研究”(编号:14YJC630204)
中图分类号:F724.6 文献标识码:A
收录日期:2015年5月31日
网络购物用户在网上购物时很多人都会浏览参考其他人对商品的评论信息, 并且在购物后进行在线评论。2006年开始对在线产品评论的研究不断增多(李恒, 2015)。由于该研究主题涉及信息系统、电子商务、消费者行为、图书与情报科学等多个不同领域的交叉, 相关研究文献较难得到系统性的整理。本文拟从在线评论的特征、作用、分析技术这三个方面对这些文献进行梳理。值得注意的是, 由于文献涉及范围过于广泛, 为了使本文综述主题聚焦, 文中关于在线评论的文献仅局限于商家购物网站的购买者评论, 也称为在线产品评论。其他在线评论或者在线口碑形式不在讨论之列, 比如第三方平台的评论(影评、试乘试驾评论、点评网站评论等)、社交媒体中的产品或企业评论(各类口碑、舆情、内容营销及互动等)。
一、在线产品评论特征
李恒(2015)把消费者的在线评论特征总结为分属于评论星级和文本评论两种形式下的12种维度。其中, 评论星级指的是购买者对该次购物的总体评价。这种形式中没有分出更多的维度, 因此评论星级就是一个维度。在文本评论这一形式中, 有评论标题、评论内容一般特性、评论内容的语义特征、评论内容的时间特性这四类。在这四类中分别包含了评论标题、评论质量、评论数量、评论长度、评论差异性、评论效价、评论类型、评论可读性、评论强度、评论及时性、评论时效性等11个维度。这12个维度具体的隶属关系以及其研究焦点属性本文将其整理至表1中。接下来本文针对表1中的各种在线评论特征维度和其研究焦点属性逐一进行解释。(表1)
评论星级指的是购买者对该次购物的总体评价。这种形式中没有分出更多的维度, 因此评论星级就是一个维度。通常的研究焦点在于评论星级的极端性与中立性的作用。以大部分购物网站采用的五星评分制度为例, 评论星级的极端性即一星为代表的极端负面评价与五星为代表的极端正面评价, 而三星反映中立态度。
接下来的文本评论中包含了网购用户有文字留言内容的评论中的各种特性的研究维度。大略可以分为文本评论标题和文本评论内容两类, 文本评论标题是评论者对评论内容的文本概括, 在除了在线产品评论以外的在线评论中比较常见。通过评论者自拟的标题使浏览者容易从标题的关键词以及总体情感倾向中搜索以及快速知晓评论整体内容, 但是在购物网站的用户评论中设置标题的并不多, 比如国内的淘宝、京东等购物网站的用户评论中均没有设置文本评论的标题。因此, 本文中不再赘述。文本评论内容就是网购用户用文字留下的购买感受的评价内容, 李恒(2015)将其特性分为一般特性、语义特征和时间特性三类。本文在介绍完表1这些特征之后, 再对其中未包含的一些特征进行补充。
评论内容的一般特性包括评论的质量、数量、长度和差异性。其中, 数量和长度比较好理解, 就是该产品下购买者的累计评论的总数和评论的文字字数长度, 其研究属性也是总数和字数长度的计量值。评论质量特性借鉴了霍夫兰德的说服模型中信息内容对说服效果的影响作用, 强调了在线产品评论作为消费者用来参考购买的有用信息, 信息的浏览者对于产品评论信息的真实性、可靠性、内容与其所评价的产品的相关性以及是否为后续购买者提供了大量有用的信息这几个方面的主观感知(郭国庆, 2010;李宏, 2011)。其研究属性也基本围绕这几个有关信息质量评价的主观因子展开。评论差异性, 即评论离散度, 能显示不同评论中购买者态度或观点上的分歧程度。其研究属性通常采用评论者对网络平台设置的评分项打分的方差或标准差来度量。
评论内容的语义特征包括评论的效价、类型、可读性和强度, 这些特性都与文字评论的文本内容的表达有关。简单来说, 效价代表了文本内容的词语描述中总体体现出来的情感倾向, 其研究属性有正面、负面和中立(或综合)之分;类型代表了文本词语中对产品属性及其体验的描述是客观还是主观之分;可读性代表了评论文本词语中每个评论者其自身带有的语言习惯表达、拼写、词汇选择、句长句式语法等是否容易让浏览阅读的人理解, 因此其研究属性也是浏览评论者的一种主观性的感知(Korfiati, 2012);强度代表了评论文本词语措辞中表现出的情感态度的强烈程度, 其研究属性主要集中于浏览者对负面口碑中负面情绪强度的感知程度(黎小林, 2007)。
评论内容的时间特性包括及时性和时效性, 这两条特性与评论的时间信息有关。评论及时性代表评论时间与购买时间的间隔远近, 研究属性是评论发表的天数, 但是究竟天数长好还是短更好可能并不是简单的线性关系, 因此到底是否及时的判断也就比较模糊了;而时效性代表评论时间与现在(浏览时间)间隔远近, 以及是否在最近有频率较高的密集评论, 这反映了该产品的近期火热与流行程度, 研究属性是评论浏览者对时效性强与弱的主观评价(刘逶迤、逯万辉, 2010;郭国庆等, 2010;龚思兰等, 2013)。
其他表1中未提及的较为重要的特性还有评论者特征等等。评论者的特征包括评论者是否匿名(身份知否披露)、评论者的专业性、评论者的声誉、排名等等(Racherla P, Friske W, 2012;Hyunmi et al.2012)。这个部分我们只是将这些现有研究中涵盖的特征进行了简单归类和罗列, 其中有些特征在技术、功能和研究范式发展过程中会出现不同程度的交叉重叠和所属类别上的变化, 在后文中会有所提及。
二、在线产品评论作用
以上谈到的是在线产品评论的特征, 对于在线产品评论的功能研究者们也有所探讨。在线评论的功能一方面包含有大量产品属性、使用价值方面的描述信息可以给潜在购买者信息上的借鉴, 帮助他们降低不确定性风险;另一方面评论中含有大量购买的情感体验和表达信息, 对商品有强大的推荐作用, 大量比较集中的正面或者负面评论会引起潜在购买者的从众行为, 影响他们购买或者不购买的最终决定。遵从这些意见购买产品(Park DH, et al.2007;Duan W J, et al.2008)。关于评论功能的衡量焦点主要集中在评论信息质量(评论有用性), 评论可信度和消费者态度形成与改变以及具体的销量数据等。
Mudambi和Schuff(2010)从信息经济学中信息的诊断性角度定义了评论信息质量。早期的评论信息质量的评价并不局限于文本评论, 但随着研究者对评论内容特征的关注, 评论质量越来越多用来反映文本评论内容对浏览者的信息参考价值。正如上文中提到对于文本评论而言评论质量包含真实性、可靠性、相关性、有用性四个方面。借鉴技术接受模型TAM中人们接收新技术会受到对新技术感知有用性的影响这一思路, 评论质量中关于评论有用性的评价指标更加受到重视, 并成为判断评价信息功能的主要研究变量。早期的评论有用性研究将评论星级及评论长度作为评论有用性的衡量指标, 其好处是指标简单, 易量化。后期产品评论研究的重点转向文本内容认知, 对于文本内容有用性的划分采用了评论长度和可读性两个维度来衡量, 有的研究中也将评论有用性定义为评论感知价值(Schindler&Bickart, 2012)。由于当前对文本内容分析的方法是基于文本语义属性的挖掘方法, 对于在线产品评论相关特征的数据采集和统计大都是通过网络信息搜索软件实现, 因此目前评论有用性的衡量通常是用网站中评论有用性的排名数据统计来替代。但是并不是所有购物网站的评论系统中都会设置评论是否有用这一浏览者打分机制, 并且受到文化的影响, 即便网站设置了这一功能, 国内的消费者也没有去给评论打分的习惯。因此这种衡量方式的有效性也一直受到争议。
研究中与评论有用性常常共同出现的一个衡量评论的功能的变量就是评论的可信度。由于在交流有关研究领域发现可信度与劝说性之间的强相关, 可信度被用来作为评论信息是否对潜在消费者态度以及行为有强的劝说性的衡量指标。从信息传播的角度来说, 信息源、消息和接受者是信息评价的3个主要的信息元素。因此相比于有用性, 在线评论的可信度更强调从评论强度、信息源的可信度、评论间的一致性、评论累积排名等维度来度量, 从已有的研究文献来看, 其中又主要侧重于对信息源可信度的判断, 也就是对评论者的可信度的判断(Cheung等, 2009)。Lis(2013)将信息源的专业度和值得信任程度作为信息源可信度的衡量标准和评论排名一起作为评论可信度的决定因素, 其中值得信任程度中包含评论内容的质量、与其他评论的一致性以及其他消费者对评论的认可这几个方面。因此, 评论可信度与评论有用性是有交叉又各有侧重的两个研究变量。研究者会根据研究方法以及目标选择其中合适的变量作为对评论功能的衡量。不过由于目前侧重于文本评论数据挖掘的研究方法所限, 还是以有用性的排名统计作为评论价值功能的衡量更多见。
其他还有一些研究变量, 比如将浏览者看完评论信息以后持有的态度作为衡量评论功能实现的衡量指标, 比如对产品的购买意愿、感知的产品质量、满意度、忠诚度等(Reyes A & Rosso P, 2012;Chang & Yen, 2013), 以及直接用企业经营数据, 比如产品的销量、企业收入、公司股价来作为评论的作用, 不过后两者多用于第三方评论或者公众舆论有关的评论效果研究中, 与在线产品评论有关的经营数据最主要的还是被评论产品的销量数据(Sonnier等, 2011)。
三、在线产品评论分析技术
在线评论信息挖掘研究集中在信息系统、电子商务管理科学等领域。近几年, 在线评论信息挖掘日益成为在线产品评论研究的热点, 由于文本挖掘技术的研究进展还处于不太成熟的阶段, 各领域中计算机科学和信息科学领域对文本挖掘技术的研究居多。文本挖掘技术和自然语言处理等技术现在已经能对半结构化和非结构化数据进行挖掘, 在线评论的表现形式为数量众多且非结构化的文本, 但是如何提高对在线评论的挖掘精确度也一直是技术研究领域关注的焦点。目前, 在挖掘技术上的研究集中于信息抽取、情感分析和文本分类这三类主流研究方法。信息抽取是情感分析的基础, 同时信息抽取和情感分析又是文本分类的基础。信息抽取主要是通过对评论中描述产品性能或功能的名词或短语进行关键词的抽取, 情感分析是通过语义分析对评论中需要联系上下文才能理解评论者表达效价进行情感倾向的判断, 挖掘出的信息结果包括抽取的主题特征 (价格、质量、外观等)、情感倾向 (正面、中立、负面)、文本类别(主题和情感类别)。以情感分析为例, 当前所广泛采用的文本语义属性分析的挖掘方法是不够成熟的, 无论是词语极性推测法、点互信息法、抽取主观表达式法还是构造情感词典法, 都是基于文本内容字面信息的加工和处理, 而文本内容所包含的潜在信息却是无法挖掘的, 如说话人的语言风格所反映出的评论人所属的用户群体或专业程度等, 因此仅从字面来进行情感倾向的判断存在一定的不精确性。
但是也有越来越多的学者在信息抽取和文本挖掘的基础上从实证研究角度对在线评论的有用性、对消费者态度以及商家销量的影响等进行研究。有学者利用主题特征信息抽取技术从在线评论中抽取产品特征和主题信息, 并以此研究发现评论中消费者提及最多的产品主题特征并不一定对他们的满意度影响最大(You WJ, et al.2012)。Cao等(2011)运用潜在语义文本分析文本挖掘法(LSA)应用logit回归模型研究了评论星级、评论时间、评论字数、评论中包含的句子数、语义特征(评论中的情感倾向)对评论有用性投票数的影响, 经过发现评论的语义特征对评论有用性影响最大。Min和Park(2012)从评论者经验这一角度出发应用文本挖掘和实证分析方法研究如何根据评论者经验识别出高质量评论。还有研究者通过对手机评论进行情感分析, 识别手机是否存在过度的功能设计并以此获得更多的顾客满意度来提高销售绩效(Liu P, et al.2010)。未来随着文本挖掘技术的进步, 分析精确性不断提高, 相信这类结合实证方法证明在线产品评论商业应用效果的研究也会越来越多并得出更有价值的结论。
四、结语
综上所述, 在线产品评论现阶段为止的研究有以下三个方面的特点:第一, 研究中关于在线产品评论的一般特征, 内容特征, 评论者特征等等这些特征形式早期研究较多。虽然在研究发展过程中会出现不同程度的交叉重叠和所属类别上的变化, 但随着购物网站评论体系设置的成熟化, 这些特征形式基本稳定下来, 并且主要的特征属性都集中在评论文本的特征描述中, 这也说明了文本评论的重要作用。因此, 现阶段的研究主要集中于评论文本内容的深度挖掘带来的新的特征属性;第二, 文本挖掘技术和自然语言处理等技术现在已经能对半结构化和非结构化数据进行挖掘, 而在线评论的表现形式为数量众多且非结构化的文本, 如何提高对在线产品评论的挖掘精确度也一直是技术研究领域关注的焦点。正因为文本挖掘技术的研究进展还处于不太成熟的阶段, 现阶段的挖掘主题比较少, 情感分析精度也不够高, 因此其他领域即便将现有挖掘技术应用于实证研究中, 也难以得到稳定的和有价值的结论。相信未来随着文本挖掘技术的进步, 这类结合实证方法证明在线产品评论商业应用效果的研究也会越来越多, 并得出更有价值的结论;第三, 在商业应用研究领域, 如何选取合适的研究变量和指标, 比如消费者行为变量及观测指标来与文本挖掘技术得到的计量数据相结合, 从而实现更准确有价值的实证研究, 也是在研究方法上需要继续探索和解决的问题, 比如目前用网站评论有用性的排名数据统计来替代评论有用性度量的方式过于单一且准确性受到质疑。
另外, 还有两个在线产品评论研究中比较集中的主题未来也可能会继续发展:一个是购买者参与评论的动机及其在社交网络中的作用;另一个是对购物网站上越来越多出现的虚假评论现象的研究, 目前的研究集中在虚假评论的识别以及其影响方面, 未来随着消费者的经验增加以及网站成熟运作, 这方面的研究还会有新的热点出现。
主要参考文献:
[1]李恒.在线评论特征的维度综述[J].企业技术开发, 2015.1.
[2]李宏, 喻葵, 夏景波.负面在线评论对消费者网络网络购买决策的影响, 一个实验研究[J].情报杂志, 2011.5.
[3]龚思兰, 丁晟春, 周夏伟, 巢乃鹏.在线商品评论信息可信度影响因素实证研究[J].情报杂志, 2013.32.11.
[4]宋晓晴, 孙习祥.消费者在线评论采纳研究综述[J].现代情报, 2015.1.
[5]罗彪, 丛日飞.留、传、搜、用:消费者行为视角下的电子口碑研究综述与展望[J].外国经济与管理, 2015.37.8.
[6]You WJ, Xia M, Liu, L, et al.Customer knowledge discovery form online reviews[J].Electron Markets, 2012.7.7.
[7]Cao Q, Gan QW.Exploring determinants of voting for the helpfulness of online user reviews:A text mining approach[J].Decision Support Systems, 2011.11.9.
[8]Min H, Park JC.Identifying helpful reviews based on customer’s mention about experiences[J].Expert Systems with Application, 2012.39.1.
摘 要:各大电商的产品留言体现了消费者对商品的主观情感, 海量的评论信息要用人工来收集和处理是不可能完成的任务, 因此需要利用专门的情感分析技术来帮助解决这些问题, 文中将属性词词典, 情感词词典以及程度词词典和否定词词典作为基础, 通过SVM分类法对属性词和程度词的搭配进行识别, 以此构造一个产品评论文本分析系统, 测试表明系统对产品评论的情感分析具有较高的准确率。
关键词:产品评论;SVM;搭配识别;情感分析
中图分类号:TP393 文献标识码:A 文章编号:2095-1302(2016)11-00-04
0 引 言
随着Web技术和电子商务的发展, 越来越多的人在各大电商上对自己买过的产品发表评论, 这些信息绝大部分代表着者的观点或主观情感。商家如果能够得到用户的这些反馈, 将有助于商家的下一步生产和销售决策。而其他准备购买该商品的顾客也可以根据这些反馈来更好地帮助自己决定该商品是否值得购买。因此对这些情感信息进行有效的自动分析并构建相应系统成了当今的热门研究问题之一。
产品评论的挖掘分析主要是基于句子级别的情感分析, 其主要任务有识别并获取产品的特征或属性, 定位用户的主观性评论, 抽取评论搭配, 判别用户评论的褒贬[1]。本文构造的系统以属性词词典, 情感词词典以及程度词词典和否定词词典为基础, 通过SVM分类法对属性词和程度词的搭配进行识别, 进而分析评论的褒贬。
1 相关研究
Probst等[2]利用监督学习技术抽取属性词―评论词关系对。Yohan等[3]基于LDA模型提出SLDA模型。实验表明, 该类方法在抽取产品特征中有一定的效果。栗春亮等[4]利用百度百科和分词后相邻的词语同现比例来识别专业领域内的生词, 在中文产品评论语料中设计词性组合模板来得到候选属性词集, 然后利用一定的规则对其过滤。Qiu[5]等通过研究评价词和评价对象间的关系模式, 提出用一种双向传播算法进行抽取。本文对产品属性词的抽取主要借鉴文献[4]中提到的方法, 得到1 500个属性词, 作为属性词词典。情感词典的构建方式主要有人工和基于词典两种。目前主要使用的词典有董振东和董强编撰的HOWNET情感词典和台湾大学编撰的NTU情感词典。Hassan等[6]使用马尔科夫随机游走模型计算词语的情感权值。柳位平等[7]在中文词语相似度计算方法的基础上提出了一种中文情感词语的情感权值计算方法, 并以HOWNET情感词语集为基准, 构建了中文基础情感词典。阳爱民等[8]选用若干个情感种子词, 利用搜索引擎返回共现数, 通过改进的PMI(Pointwise Mutual Information, PMI)算法计算情感词的情感权值。李寿山等[9]借助机器翻译系统, 结合双语言资源的约束信息, 利用标签传播算法(LP)计算词语的情感信息。本文主要根据文献[8]提出的方法, 构建一个在产品评论分析中使用的情感词典, 部分词如图1所示。程度词和否定词词典使用王文华等[10]提出的相应词典。
词集 极性 情感词
P_set 正向 著名, 好, 积极, 和谐, 青春, 成熟, 善良, 文明, 出S, 舒服, 纯真, 得体, 美丽, 创造力, 宽容, 昌盛, 感激, 优秀, 美好, 灿烂, 诚实, 给力, 帅呆, 霸气, 淳朴, 漂亮, 美妙, 辉煌
N_set 负向 罪恶, 诅咒, 暴殄天物, 郁闷, 傻逼, 变态, 惨不忍睹, 痛苦, 垃圾, 失败, 委屈, 毛病, 扭曲, 诡异, 畸形, 悲惨, 崩溃, 弱爆, 狠毒, 假冒, 水货, 粗暴
对属性词和情感词的搭配识别可以看成是一个分类问题, 常用到的分类算法包括朴素贝叶斯分类器(Naive Bayesian Classifier)、基于支持向量机(Support Vector Machine, SVM)的分类器、k-最近邻法(k-Nearest Neighbor, kNN)、决策树(decision tree)分类法、最大熵模型(Maximum Entropy, ME)等, 本文使用SVM作为搭配识别的分类器, 搭配规则使用文献[10]中提到的8条规则。
2 情感分析系统的需求分析和设计目标
2.1 需求分析
产品评论情感分析系统用来对电子商务网站上的产品评论进行搜集分析。
(1)该系统首先对某个站点进行页面抓取、内容提取, 得到用户对产品的大量评论信息;
(2)进行分词、关键信息抽取;
(3)对这些评论信息进行分析, 挖掘出用户对产品各种属性的情感倾向以及对整个产品乃至商家的褒贬倾向;
(4)将结果进行展示, 从而有效辅助希望购买产品的用户进行合理的消费判断, 同时也能够帮助产品生产商做下一步生产和销售决策。
根据这些需求, 可以对本系统做出如下需求分析:
(1)能够抓取产品评论页面并能对页面中的评论内容进行提取。
(2)能够从评论文本中抽取情感信息。
(3)能够有效搭配识别分类。
(4)能够准确进行属性情感极性分析和文本情感的倾向判断。
(5)预留开发接口, 能方便的对搭配识别分类算法进行更改。
(6)能够将结果以用户易于理解的方式展示出来。
由此可以得出图2所示的产品评论情感分析系统的工作流程。
2.2 设计目标
通过需求分析, 可以将系统功能划分为网页抓取及页面内容提取模块、情感信息提取模块、情感分析模块。
(1)网页抓取及页面内容提取模块实现网页抓取及页面文本提取的功能。
(2)情感信息提取模块负责从抓取到的页面或者用户自定义的文本中抽取出关键情感信息。
(3)情感分析模块对情感信息提取模块抽取出的关键情感信息进行情感分析, 得出结论。
对中间信息以及最后的结论信息进行存储, 并通过用户容易理解的方式进行结果展示。一个优秀的软件系统首先要实现系统需要的各个功能模块, 其次要达到系统的性能指标, 最后还要为用户提供高可靠性的服务。所以, 系统设计时应当考虑到如下几个方面:
(1)功能性。本系统该实现需求分析中提出的各项功能。
(2)有效性。能够对产品评论进行有效的情感分析。由于使用现有语料进行的封闭性测试比直接采集互联网信息所得的结果低一些, 因此系统对产品评论文本进行情感分析后的准确率要比算法设计过程中的测试结果高。
(3)易用性。系统应该操作方便, 使用简单, 展示的结果容易理解。
(4)可维护性。系统应该能够方便的对内置情感分析算法进行替换、维护, 以便将来对算法进行改进。
(5)健壮性。系统应该运行稳定, 出现意外后退出能重新启动。
3 情感分析系统的设计与实现
根据上节对系统进行的需求分析和目标设计, 本节对整个系统的功能进行了划分, 得出了图3所示的系统功能模块图。
图3将产品评论情感分析系统划分成评论信息获取模块、信息预处理模块、情感分析模块。
3.1 页面抓取
页面抓取模块主要用一个网络爬虫来完成。使用Apache的HTTP客户端开源项目HttpClient, HttpClient提供HTTP的访问主要通过GetMethod类和PostMethod类来实现, 它们分别对应HTTPGet请求与HttpPost请求。具体抓取操作流程如图4所示。
3.2 页面内容提取
页面内容提取的方法很多, 有基于统计的、基于规则的、机器学习的, 还有基于DOM树的。基于DOM树的方法将页面中的内容和结果看成是一棵树。Java有一个非常实用的开源工具包HtmlParser, 主要靠Node、AbstractNode和Tag等数据结构来构造HTML的树形结构, 包括RemarkNode和TextNode。单个页面内容提取的流程图如图5所示。
在不同的网站中, 页面内容的HTML标签不同, 因此需要对不同网站设计不同的提取模板。在这里用正则表达式来区分不同的网站, 首先将同一个页面提取模板的一组URL构造成一个或多个正则表达式, 然后判断网页的URL与正则表达式是否匹配, 进而选择页面提取模板。
3.3 分词模块
中科院计算所开发的ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)分词系统是目前世界上较好的中文分词系统, 本文使用其Java版本ICTCLAS4J。使用MyLexicon类描述分词模块, 该模块的成员如图6所示。
addDictionary(fileName)方法使用ICTCLAS4J提供的ICTCLAS50类的ICTCLAS_ImportUserDictFile(usrdirb, n)方法, 该方法返回导入用户词语个数, 第一个参数为用户字典路径, 第二个参数为用户字典的编码类型。textProcess(str)方法使用ICTCLAS50类的ICTCLAS_ParagraphProcess()方法分词。对得到的字符串按照空格分开, 读取存放属性词典和情感词典的资源文件, 对分割好的的每一个词与资源文件中的词语进行对比, 提取出属性词和情感词, 构成属性词集attrset和情感词集sentset。
3.4 分析预处理
分析预处理模块工作过程如下:
(1)在分词的基础上形成属性词集合和情感词集合;
(2)将两个集合作笛卡尔乘积得到形如若干三元组;
(3)根据8条搭配分析规则, 形成原始模板;
(4)得到带有原始模板的扩展三元组。
用Preprocess类来描述分析预处理模块, 该模块的成员如图7所示。
属性词集合、情感词集合、三元组、原始模板都用数组来描述, getTriple()、getPattern()为私有方法, 该类只对外提供getNewtriple()方法。
3.5 搭配识别模块
这里使用林智仁等开发的libsvm软件包, 在系统中, 将该子模块封装成Classifier类, 主要提供模型的训练和对新文本进行搭配识别的分类功能。该类的成员如图8所示。
libsvm的数据格式为: : :……
使用SVM分类器对文本进行分类, 若返回值为1表示搭配, 则将newtriple保存, 用于下一步的情感分析判断;若返回值为-1则表示不搭配。precise(datapath, percent)函数用来对算法的准确度进行测试, 包含datapath和percent两个参数。datapath表示训练数据所在路径, percent表示训练数据占总数据的比例, 默认的percent取0.5, 即随机取一半的数据作为训练, 另一半数据进行测试。返回值为分类的准确率。
3.6 情感分析判断
根据节文本情感倾向判断过程进行的描述, 得到图9所示的情感分析判断流程。
用Analysis类来描述情感分析判断模块。该类的成员如图10所示。
judge()方法用以判断sentiment的值, 大于0为正向情感, 小于0为负向情感。
4 结 语
整个系统操作界面由评论提取部分、输入(导入)评论部分和情感分析部分组成。用户在输入框中输入产品评论的地址, 点击“提取评论”按钮后, 系统自动将产品评论页面抓取下来并将评论提取出来, 保存到默认路径下的文件中。点击“保存”按钮可以手动选择路径和保存的文件名。 用户要想对提取的评论进行分析时, 可以点击“导入”按钮, 选取指定的评论文件, 此时文件中的内容将显示在文本框中, 输入评论后, 点击“情感分析”按钮即可将产品评论文本情感分析的结果显示出来, 如图11所示。
对系统的准确性进行测试验证, 选取两款不同的手机评论进行分析。分别从京东商城网站上的手机评论页面抓取评论, 从中各选出600篇评论进行人工情感倾向判断, 然后与系统的分析结果进行比对, 统计分析正确的正负评论与计算准确率。计算结果如表1所示。
根据以上对两款不同手机的评论进行分析统计的结果可知, 准确率分别为91.2%和90.8%, 满足系统设计目标的准确性要求, 表明系统能够对产品评论进行有效的情感分析。
参考文献
[1]魏, 向阳, 陈千.中文文本情感分析综述[J].计算机应用, 2011, 31(12):3321-3323.
[2]Probst K, Ghai M K R, Fano A. Semi-supervised Learning of Attribute- value Pairs from Product Descriptions[A]. IEEE Press, 2007, 2838-2843.
[3]Yohan Jo, Alice Oh. Aspect and Sentiment Unification Modelfor Online Review Analysis[A]. 2011.
[4]栗春亮, 朱艳辉, 徐叶强.中文产品评论中属性词抽取方法研究[J].计算机工程, 2011, 37(12):26-28.
[5] Liu G, Bu J, Chen C, et al. Opinion Word Expansion and Target Extraction Through Double Propagation[J]. Computational Linguistics, 2011, 37(1): 9-21.
[6]Hassan A, Radev D. Identifying text polarity using random walks [C]. Proceedings of Annual Meenting of the Association for Computational Linguistics(ACL-2010), Uppsala, 2010: 395-403.
[7]柳位平, 朱艳辉, 栗春亮, 等.中文基础情感词词典构建方法研究[J].计算机应用, 2009, 29(10):2875-2877.
[8]阳爱民, 林江豪, 周咏梅, 等.中文文本情感词典构建方法[J].计算机科学与探索, 2013, 7(11):1033-1039.
[9]李寿山, 李逸薇, 黄居仁, 等.基于双语信息和标签传播算法的中文情感词典构建方法[J].中文信息学报, 2013, 27(6):75-81.
[10]王文华, 朱艳辉, 徐叶强, 等.基于SVM的产品评论属性特征的情感倾向分析[J].湖南工业大学学报, 2012, 26(5):76-80.
摘要摘要:近年来, 如何利用计算机自动、快速、准确地识别大量文本产品评论数据情感倾向是自然语言处理领域关注的重点话题。使用数据抓取软件, 抓取亚马逊官网华为honor畅玩版4X手机在线评论进行实验, 实验中按照一定的语法规则将每条完整的在线产品评论分成若干子句, 识别其中有效子句, 提取有效子句评论中多种特征进行组合, 然后选用C4.5决策树机器学习法来识别子句的情感倾向, 并对多组实验结果进行分析对比。验结果表明, 选择子句中情感词数量和否定词数量作为特征组合时, 加权后模型的查准率和查全率均达到96%;程度副词和特殊符号对模型的作用比较微弱, 仅有1%的影响;程度副词的作用略优于特殊符号。
关键词关键词:决策树;多特征组合;产品评论;情感分析
DOIDOI:10.11907/rjdk.162835
中图分类号:TP301
文献标识码:A文章编号文章编号:16727800(2017)005000105
0引言
计算机网络、电子商务和移动技术的飞速发展, 使用户更加便捷地融入网络, 成为信息的使用者和创造者。现今, 人们更加习惯于在互联网上发表自己对产品、服务或事件的观点、偏好及情感倾向。CNNIC在《第37次中国互联网络发展状况统计报告》[1]中指出:截至2015年12月份, 我国网民数量达到6.88亿, 互联网普及率接近50.3%, 庞大网民数量为生成海量互联数据提供了基础。其中, 在线产品评论数据具有很大的商业价值。面对海量的碎片化、非结构化、口语化、随意化和多样化的交易评论信息, 如何借助计算机提取有价值的信息, 帮助企业快速定位用户偏好及喜爱和消费者快速检索所需的信息来了解产品的质量和口碑, 一直是学者研究的重点和难点。
情感分析又称为意见挖掘, 简言之, 即从带有情感S彩的主观性文本中抽取用户对话题、产品、个人、组织和服务等的情绪、评价、喜好、情感倾向[24]。按照处理文本的内容, 可分为基于新闻评论的情感分析和基于产品评论的情感分析[5]。前者主要处理网络新闻事件评论, 后者研究对象主要是网购后对产品、服务等的在线评论。
目前, 国内外学者对文本情感分析已经作了大量研究, 常用的方法可以分为两类:基于情感词典的方法和基于机器学习的方法[67]。基于情感词典的方法使用知网Hownet、Wordnet和台湾大学情感词典NTUSD等词典[810], 该方法虽然简单直观, 但忽略了文本中情感单元和修饰词之间的关系。该方法在句子级情感识别上存在不足, 但在词语级情感识别上可以发挥很大作用。基于机器学习的方法又可以分为有监督和无监督学习两种。常用的有监督方法有ME、NB、SVM、CRF等, 无监督方法有PMI等[1113]。基于机器学习的情感分类方法是通过提取文本特征, 运用数理模型, 把文本特征作为输入变量, 经过函数运算后输出结果, 根据结果对文本进行分类。该方法不仅考虑到语句文本中的情感词语及还考虑了句法结构, 词语之间修饰关系。该方法有较高的正确率和稳定性, 同时方便地扩展到不同领域。但由于中文词语的一字多义、交叉歧义、表达多样性、句式的复杂性、语言结构的复杂性和词语的不间断性等, 使得中文分词和情感分析工作比英语更加困难, 学者们一直在寻找方案以提高中文文本情感识别的准确率。
已有研究多关注一条完整在线产品评论的情感倾向。该方法主要存在以下两个方面的不足:一是不能正确反映用户内心的情感, 对于一款产品, 用户可能喜欢某些方面的设计, 对另一些设计感到不满, 如果仅用评论的整体情感倾向代替用户对产品某一具体方面的情感倾向, 显然存在误差;二是混淆评价对象, 因为多数分析针对的是用户的完整评论, 不能识别出用户对某个具体评价对象的情感倾向。因此, 针对以上两点, 本文对每条完整的评论按照一定的语法规则进行分句, 识别有效子句, 提取评价对象, 使用C4.5决策树识别子句的情感倾向, 该方法采用最大信息增益率作为决策树的属性选择标准, 选择的属性作为分裂节点, 最初选择的属性作为决策树的根节点, 对于分裂节点的不同取值, 采用递归的方法求其子树, 相比于朴素贝叶斯方法, 该方法在分类的稳定性上具有明显优势。
1相关工作
在线产品评论的情感分析侧重点不同于新闻评论的情感分析。在线产品评论的情感分析更加关注用户对产品属性或服务的评价, 可以忽略评论中一些具有情感倾向的词语或句子。判断一条在线产品评论是否有用, 关键在于文本中是否包含评价词、产品属性等。比如华为honor畅玩版4X在线产品评论:“一直在用华为的手机, 这款手机挺喜欢的。”该评论就是垃圾信息, 虽然文本中出现情感词“喜欢”, 但是句子不包含产品属性和评价词, 不能区别产品属性的好与坏。假设“喜欢”一词出现在新闻评论, 该语句一定代表了评论者的一种正向的感倾向, 不能视为垃圾信息。为了更准确地识别在线产品评论的情感倾向, 本文做了如下相关工作:数据抓取、隐性产品属性追加、用户分词词典、评价词表、否定词表、程度副词表等的建立和预处理。
1.1数据抓取
采用八爪鱼采集器从亚马逊官网抓取华为honor畅玩版4X的在线产品评论信息。八爪鱼采集器简化了用户获取信息的流程, 实现数据自动采集、编辑和规范化, 降低提取信息的成本。通过设计评论信息提取规则, 从亚马逊官网提取在线评论信息, 得到正面在线评价500条, 负面在线评价197条。
1.2隐性产品属性追加
由于用户输入网页评论具有随意性, 可能导致文本评论中没有评价对象或属性值, 仅有评价词。例如:“个人感觉5.5太大了, 不好拿”。该评论中“个人感觉5.5太大了”隐含了评价对象屏幕。对于该类问题, 本文设计了常用评价对象和评价词对应表, 使用Java程序自动识别评价词, 再检索评价对象, 如果检索不成功, 则添加对应的评价对象, 否则不作任何处理。
1.3词典建立
为了更加准确地识别产品评论中的特征词语, 如情感词、评价对象、否定词和程度副词等, 为后面的机器学习提供可靠的数据, 本文建立了相应的词表。
1.3.1用户分词词典
使用中科院张华平博士研发的中文分词软件NLPIR2016对在线产品评论进行分词处理, 其主要功能包括中文分词、词性标注、命名实体识别、用户词典功能、微博分词、新词发现与关键词提取等。对于特定领域本体相关属性和常用短语不能正确进行分词, 可以人工添加用户词典辅助分词。本文添加不能被正确识别的手机产品属性, 形成用户词典表, 如图1所示。图1中没有词性标注的词语在NLPIR件中默认是名词, vi表示不及物动词。
1.3.2评价词表
评价词表达了用户对评价对象的情感倾向, 最能反映用户对产品属性的喜恶之情, 在文本情感分析中有着举足轻重的作用。本文结合Hownet的正、负评价词表, 以及从亚马逊官网抓取的评论信息, 剔除与手机领域无关的评价词, 如:安乐、安全等, 添加新的评价词, 如:高大上、物美价廉等。最终得到正向评价词表、负向评价词表。部分正、负向评价词表如图2所示。
1.3.3否定词表
否定词语的出现一般会反转语句的情感倾向, 使得语句的正向情感变成负向情感, 负向情感变成正向情感。本文在抓取的评论和网络资源中提取了常用否定词, 形成否定词表, 部分否定词表如图3所示。
1.3.4程度副词表
对于程度副词, 其位置的不同会影响到文本语句的情感倾向。本文关注两种位置不同的程度副词。1)其位置在否定词和评级词之间;2)其位置在否定词之前。例如:“手机配置不是很高”, “手机配置很不高”, 前者整个语句的负面情感倾向要明显弱于后者。因此本文更加关注其出现的位置而不是其语气强度, 部分程度副词表如图4所示。
1.4预处理
预处理是指使用NLPIR分词软件之前对在线产品评论的处理、加工, 提取有用信息, 分为以下几个步骤:
(1)拆分每条完整评论。根据评论文本中的特殊标点符号把一条完整的评论分成若干子句, 特殊标点符号包含逗号、句号、井号、叹号、问号和破折号。根据用户的表达习惯, 一般用逗号分隔的子句已包含评价对象和评价词, 所以选取逗号分割语句。在输入文本评论时, 用户可能使用井号、破折号替代逗号、句号, 因此特殊标点符号也包含井号和破折号。
(2)使用NLPIR API对子句进行分词处理, 词性标注, 去除停用词。
(3)识别有效子句。本文仅处理包含手机产品属性的文本评论。如果评价对象是客服服务、快递速度和态度等与手机产品属性无关的, 则直接删除该评论;如果需要测评商城和快递服务, 则需要保留, 然后删除不包含手机产品属性或评价词的子句, 降低干扰语句出现的概率。
最终得到有效子句3 161条。其中, 正面文本评论2 119条, 负面1 042条。
2模型建立
使用决策树对数据集建立模型, 主要包含以下4个步骤:
(1)计算所有属性划分数据集所得的信息增益。信息熵的计算公式:
H(C)=-∑iP(ci)log2P(ci)(1)
在实际计算中, P(ci)取值是类别为ci的样本所占总样本的比例, 即:
P(ci)=|ci|/|C|(2)
其中, |C|是训练集样本的总数, |ci|表示类别为ci的样本数。
假设用属性A来划分数据集S中的数据, 属性A对数据集S的划分熵值为H(C|A)。如果属性A是离散型数据类型, 有K个不同的取值, 则属性A依据这K个不同的取值将S划分为K个子集{S1, S2, ...Sk} , 属性A划分为S的信息熵为:
H(C|A)=∑kj=1CjCH(Cj)(3)
如果属性A是连续型数据类型, 则按照属性A的取值递增排序, 将每对相邻的中点看作可能的分裂点, 计算每个可能的分裂点:
H(C|A)=|SL||S|H(CL)+|SR||S|H(CR)(4)
其中, SL和SR分别对应该分裂点划分的左右两部分子集, 选择H(C|A)值最小的分裂点作为属性A的最佳分裂点。属性A的信息增益:
Gain(S, A)=H(C)-H(C|A)(5)
该值的大小代表属性A对数据集S的识别能力。
(2)计算各属性的分裂信息和信息增益率。C4.5引入了分裂信息来调节信息增益, 属性A的分裂信息为:
SplitE(A)=-∑kj=1|Sj||S|log2|Sj||S|(6)
属性A的信息增益率为:
GainRatio(A)=Gain(S, A)SplitE(A)(7)
(3)选择信息增益率最大的属性作为分裂节点, 信息增益率可以部分消减因属性分类数目产生的影响。
(4)把该节点作为根节点, 对其属性的不同值, 递归调用以上方法, 求其子树, 该过程还包含根据每个叶子节点包含的最少实例数量和置信因子对生产树进行修剪, 克服过拟合现象。
3实验及结果分析
本文主要研究在线产品评论的情感分析, 即通过机器学习的方法识别出文本的正、负面情感。首先使用网络爬虫软件八爪鱼抓取honor畅玩版4X手机在线产品评论, 然后对其进行特殊处理。过滤评论中的无效语句, 添加隐形产品属性, 根据产品属性把在线产品评论分割成不同的简单子句。使用NLPIR2016分词工具对处理后的有效子句评论进行分词, 词性标注, 去除停用词, 抽取文本特征, 从中选择不同特征项进行组合, 得到特征向量, 最后使用C4.5建立模型, 并检验模型的性能。
3.1在线产品评论数据抓取流程
在线产品评论数据抓取主要分为3个过程:制定数据抓取规则、运行规则, 导出数据到本地计算机。①制定规则。该步骤为核心步骤, 主要包括分页设置、循环设置、列表设置、提取字段设置。设置Xpath路径正则表达式, 匹配评论信息对应的html标签, 抓取评论数据;②运行规则。打开已经设置成功的规则, 单击“启用单机采集”选项, 出现采集页面后, 单击“运行”按钮;③导出数据。数据采集完成后, 选择“导出到Excel 2003”选项, 将数据导入到本地计算机。
抓取在线产品评论的工作流程如图5所示。
3.2基于决策树的情感分析
基于决策树方法的情感分析的过程整体上分为3步:①预处理。对抓取的在线产品评论进行预处理, 主要包括拆分子句、删除垃圾评论、添加隐形产品属性、识别有效子句等;②文本分词、表示。添加用户分词词典, 使用NLPIR API完成分词、词性标志, 去除停用词语, 提取并修正文本特征, 完成特殊语句处理, 选择不同的特征向量进行组合;③情感分析。使用weka中的J48建立模型, 选用十字交叉法拆分数据, 并根据查确率、查全率和F值3个指标检验模型的性能。
本文使用NLPIR2016分词软件对处理后的在线产品评论进行分词处理, 该分词软件有很高的正确率和运行效率, 允许用户添加用户词典, 提高了软件分词的正确率。本文中添加的用户词典是手机产品属性, 其作用是降低软件分词的错误率, 确保提取正确的产品属性。NLPIR完成分词后, 标注词语的词性, 去除停用词。停用词主要包括表示数量的数词、人称代词、带有单位的量词等。
提取文本评论中的特征项, 本文选用的特征项如下:正面评价词数量、负面评价词数量、否定词、程度副词、特殊符号。其含义如表1所示。
语句中的评价词表达了用户对产品属性的态度, 与语句的情感倾向存在直接关系。否定词语的出现往往会改变语句的情感倾向。大部分学者只关注程度副词的强度值, 本文关注其在文本中所在的位置, 其在语句中的位置影响语句的情感强度。词语中特殊符在一定程度上也反映了评论者的情感倾向。模型中正向情感倾向标注为1, 负向情感倾向标注为-1。
对于一些特殊语句、评价对象及评价词, 本文作如下特殊处理:
(1)含有“除”的特殊比较句。该语句含义的侧重点一般在后半部分。因为前期预处理会把含有“除”的比较句拆分成两个子句, 所以需要合并含有“除”的比较子句和与其紧挨的下一子句, 使得比较句的表达意思更加完全。
(2)非评价词错误识别为评价词的特殊情况。本文采用匹配评价词表的方式来识别评价词。该方法存在不足之处, 当子句中包含评价词, 但该词不能表达评价词的情感倾向时, 非评价词错误识别为评价词的现象就出现了。本文针对这种情况, 设置了对应的检验规则, 发现并删除误判的评价词, 增加数据的真实性和可靠性。实验发现, 对于仅包含一个汉字的评价词, 其被错误识别的概率较高。
同一评价词修饰不同评价对象时表达的情感倾向有所差别。比如评价词“高”对应不同评价对象“配置”和“价格”, 对于前一个评价对象来说是正面的评价词, 对于后者就变成了负面情感词。本文中对于后者做了添加否定词的处理, 使其变得规律化。
此外, 评价词的前后出现程度副词, 并导致其表示的情感倾向发生变化时, 对该子句做添加否定词的处理。对于特定的评价对象, 出现特定的词语, 通过添加否定词处理使其规范化。
3.3实验结果
实验中选择不同的特征组合, 使用十字交叉进行试验, 其对应关系如表2所示。
实验中采用weka中的J48分类方法来识别文本的情感倾向。实验结果使用weka默认的评价指标, 其指标包含如下:Precision表示查准率, 检测搜索系统拒绝非相关信息的能力;Recall表示查全率, 检测检索系统检出相关信息的能力;FMeasure是查全率和查准率的调和平均数, 综合评价方法的效果;ROC Area表示接受者操作特征曲线面积, 其值越接近1, 表明模型的分类效果越好。其实验结果如表3所示, 其中每组实验包含正向、负向情感倾向和加权后各项指标的值。
3.4结果分析
从表3的实验结果可以看出, 实验1仅使用情感词的数量特征, 实验结果加权后查准率为85.5%, 查全率和F值也在85%以上。实验2加入程度副词, 结果有所改善, 查准率、查全率和F值约提升1%, 但效果不是很明显。实验3与实验1对比, 添加了否定词数量特征, 结果发生显著变化, 加权后查准率、查全率和F值均达到96%。表明否定词特征在实验中起到积极作用, 否定词的出现一般会改变原有语句的情感倾向。实验4是在实验3的基础上加入了程度副词特征, 加权后实验指标查准率、查全率和F值下降0.1%左右, 仅ROC增加0.3%, 模型性能总体略微下降, 与实验2有相似之处。实验中程度副词的出现与否和子句中的否定词有关, 并且程度副词不转变语句的总体情感倾向, 只是改变情感的强弱, 当程度副词和否定词同时出现时, 程度副词不起作用或者发挥轻微地消极作用。实验5与实验4相比, 增加了特殊符号特征, 但实验结果中大部分指标相同, 表明该特征在实验中没有起到积极作用, 因为实验中包含特殊符号的子句数量很少, 只有26条, 这与用户的表达习惯有关, 当用户表示不满情感时, 用户输入问号或者语气词表示其不满情感的可能性比较低。
4结语
本文使用决策树多特征组合研究在线产品评论的情感倾向。抓取亚马逊官网的评论数据, 从评论中提取特征, 采用多种特征进行组合, 并取得较好的实验效果, 该方法的准确率达到96%。实验表明, 子句中评价词的数量和否定词的数量等特征很大程度上决定了该子句的情感倾向, 而实验中的程度副词和特殊符号等特征并没有产生显著的积极作用, 没有显著提高实验结果。由于实验的样本数量有限, 用户的表达方式和规则不能统计完全, 实验还有待继续完善和改进。
通过实验发现, 该实验仍有提升的空间。随着网络的发展, 新词不断产生, 尤其是网络热词, 一些词语被赋予新的含义, 如何正确识别这些词语的情感倾向也是一个亟待解决的难题;同时加上网络的普及和用户的参与, 产生了海量的评论信息。如何使用云技术高效、准确地识别评论的情感倾向, 需要继续深入研究。
参考文献参考文献:
[1]CNNIC.第37次中国互联网络发展状况调查统计报告[R].北京:中国互联网中心, 2016.
[2]SERRANOGUERRERO J, OLIVAS J A, ROMERO F P, et al.Sentiment analysis: a review and comparative analysis of web services[J].Information Sciences, 2015, 311(5):1838.
[3]QI J, FU X, ZHU G.Subjective wellbeing measurement based on Chinese grassroots blog text sentiment analysis[J].Information & Management, 2015, 52(7):859869.
[4]张紫琼, 叶强, 李一军.互联网商品评论情感分析研究综述[J].管理科学学报, 2010(6):8496.
[5]ZHANG L, GHOSH R, DEKHIL M, et bining lexiconbased and learningbased methods for twitter sentiment analysis[J].Hp Laboratories Technical Report, 2011.
[6]PANG B, LEE L, Vaithyanathan S.Thumbs up sentiment classification using machine learning techniques[J].Proceedings of Emnlp, 2002(3):7986.
[7]付丽娜, 肖和, 姬东鸿.基于OCSVM的新情感词识别[J].计算机应用研究, 2015(7):19461948, 1952.
[8]KAMPS J.Using wordnet to measure semantic orientation of adjectives[C].International Conference on Language Resources and Evaluation, 2004:11151118.
[9]朱嫣梗闵锦, 周雅倩, 等.基于HowNet的词汇语义倾向计算[J].中文信息学报, 2006(1):1420.
[10]王振宇, 吴泽衡, 胡方涛.基于HowNet和PMI的词语情感极性计算[J].计算机工程, 2012(15):187189, 193.
[11]李婷婷, 姬东鸿.基于SVM和CRF多特征组合的微博情感分析[J].计算机应用研究, 2015(4):978981.
[12]TURNEY P D.Thumbs up or thumbs down:semantic orientation applied to unsupervised classification of reviews[J].Proceedings of Annual Meeting of the Association for Computational Linguistics, 2010:417424.
[13]王祖辉, 姜维, 李一军.在线产品评论情感分析中固定搭配特征提取方法研究[J].管理工程学报, 2014(4):180186.
以上是本网站小编为您介绍的“产品评论范文精选3篇(全文)”。
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,请读者仅作参考,并自行核实相关内容。如发现有害或侵权内容,请联系我们将在第一时间进行核实处理。