非专利技术

电子信息

社交网络中舆情数据的精准实时抓取与实证应用
发布时间 : 2018-12-14 来源:  点击量:

负责人: 秦涛

所在学院:电信学院

一、项目简介

    舆情监控是整合互联网信息采集技术及信息智能处理技术通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦,实现用户的网络舆情监测和新闻专题追踪等信息需求,形成简报、报告、图表等分析结果,为客户全面掌握网民思想、行为动态,做出正确舆论引导,提供分析依据。

    西安交通大学大数据分析技术与算法国家工程实验室舆情大数据分析研究小组在舆情监控领域进行了大量的研究工作,在数据方面构建了包括Facebook、Twitter、微博、贴吧、门户网站、论坛在内的100余处主流站点的数据,构建了包括文本、图片、视频等在内的跨模态舆情大数据。

图1 整体架构

    该项目团队拥有完整独立自主的知识产权,实现了技术的自主可控,并且能够提供一站式社交网络信息处理方案和技术支持,如更广的数据采集扩展、丰富的数据分析、多样的舆情报告、多端的平台应用。

    目前该系统已应用于教育部考试舆情监控系统、榆林舆情监控系统、丝路学院知识中心,用户涵盖国家部委、公安、宣传、军队、高校等领域,并获得了用户的一致认可和高度评价。

图2 教育部对该系统的评价

二、产品性能优势

1. 该系统能够通过对不同用户的不同需求,不同舆情监控对象、范围内的信息进行定制化设计,满足用户的个性化需求。

2. 系统的开发周期短。基于成体系的系统架构,针对不同用户的系统开发周期大约在半年时间。

3. 系统具备在宽范围的网络覆盖面下进行数据信息的实时监控,能够高度灵敏的完成信息识别和抓取任务。

4. 系统按照云端结合,分布存储方式,通过并行计算,助力系统数据的多维度分析。

5. 通过基于WEB页面结构的网络爬虫技术,系统API的数据获取技术以及黑客技术手段的数据获取技术实现系统面向网络公开域和网络受阻域两个方面数据的收集。

三、市场前景及应用

    在互联网高度发达,移动互联高速发展的信息时代,每天新产生、传播、扩散、衍生出海量的网络信息真假难辨,不良甚至非法的信息会对人民的利益、国家的安全产生严重危害。通过技术手段采集互联网舆情信息,对信息进行及时分析和处置,舆情监控对于处置危害信息,打击违法犯罪,避免人民群众和国家的财产遭受重大损失有直接作用,并且通过了解社会民情,挖掘民意,进而辅助国家决策,能够为科学决策和和谐社会建设更好的服务。

    其中由舆情大数据分析研究小组研制的猎狗网络舆情监控系统在榆林市委宣传部、公安局、信访局、国安局、政法委等党政机关部署应用,平台运行良好,深获好评。研制的高考舆情监控系统承担自2013年以来全国普通高考、成人高考、研究生入学考试的信息安保工作,经由系统发现处理的各类案件800余起,其中重大案件13起,为国家、考生挽回直接经济损失预计共达700余万。

图3 教育部考试舆情监控系统

图4 榆林市政府舆情监测系统

四、技术成熟度

□概念验证   □原理样机  □工程样机  □中试    √产业化

五、合作方式

□联合研发  √技术入股  □转让   □授权(许可) √面议

    在此基础上基于计算平台,可针对不同用户需求定制舆情监控系统。