舆情监测平台所需的关键要素

以舆情国家队——人民在线为例，舆情业务提供的服务主要包含监测、预警、研判、报告、咨询和培训，前四类服务都需要舆情监测平台的支撑。

舆情技术看似入门门槛很低，“简单爬虫+搜索引擎+应用” 就可以形成一套简易的舆情系统，但如果想大规模商业化应用，其实门槛很高，其中以数据采集、数据预处理和数据分析三个环节尤为关键。

数据采集是舆情技术体系的重要基础，也是现阶段各大舆情厂商的核心竞争力之一，其数据的时效性和全面性是衡量数据采集能力的重要评价指标。通过不同类型的网络爬虫可实现不同类别数据的采集。比如，常见的新闻网页可以通过通用分布式网络爬虫采集数据；APP数据则需要研发专属爬虫实现逆向采集。采集过程中还要考虑分布式调度算法效率、验证机制破解、账号有效性维护等问题。

数据预处理承载着舆情数据降噪和数据细分的关键环节。数据采集完成后，为了保障后续舆情监测、研判的质量，需要对数据进行降噪处理。所谓数据降噪，是指删除广告、链接以及其他与主体内容无关的信息，排除无效数据。经过降噪的数据可以细分成各种数据维度，如特征指纹提取、实体识别、内容分类、情感分析、OCR识别等。面对每日数亿级的海量多模态数据，要保障数据低延迟的同时完成复杂的处理，这对大数据计算框架和人工智能模型都提出了新的要求。(www.xing528.com)

数据分析的能力直接决定着舆情研判的准确性和深度，这背后更是一个庞大的技术支撑。以舆情事件追踪的场景为例，除对舆情信息进行简单的聚合展现外，为了更好地厘清舆情事件的脉络和关联，需要利用自然语言处理技术完成关键事件识别、网民观点提取、热点话题追踪等任务，结合知识图谱技术展现舆情事件及影响因素之间的逻辑关系，挖掘隐藏线索，实现对舆情事件的洞察感知和智能理解。自然语言处理技术和知识图谱技术的应用，都涉及大量算法模型的训练与优化，同时也需要梳理建立完善的舆情领域知识，这需要持续性的投入且具备一定的难度。

网络舆情的发展是技术引领还是内容主导？这个话题在业内一直争议不断。其实这个话题不能单独从内容侧或技术侧的角度来看。网络舆情实际上是一个复杂的交叉学科，涉及新闻传播学、社会心理学、信息管理学等内容，脱离了任何一方，都不能构成完整的框架。内容对于网络舆情社会作用的再认知和再拓展，是推动舆情行业发展的重要力量，而数据处理和智能技术的突破加速了舆情行业在服务模式和商业逻辑上的变革。总的来看，技术决定了行业的下限，但内容决定了高度。两者相辅相成，缺一不可。