大数据时代面临的统计挑战
作者:聂细文 文章来源:中国统计信息报 点击数:9534 更新时间:2013/2/4 10:07:49
       前不久,中共中央政治局委员汪洋同志到广东省财政厅视察指导并作重要讲话,推荐了美籍华人涂子沛所著《大数据:正在到来的数据革命》一书,指出大数据是世界下一个创新、竞争和生产力提高的前沿,是政府工作一个新的战略制高点。广东省经信委会同有关部门起草了《广东省实施大数据战略工作方案》,把数据问题提上政府重要议事日程。政府统

统计作为一种社会资源
    “大数据”是一种时代现象而不是一种技术,通常认为有四大特征,称为“4V”特征。主要是指量大(Volume big);多样化(Variable Type),例如数据类型多,越来越多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息;快速化(Velocity Fast),数据需要快速传输运算处理;价值高和密度低(Value High and Low Density),以研究高技术制造业发展为例,所有的工业企业中,有重大价值者可能仅为极少部分的高技术企业数据。
“大数据”本身并不是一种新的技术,也不是一种新的产品,简而言之,“大数据”就是一个体量特别大,数据类别特别大,需要高速实时处理,价值含量高但高价值数据占全部数据较少的数据集合。
    在大数据科技大浪潮的背景之下,数据已经成为这个社会最重要的一种资源。统计部门作为生产数据的权威机关,正面临着较大挑战。
    一是硬件环境。影响数据处理的因素,归结起来主要有计算、存储和网络三大方面的因素。数据计算要依靠服务器来实现,服务器整体表现出来的性能,是影响大数据处理的关键因素。大数据的“4V”特征使得统计数据在存储、传输、分析、处理等方面均带来本质变化,随着统计数据量的快速增长,统计部门现有的存储容量和技术、网络带宽能力等面临挑战。
    二是统计数据质量。美国谚语云“除了上帝,任何人都必须用数据来说话”,数据质量如何,决定了说话的分量。我们仍然缺乏以数据为基础的精确管理,有时甚至是刻意回避数据。随着数据的公开细化程度不断提高,由于部分民众对统计指标和数据理解不确切,加上数据采集流程欠完善、地方政府干扰统计数据等原因导致部分统计数据质量不高,国民对统计数据的公信度较低。
    三是数据应用。应用数据并不是简单的数据汇总或数据罗列,而是要按照科学方法挖掘数据,对这些原始的数据进行加工、整理和上升为重要的结论。统计部门既是数据的生产者,又是数据的消费者,统计数据的应用应该贯穿政策倡议、决定、执行、评估、复议的全过程,通过数据来指导行动,用数据提高政府的决策效率和决策质量。
    四是数据安全性。目前大部分统计原始数据由企业通过“一套表”联网直报,在线对话活动频繁;主要统计数据通过统计局域网直接公布更新;各种办公软件需要实名制操作,并捆绑固定IP或电脑物理信息。现在黑客的组织能力、作案工具、作案手法及隐蔽程度非常之高,很容易通过对用户数据的深度分析,了解个人用户行为和习惯喜好等隐私,甚至企业用户的商业机密等,数据安全性受到全面挑战。
大数据时代的统计应对策略
    大数据时代已经到来,数据革命将改变政府运作模式及我们的生活,政府统计部门在应对大数据浪潮中,理当勇立潮头,全力推进大数据战略的实施。
    首先,营造数据文化,提高数据意识。现代社会,数据意识很重要,它包含着精确与开放、透明与分享等因素,相信数据、用数据来说话,是理性精神的一种表现。涂子沛所著《大数据》一书,从文化层面入手,指出大数据是政府工作一个新的战略制高点,必须注重数据的收集、分析和使用,坚持用数据说话、用数据改进管理、用数据推动创新。很长一段时间,我们习惯于表面上认可与事实存在差距的法定数据,而实际上却信靠另一套数据,通过这些与实际存在偏差的数据来服务意识形态。数据文化与数据意识,从政府管理层面而言,需要统计部门收集经济社会发展的主要数据,加以分析利用,以确保决策部门制定的政策是正确的、行之有效的;从公民个体而言,要求政府部门在收集分析数据之后,做到数据及时公开,让公民可以看到并加以使用,以行使公民自己的知情权、监督权。数据已经成为这个社会最重要的一种资源,成为各个国家竞争的前沿、创新的载体,急需营造良好的数据文化,提高政府部门及公众的数据意识。
    其次,紧抓数据质量,提高数据应用能力数据是帮助我们认识世界、找出问题、想出办法的基础,数据质量如何,决定了我们对事物的认知及分析建议是否客观正确。紧抓数据质量,必须强化对基层基础统计数据的审核把关,巩固和完善统计数据信息采集及质量审核制度,严格数据质量控制,真正做到“数出有源、真实可靠”,为科学发展观的落实提供真实的依据。包括强化基层统计机构建设,完善统计网络建设;建立基层统计工作经费保障机制,为基层开展工作创造必要的物质条件;落实好已下发的关于基层基础建设长效机制的相关文件。紧抓数据质量,必须进一步深化统计法制改革,实现依法治统。转变执法观念,拓展执法领域;改变执法方式,提高执法效果;加强部门协作,提高统计执法的整体水平;严肃查处统计违法行为,加大案件曝光力度。
    有了高质量的数据,在大数据时代,开发挖掘数据,提高数据应用能力尤为重要。要进一步提高分析处理数据的能力。数据的分析与处理,是大数据时代赋予每个行为主体与组织的基本要求,也是一个社会进入到精细化发展的基本工具,任何决策都需要有数据的支撑,这是在大数据时代减少失误、提高效率的关键。要加快数据中心的建设,实现数据共享。目前各单位大多建立了自己的数据库,但都是分割的、分散的信息“数据孤岛”,使用效率和效果并不高。应对大数据,统计部门需要运用云计算技术整合各部门主要数据,构建统一的数据中心,最终形成包括国民经济和社会发展有关的月度、季度和年度主要统计数据,各行业相关分析报告以及各项测评指标为主要内容的数据库。避免数出多门,提高数据的统一性、科学性和权威性,满足党政和社会各方面的信息需求,以开放共享统计数据推动大数据应用,以开发应用统计数据带动大数据发展,以大数据发展促进产业转型升级和社会创新。
    再次,扩大统计数据开放程度,推动大数据战略实施。统计数据本身就是资产,作为大数据时代的一种“战略性资源”,价值日益凸显,开放政府部门收集分析后的数据,让公民可以看到并加以使用,是满足社会的客观需求。必须牢固树立“公开是原则”的理念,通过“足够多的眼睛,将所有的错误都无所遁形”,提高统计数据质量。
    开放数据不仅仅意味着数据公开,还面临着什么样的数据可以开放,以什么形式开放,数据质量救助机制等问题。延伸数据公开内容。目前公布的统计产品大部分只是汇总数据,相当于“成品”,可“回收再利用性”较小,无法进行二次计算应用;公开内容中“数”多“据”少,缺乏对整个产业乃至地方经济形势发展的文字导向。大数据时代统计数据的开放,要求是更深层次的,包括获得数据的方式、产生的方法必须是透明的,必须同时发布一系列的文档说明数据的来源和产生的方法,向社会公布各项数据的详细指标解释。拓宽数据公开渠道。利用一切可以利用的数据开放渠道,从最大可知晓、可查寻的程度,去公开统计数据,让社会了解统计数据。
    最后,建立数据质量救助机制。数据质量问题,贯穿于数据收集、使用、发布等所有过程,涉及各行业发展规划的设定等。数据发布后,如果发布的统计数据质量确实存在问题,如何应对社会、公众对于数据的质疑和挑战?我们应该建立相应的数据质量救助机制来补救,通过开展数据质量复审进行纠错。

文章录入:商洛市统计局    责任编辑:商洛市统计局 
  • 上一文章文章:

  • 下一文章文章:
  •  
    商洛市统计局计算站 版权所有 电话:0914-2312014
    地址:商州区民主路1号 邮编:726000 备案号:陕ICP备15001476号 网站标识码:6110000023