时间:2023-07-19 17:30:06
开篇:写作不仅是一种记录,更是一种创造,它让我们能够捕捉那些稍纵即逝的灵感,将它们永久地定格在纸上。下面是小编精心整理的12篇统计学大数据分析,希望这些内容能成为您创作过程中的良师益友,陪伴您不断探索和进步。
关键词:大数据;统计学;数据分析;抽样理论;理论
重构随着信息科学技术的高速度发展,当代获取和储存数据信息的能力不断增强而成本不断下降,这为大数据的应用提供了必要的技术环境和可能.应用大数据技术的优势愈来愈明显,它的应用能够帮助人类获取真正有价值的数据信息.近年来,专家学者有关大数据技术问题进行了大量的研究工作[1],很多领域也都受到了大数据分析的影响.这个时代将大数据称为未来的石油,它必将对这个时代和未来的社会经济以及科学技术的发展产生深远的意义和影响.目前对于大数据概念,主要是从数据来源和数据的处理工具与处理难度方面考虑,但国内外专家学者各有各的观点,并没有给出一致的精确定义.麦肯锡全球数据分析研究所指出大数据是数据集的大小超越了典型数据库工具集合、存储、管理和分析能力的数据集,大数据被Gartner定义为极端信息管理和处理一个或多个维度的传统信息技术问题[23].目前得到专家们认可的一种观点,即:“超大规模”是GB级数据,“海量”是TB级数据,而“大数据”是PB及其以上级别数据[2].
一些研究学者把大数据特征进行概括,称其具有数据规模巨大、类型多样、可利用价值密度低和处理速度快等特征,同时特别强调大数据区别于其他概念的最重要特征是快速动态变化的数据和形成流式数据.大数据技术发展所面临的问题是数据存储、数据处理和数据分析、数据显示和数据安全等.大数据的数据量大、多样性、复杂性及实时性等特点,使得数据存储环境有了很大变化[45],而大部分传统的统计方法只适合分析单个计算机存储的数据,这些问题无疑增加了数据处理和整合的困难.数据分析是大数据处理的核心过程,同时它也给传统统计学带来了巨大的挑战[6].产生大数据的数据源通常情况下具有高速度性和实时性,所以要求数据处理和分析系统也要有快速度和实时性特点,而传统统计分析方法通常不具备快速和实时等特点.基于大数据的特点,传统的数据统计理论已经不能适应大数据分析与研究的范畴,传统统计学面临着巨大的机遇与挑战,然而为了适应大数据这一新的研究对象,传统统计学必须进行改进,以继续和更好的服务于人类.目前国内外将大数据和统计学相结合的研究文献并不多.本文对大数据时代这一特定环境背景,统计学的抽样理论和总体理论的存在价值、统计方法的重构及统计结果的评价标准的重建等问题进行分析与研究.
1传统意义下的统计学
广泛的统计学包括三个类型的统计方法:①处理大量随机现象的统计方法,比如概率论与数理统计方法.②处理非随机非概率的描述统计方法,如指数编制、社会调查等方法.③处理和特定学科相关联的特殊方法,如经济统计方法、环境科学统计方法等[7].受收集、处理数据的工具和能力的限制,人们几乎不可能收集到全部的数据信息,因此传统的统计学理论和方法基本上都是在样本上进行的.或者即使能够得到所有数据,但从实际角度出发,因所需成本过大,也会放弃搜集全部数据.然而,选择最佳的抽样方法和统计分析方法,也只能最大程度还原总体一个特定方面或某些方面的特征.事实上我们所察觉到的数据特征也只是总体大量特征中的一小部分,更多的其他特征尚待发掘.总之,传统统计学是建立在抽样理论基础上,以点带面的统计分析方法,强调因果关系的统计分析结果,推断所测对象的总体本质的一门科学,是通过搜集、整理和分析研究数据从而探索数据内部存在规律的一门科学.
2统计学是大数据分析的核心
数的产生基于三个要素,分别是数、量和计量单位.在用数来表示事物的特征并采用了科学的计量单位后,就产生了真正意义上的数据,即有根据的数.科学数据是基于科学设计,通过使用观察和测量获得的数据,认知自然现象和社会现象的变化规律,或者用来检验已经存在的理论假设,由此得到了具有实际意义和理论意义的数据.从数据中获得科学数据的理论,即统计学理论.科学数据是通过统计学理论获得的,而统计学理论是为获得科学数据而产生的一门科学.若说数据是传达事物特征的精确语言,进行科学研究的必备条件,认知世界的重要工具,那么大数据分析就是让数据最大限度地发挥功能,充分表达并有效满足不同需求的基本要求.基于统计学的发展史及在数据分析中的作用,完成将数据转化为知识、挖掘数据内在规律、通过数据发现并解决实际问题、预测可能发生的结果等是研究大数据的任务,而这必然离不开统计学.以大数据为研究对象,通过数据挖掘、提取、分析等手段探索现象内在本质的数据科学必须在继承或改进统计学理论的基础上产生.
统计数据的发展变化经历了一系列过程,从只能收集到少量的数据到尽量多地收集数据,到科学利用样本数据,再到综合利用各类数据,以至于发展到今天的选择使用大数据的过程.而统计分析为了适应数据可观察集的不断增大,也经历了相应的各个不同阶段,产生了统计分组法、大量观察法、归纳推断法、综合指标法、模型方程法和数据挖掘法等分析方法,并且借助计算机以及其他软件的程度也越来越深.300多年来,随着数据量以指数速度的不断增长,统计学围绕如何搜集、整理和分析数据而展开,合理构建了应用方法体系,帮助各个学科解决了许多复杂问题.现在进入了大数据时代,统计学依旧是数据分析的灵魂,大数据分析是数据科学赋予统计学的新任务.对于统计学而言,来自新时代的数据科学挑战有可能促使新思想、新方法和新技术产生,这一挑战也意味着对于统计学理论将面临巨大的机遇.
3统计学在大数据时代下必须改革
传统统计学是通过对总体进行抽样来搜索数据,对样本数据进行整理、分析、描述等,从而推断所测对象的总体本质,甚至预测总体未来的一门综合性学科.从研究对象到统计结果的评判标准都是离不开样本的抽取,完全不能适应大数据的4V特点,所以统计学为适应大数据技术的发展,必须进行改革.从学科发展角度出发,大数据对海量数据进行存储、整合、处理和分析,可以看成是一种新的数据分析方法.数据关系的内在本质决定了大数据和统计学之间必然存在联系,大数据对统计学的发展提出了挑战,体现在大样本标准的调整、样本选取标准和形式的重新确定、统计软件有待升级和开发及实质性统计方法的大数据化.但是也提供了一个机遇,体现在统计质量的提高、统计成本的下降、统计学作用领域的扩大、统计学科体系的延伸以及统计学家地位的提升[7].
3.1大数据时代抽样和总体理论存在价值
传统统计学中的样本数据来自总体,而总体是客观存在的全体,可以通过观测到的或经过抽样而得到的数据来认知总体.但是在大数据时代,不再是随机样本,而是全部的数据,还需要假定一个看不见摸不着的总体吗?如果将大数据看成一个高维度的大样本集合,针对样本大的问题,按照传统统计学的方法,可以采用抽样的方法来减少样本容量,并且可以达到需要的精度;对于维度高的问题,可以采取对变量进行选择、降维、压缩、分解等方法来降低数据的复杂程度.但实际上很难做得到,大数据涵盖多学科领域、多源、混合的数据,各学科之间的数据融合,学科边界模糊,各范畴的数据集互相重叠,合成一体,而且大数据涉及到各种数据类型.因此想要通过抽样而使数据量达到传统统计学的统计分析能力范围是一件相当困难或是一件不可能的事.大量的结构数据和非结构数据交织在一起,系统首先要认清哪个是有价值的信息,哪个是噪声,以及哪些不同类型的数据信息来自于同一个地址的数据源,等等,传统的统计学是无法做到的.在大数据时代下,是否需要打破传统意义的抽样理论、总体及样本等概念和关系,是假设“样本=总体”,还是“样本趋近于总体”,还是不再使用总体和样本这两个概念,而重新定义一个更合适的概念,等等.人们该怎样“安排”抽样、总体及样本等理论,或人们该怎样修正抽样、总体、样本的“公理化”定义,这个问题是大数据时代下,传统统计学面临改进的首要问题.
3.2统计方法在大数据时代下的重构问题
在大数据时代下,传统的高维度表达、结构描述和群体行为分析方法已经不能精确表达大数据在异构性、交互性、时效性、突发性等方面的特点,传统的“假设-模型-检验”的统计方法受到了质疑,而且从“数据”到“数据”的统计模式还没有真正建立,急切需要一个新的理论体系来指引,从而建立新的分析模型.去除数据噪声、筛选有价值的数据、整合不同类型的数据、快速对数据做出分析并得出分析结果等一系列问题都有待于研究.大数据分析涉及到三个维度,即时间维度、空间维度和数据本身的维度,怎样才能全面、深入地分析大数据的复杂性与特性,掌握大数据的不确定性,构建高效的大数据计算模型,变成了大数据分析的突破口.科学数据的演变是一个从简单到复杂的各种形式不断丰富、相互包容的过程,是一个循序渐进的过程,而不是简单的由一种形式取代另一种形式.研究科学数据的统计学理论也是一样,也是由简单到复杂的各种形式相互包容、不断丰富的发展过程,而绝不是完全否定一种理论、由另一种理论形式所代替.大数据时代的到来统计学理论必须要进行不断的完善和发展,以适应呈指数增长的数据量的大数据分析的需要.
3.3如何构建大数据时代下统计结果的评价标准框架
大数据时代下,统计分析评价的标准又该如何变化?传统统计分析的评价标准有两个方面,一是可靠性评价,二是有效性评价,然而这两种评价标准都因抽样而生.可靠性评价是指用样本去推断总体有多大的把握程度,一般用概率来衡量.可靠性评价有时表现为置信水平,有时表现为显著性水平[8].怎么确定显著性水平一直是个存在争议的问题,特别是在模型拟合度评价和假设检验中,因为各自参照的分布类型不一样,其统计量就不一样,显著性评价的临界值也就不一样,可是临界值又与显著性水平的高低直接相关.而大数据在一定程度上是全体数据,因此不存在以样本推断总体的问题,那么在这种情况下,置信水平、可靠性问题怎么确定?依据是什么?有效性评价指的是真实性,即为误差的大小,它与准确性、精确性有关.通常准确性是指观察值与真实值的吻合程度,一般是无法衡量的,而精确性用抽样分布的标准差来衡量.显然,精确性是针对样本数据而言的,也就是说样本数据有精确性问题,同时也有准确性问题.抽样误差和非抽样误差都可能存在于样本数据中,抽样误差可以计算和控制,但是非抽样误差只能通过各种方式加以识别或判断[910].大多数情况下,对于样本量不是太大的样本,非抽样误差可以得到较好的防范,然而对于大数据的全体数据而言,没有抽样误差问题,只有非抽样误差问题,也就是说大数据的真实性只表现为准确性.但是由于大数据特有的种种特性,使得大数据的非抽样误差很难进行防范、控制,也很难对其进行准确性评价.总之,对于大数据分析来说,有些统计分析理论是否还有意义,确切说有哪些统计学中的理论可以适用于大数据分析,而哪些统计学中的理论需要改进,哪些统计学中的理论已不再适用于大数据统计研究,等等,都有待于研究.所以大数据时代的统计学必是在继承中求改进,改进中求发展,重构适应大数据时代的新统计学理论.
4结论
来自于社会各种数据源的数据量呈指数增长,大数据对社会发展的推动力呈指数效应,大数据已是生命活动的主要承载者.一个新事物的出现,必然导致传统观念和传统技术的变革.对传统统计学来说,大数据时代的到来无疑是一个挑战,虽然传统统计学必须做出改变,但是占据主导地位的依然会是统计学,它会引领人类合理分析利用大数据资源.大数据给统计学带来了机遇和挑战,统计学家们应该积极学习新事物,适应新环境,努力为大数据时代创造出新的统计方法,扩大统计学的应用范围.
参考文献:
[1]陈冬玲,曾文.频繁模式挖掘中基于CFP的应用模型[J]沈阳大学学报(自然科学版),2015,27(4):296300.
[3]卞友江.“大数据”概念考辨[J].新闻研究导刊,2013,35(5):2528.
[5]靳小龙,王元卓,程学旗.大数据的研究体系与现状[J].信息通信技术,2013(6):3543.
[6]覃雄派,王会举,杜小勇,等.大数据分析:Rdbms与Mapreduce的竞争与共生[J].软件学报,2012,23(1):32-45.
[7]游士兵,张佩,姚雪梅.大数据对统计学的挑战和机遇[J].珞珈管理评论,2013(2):165171.
[8]李金昌.大数据与统计新思维[J].统计研究,2014,31(1):1017.
关键词:农经专业;数据分析;教学改革
2019年12月,农业农村部、中央网络安全和信息化委员会办公室关于印发《数字农业农村发展规划(2019-2025年)》的通知,部署了用数字化引领驱动农业农村现代化,加快农业农村生产经营、管理服务的数字化改造的发展战略,将全面提升农业农村生产智能化、经营网络化、管理高效化、服务便捷化水平作为农业农村发展的目标[1]。农业农村的数字化建设离不开专业人才的培养。农林经济管理专业毕业生的就业方向主要有农业经营单位、面向农业农村的政府管理部门、事业单位、科研院所等。随着农业农村数字化发展战略的推进,给传统的农经人才培养带来了一系列的挑战[2]。在数字经济和智慧农业的时展背景下,数据分析能力是农经专业学生重要的核心竞争力。如何提升农经专业学生数据分析能力,是农经专业人才培养中面临的重要课题[3]。
1农业农村数字化发展战略给农经人才培养带来的挑战
1.1对农经人才的数据思维的更高要求
在大数据时代,无论是农业生产经营活动,还是农村的行政管理中都有大量的数据资源。农业企业、农业合作经营组织、农产品产销数据、农产品溯源数据为农业经营者提供了生产、物流、销售环节大量的数据资源。经营者需要认识到数据是一种新的生产要素,要调动数据作为生产要素的属性,让数据分析为管理决策服务[4]。在数字中国的建设进程中,各级政府部门工作人员通过各级各部门的行政管理智能,收集了大量省、市、区、县级的区域经济社会发展数据。社区网格化管理下收集了微观层面的农业经营单位数据、农村常住人口数据、医保数据、扶贫数据、农村小额信贷数据。这些数据资源是政府提高行政效率、提高政务服务质量的宝贵资源。
1.2对农经人才的数据分析能力的更高要求
在大数据时代,每天都有海量数据生成,如何能更好地利用这些数据,让数据能发挥其为管理决策服务的功能,与数据使用者的数据分析能力是密切相关的。例如,农业经营单位在农业生产环节的农业投入数据、农产品销售数据、电商平台的客户反馈评论、农产品库存的动态数据,如何整合分析这些数据,要求农业经营者系统掌握数据分析、数据挖掘、文本分析等多元化的数据分析方法。政府管理部门掌握的农业人口的迁移数据、农村常住人口网格管理数据、农村居民医保数据、扶贫数据等,数据类型丰富,数据量庞杂,如何实现数据库的整合,要求政府部门工作人员掌握数据库管理、大数据分析技术。
2农经专业数据分析课程群建设中存在的问题
2.1课程之间连贯性不足
以笔者所在的高校为例,为农经专业本科生开设的数据分析类课程,见表1。数据分析课程群包括了通识教育、专业教育和实践教育。从目前的课程设置来看,涵盖了数据库、统计学、经济计量学、多元统计、大数据分析等领域,内容丰富。数据库应用由计算机学院开设,是一门通识教育课程,在授课时教师往往将其视为一门计算机类的入门课程,在教学中没有针对农经专业学生的特质,将数据库的教学与其在农经领域的应用结合起来。学生在学习中往往会觉得该课程与专业联系不够紧密,教学内容枯燥,缺乏学习兴趣。
2.2学生学习的软件种类繁多,但不够深入
在统计学和多元统计课程中,学生将学习EXCEL、SPSS或者R语言的应用,在经济计量学课程中学生将学习Eviews或STATA的应用,在数据挖掘与大数据分析课程中学生将学习Python语言的应用。在每一门课程中学习的软件都不同,对于软件的学习缺乏连贯性和延续性,虽然学生接触的软件种类多,但是由于学时所限,每一种软件都只是入门级的介绍,无法进入到深度学习。
2.3与专业课学习联系不够紧密,缺乏应用机会
学生缺乏在专业课学习中运用数据分析类课程所学知识的机会。数据分析类课程主要介绍数据分析方法和软件的应用,但大部分都安排在第5学期和第6学期。学生在学习了数据分析方法后,缺少在专业学习领域里运用这些方法的机会。例如学生若要完成产业经济学、农业技术经济学、农产品国际贸易学的专题研究、课程论文,需要用到统计学、经济计量学、大数据分析的方法,但在第2-4学期开设大量专业课的学期,数据分析类课程还没有开设。若能将数据分析类课程尽量靠前安排,学生可以在后续的专业学习、课题研究中运用所学的方法,一方面夯实数据分析技能,另一方面也可以增加学生对专业课的学习兴趣。
2.4排课不够科学
在大三阶段,学生可以选修多元统计、数据挖掘与大数据分析、Python语言三门选修课。但到了大三,学生专业课的学习任务重,选修课种类考虑繁多,学生选课可能出于兴趣、学分安排或者准备考研保研考虑,并不是每一位同学都会选修上述课程。尤其是计算机能力不太强、对数学类课程感到困难的同学,会倾向于选择难度小的课程。
3基于项目驱动式教学理念的数据分析课程群改革
3.1开展项目驱动式教学的意义
项目驱动教学法是基于行动导向的探究式教学方法,是将真实的或模拟的项目转化为教学项目,结合课程内容将项目分解为若干工作任务,创设工作情境,引导学生完成任务,进而实现项目教学目标的教学活动[4-5]。项目驱动式教学法最显著的特点是“以项目为主线、教师为主导、学生为主体”,改变了以往“教师讲,学生听”被动的教学模式,完善了学生主动参与、自主协作、探索创新的新型教学模式。与传统教学方法相比,教学实施过程中,学生的目标更清晰明确,可避免传统课堂教学的被动性,进而提高学生学习知识的兴趣和主动性[6]。在数据分析课程群中引入项目驱动教学,一方面能让学生运用所学的数据分析方法分析现实问题,创设数据分析情境,加深对所学方法的理解和运用,激发学习兴趣,培养自主学习能力;另一方面也可以有针对性地创设围绕“三农”问题的数据分析项目,让学生从数据分析中加深对“三农”问题的感性认识,培养对农经专业学习的兴趣,提升对农经专业的认同度。具体来讲,可以从以下方面开展对数据分析课程群的改革[7]。
3.2统筹规划教学内容,加强课程间的连贯和递进
农经专业数据分析课程群目前主要包括必修课数据库应用、统计学和经济计量学,选修课多元统计、数据挖掘与大数据分析,以及实践课R语言与统计应用、Python语言。统计学教学的重点在于对基础性的统计方法的运用,经济计量学教学的重点在于让学生掌握经济计量分析的范式,如何利用经济计量模型开展实证分析。多元统计强调对复杂多维数据信息的提炼。数据挖掘与大数据分析教学的重点在于大数据时代数据挖掘方法的应用。此外,针对于目前学生所学的软件门类过多,软件操作不够熟练,建议在统计学、多元统计、数据挖掘大数据分析中统一采用R语言进行教学,让学生通过几门课程的学习,能够熟练掌握一种统计分析软件。
3.3基于项目驱动对教学内容进行整合及优化,调动学生主动参与
例如统计学课程介绍了基础性的统计分析方法,在后续课程经济计量学、多元统计、数据挖掘与大数据分析中引导学生运用基础性统计分析方法,对数据进行初步的统计分析和整理,为经济计量分析、多元统计、数据挖掘做好数据处理上的准备,让学生体会到关联课程中所学知识的联结。鼓励学生积极参与“三下乡”活动,开展田野调查实践,围绕“三农”开展调研,运用统计和计量方法对调研数据进行分析,鼓励学生参与到教学中来,培养学生的学习兴趣,学以致用。
3.4建设“项目驱动”实践教学模块
结合农经专业课程体系,建设数据分析课程群“项目驱动”实践教学模块。在农经专业的课程体系中开设的农业经济学、农产品贸易、农村社会学等专业性课程对大量的“三农”问题进行了探讨,这类课程中涉及的城乡差异问题、收入和消费问题、农产品价格波动、农产品贸易等现实问题的研究,都离不开基于现实数据的定量分析。因此,在农经专业的数据分析课程群中可以结合教学内容引导学生对专业课学习中热点问题的研究,围绕课程教学大纲,建设“项目驱动”实践教学模块,理论联系实际,让学生在研究项目中运用所学的数据分析方法,加深对专业知识的理解。
4农经专业数据分析课程群优化方案
在大数据时代,数据分析能力是学生的核心竞争力之一。数据分析类课程在建设中要强调理论与实践的结合,不能只是将教学停留在课堂上,引入体现专业特色的实践教学环节。可以从以下几方面开展数据分析课程群的优化:第一,数据分析基础类必修课安排在大一学年。在第1学期,可以安排R入门、Python入门、数据可视化课程,让学生尽早接触当前主流的数据分析软件,激发学生对R或Python的学习兴趣,让学生自我拓展学习空间。R入门、Python入门、或者数据可视化课程都属于数据分析的基础课程,无需其他先修课程。在这一时期,让学生开始接触数据分析软件,学习数据可视化的分析工具,有利于培养学生的数据思维、数据意识和软件实操能力。第二,将与农经专业课有关的专业必修课统计学、经济计量学安排在第3-4学期学习。统计学课程需要学生先行修读高等数学和概率论课程,经济计量学需要学生先行修读微观经济学、宏观经济学,因此可安排在第3-4学期。让学生在掌握了一定经济管理专业知识后,可以更好地体会统计学、经济计量学方法论学科的应用价值。第三,将数据分析进阶类选修课多元统计、大数据分析、数据挖掘、机器学习等课程安排在第5-6学期。为高年学生提供丰富的数据分析类选修课,让学生结合自己的兴趣、未来的发展规划学习更加多元化的数据分析技术。鼓励学生能在专业论文习作、学科竞赛中有更多的机会运用自己所学的数据分析方法,增加学生的收获感和成就感,挖掘学生的学习潜力。第四,改革课程考核评价体系,采用项目式管理和评估的思路,由学生自主开展一个数据分析项目,从收集数据、提出问题、分析数据到提炼研究结论,开展小组团队成员互评。教师跟踪学生的项目开展过程,从学生的学习态度、投入程度、数据分析质量等综合评价学生的学习效果。
5结束语
将项目驱动教学引入到农经专业数据分析课程群的建设,让学生参与到教学中去,突破传统教学中“教师教学生学”的局面,让学生通过参与项目,运用数据分析方法解决项目中的实际问题,激发学生的学习兴趣和潜能,让学生体会到所学知识的应用价值,让学生不再对数据分析类课程望而生畏。本文的研究对于农经专业学生数据分析能力的培养有重要的意义,强调理论与实践的结合,提高学生数据分析的高阶能力,也能为同类课程开展项目驱动教学提供借鉴。
参考文献:
[1]农业农村部中央网络安全和信息化委员会办公室关于印发《数字农业农村发展规划(2019-2025年)》的通知[EB/OL].(2019-12-25)[2020-4-14].
[2]李虹贤.农业经济管理专业人才培养模式创新研究与实践[J].智慧农业导刊,2022,2(7):110-112.
[3]冯开文,陶冶.农业经济管理专业实践教学改革———以中国农业大学经济管理学院为例[J].教育现代化,2017,4(23):54-56+63.
[4]杜洪燕,陈俊红.乡村振兴背景下中国数字农业高质量发展路径研究[J].南方农业,2021,15(21):213-214.
[5]金娥.基于项目式学习的《现代教育技术应用》课程学习框架的设计与实践研究[D].武汉:华中师范大学,2021.
[6]胡静,王昌凤.基于应用型本科人才培养目标的项目式教学模式构建[J].教书育人(高教论坛),2022(9):59-64.
可视化分析。大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。
数据挖掘算法。大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。
预测性分析。大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。
语义引擎。非结构化数据的多元化给数据分析带来新的挑战,我们需要一套工具系统的去分析,提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
数据质量和数据管理。大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
(来源:文章屋网 )
【关键词】大数据 统计学 挑战 机遇 教学
【基金项目】贵州省科技厅、贵州民族大学联合基金(黔科合J字LKM[2011]09号)
【中图分类号】G642 【文献标识码】A 【文章编号】2095-3089(2014)08-0235-01
1.引言
“大数据”时代的来临和“大数据”处理技术的发展深深的影响着统计学的发展。能否利用传统的统计理论和统计方法对海量的数据做出快速、准确的处理并获取相关信息?如何对传统的统计理论与方法进行改进或探索新的统计理论和方法来对大数据进行挖掘与处理以获取信息?如何在“大数据”时代背景下培养符合市场需求的统计分析师或数据分析师?如何将“大数据”处理技术融入相关统计学课程教学以促进数据处理与分析技术的发展?这些都是我们在统计学相关课程教学过程中必须思考的一个问题。
2.大数据与统计学
“大数据”随着社交网络、物联网、云计算等的兴起而产生。一般认为大数据具有规模性、多样性、实时性及价值性四个基本特征,包含分析、带宽和内容三个要素。“大数据”在数据来源、数据结构和处理方法方面对传统的统计分析方法产生了冲击。第一,在大数据背景下,数据来源不再是原来的简单抽样,而是“样本即总体”,直接将总体作为研究对象。第二,在大数据时代,研究对象也不是原来单一的结构化数据,由于数据的多样化与规模化,我们更多的是研究非结构数据,采用人工智能来进行数据挖掘和信息获取。第三,数据处理方法也不是简单的采用传统的假设检验方法进行研究,特别是对于统计学中的异常点,不再采取以往的丢弃或者平滑处理方式。
“大数据”处理技术对统计学的发展提出了巨大挑战,但我们必须认识到学科之间的发展是相互交融的,“大数据处理技术”其本质上是数据处理与分析技术,其发展对统计学学科的发展也有积极的一面,同时统计学作为一门独立的学科,有其自身独特的学科优势。首先,海量的数据有利于提高各类统计分析的精度,如减小抽样误差等。其次,较之于传统的统计学方法,现有的“大数据”分析方法难度较大、成本较高、耗时较长。而在实际的应用中,我们关心的不是数据量的多少,而是数据量所蕴含的信息。传统的统计学分析方法是以较少的数据进行精确度相对较高的统计分析,这是“大数据”分析所无法替代的。另一方面,统计学在数据收集方法、模型选择、模型假设以及模型诊断方面有很大优势。而且并不是所有的问题都具有海量的数据,并不是每一个“大数据”问题都适合用现有的“大数据处理技术”来处理。
3.对策与建议
3.1 夯实基础教学
针对以上的分析我们可以看出,大数据对统计学的发展既是机遇,又是挑战。因此我们在教学过程中要夯实统计学基础知识的教学,讲清楚统计学的基本原理与基本方法,特别是数据分析与数据处理的基本原理与方法。对于许多传统领域,如生物、医药以及质量与可靠性工程等,我们面对的多是“小数据”而不是大数据,因此基于样本的统计分析方法仍然是进行此类问题研究的最有效的科学手段。
另一方面,我们要结合大数据技术的特点,对统计学的基本知识进行拓展教育,引导学生思考怎样将已有的统计学基本原理与方法运用到大数据处理的技术研究中。如在大数据环境下怎样进行数据的收集、筛选与甄别、存储与分析等,如何分析并厘清可能的数据来源与范围,如何建立相关指标体系并对数据进行分类,如何制定或调整相应的统计参考标准,以及如何对依靠非传统数据源加工生产的统计数据进行规范的统计推断等。
随着大数据时代的来临,各行各业对具有统计背景知识人才的需求必定越来越多。因此,在统计学教学过程中,一定要结合各专业的特点,特别是“大数据”的特点,切实加强统计学的基础知识教学与拓展教学。
3.2 加强统计学专业软件教学
“大数据”环境下,对统计人才需求也发生了变化。面对海量的数据与多样化的数据,一名合格的统计人才或数据分析人才不单需要良好的统计素养与扎实的统计基础知识,更需要具有数据的存储与整理能力、计算能力以及数据分析与处理能力等。这就要求在教学过程中,加强统计软件或数学软件的教学。
针对传统的“数学证明+手工计算”或“重理论轻专业统计软件”的统计学课程教学模式,可将统计软件或数学软件融入课堂教学并安排一定的课时上机学习统计软件,以此提高学生数据处理能力,加深对统计学基本原理的理解与掌握。
在加强统计软件或数学软件,如SPSS、R、SAS以及Matlab的教学过程中,要摈弃“会软件的操作即会统计技术”的思维,要让学生真正掌握相关操作与相关算法,深入思考算法的实现与相关理论的应用。同时引导学生思考对“大数据处理”的技术要求,包括数据搜集、发掘、存储以及计算分析过程中的算法与设备要求等,引导学生针对大数据进行软件升级与开发。
3.3 突出案例教学与实践教学
大数据的产生和发展源于规模经济问题或超规模经济问题的研究。每一个大数据问题的研究都是与实际经济或社会问题紧密相联的,因此,在实际教学过程中,要突出案例教学与实践教学,由易到难,通过案例教学逐步引入大数据的概念以及大数据处理的基本技术,提高学生的分析全局观以及进行实际数据分析与处理的能力。
教学改革的目的是培养在“大数据”时代背景下,符合市场需求的专业统计人才,而合格的专业统计人才必须具备良好的统计实践能力。案例教学与统计实践活动是培养学生统计实践能力的有效途径。因此,在教学过程中,一方面,教师可融合各种与实际问题相关的案例进行分析和讲解,加深学生对相关统计理论知识的理解,激发学生的学习兴趣,培养学生解决实际问题的能力。另一方面,教师可以组织多种形式的课堂或课堂外的统计实践活动以培养学生统计实践。如,指导学生针对他们感兴趣的与经济、社会发展相关的统计实际问题展开统计研究,设计调查问卷,收集数据、整理和分析数据,撰写研究报告,实现对实际问题的分析和解决等。
4.结束语
总之,在“大数据”环境下我们既要积极面对挑战,又要紧紧抓住机遇,切实结合“大数据”的特点和“大数据处理技术”发展的需求,既加强对传统的统计学方法、统计理论的教学,又积极开展 “大数据“环境下的拓展教学,推动统计学的发展,在数据收集、数据分析以及统计制度等方面进行改革和创新。
参考文献:
[1]李国杰. 大数据研究的科学价值[J]. 中国计算机学会通讯,2012,8(9) .
[2]姜奇平. 2013 全球大数据-大数据的时代变革力量[J]. 互联网周刊,2013,1.
[3]游士兵,张佩,姚雪梅.大数据对统计学的挑战和机遇 [J]. 珞珈管理评论标,2013,2(13).
关键词:总体数据 相关性 个性化营销 定制服务
中图分类号:C829.2 文献标识码:A 文章编号:1674-098X(2017)01(a)-0109-02
随着科技的发展,大数据已经成为信息时代的一场技术革命。大数据是指传统数据库管理工具难以处理的大量的、多样化的数据。当前普遍认为大数据有3个特点:第一,数据量非常大;第二,数据增长速度非常快;第三,数据类型越来越多样化[1]。零售业作为传统的线下实体经营行业,积累了大量的消费者以及管理层的数据,如果依靠传统的统计学模型对这些数据进行分析,很难得出可以用于企业经营管理的有效信息,加上年轻一代消费者越来越追求个性化,所以传统统计学所采用的根据部分样本推断总体的分析方法已经无法满足市场的个性化需求,因此,传统统计学要想跟上时展的步伐,就必须做出与之相适应的改变。
1 零售行业里大数据与传统统计学的区别
维克多・迈克尔在《大数据时代》一书中提出了大数据思维的3个最显著的变化:一是样本等于总体。这与过去基于样本进行统计分析的思维截然不同;二是不再追求精确性。在大数据中往往存在“噪音”和罕见事件,这样的数据影响了结果的精确性;三是相关分析比因果分析更重要,在大数据时代我们将注意力更多地放在“是什么”而不是“为什么”[2]。大数据的以上特性在零售行业同样适用,零售行业的大数据与传统统计学的区别有以下3点。
第一,大数据收集总体数据,而传统统计学多采用抽样的方式收集部分数据。传统统计学在做统计分析时首先针对某一个问题提出假设,然后确定需要调查对象的总体,由于数据采集存在一定的难度,所以统计分析采取从总体中随机抽样选取一部分数据作为分析的对象,如此的话对随机抽样的方法与数据采集的准确性要求是非常高的。而大数据收集的是数据“总体”,在进行分析的时候不会人为进行假设,排除了人的干扰因素,仅仅从数据本身出发进行数据分析。在零售行业如果能运用大数据思维分析数据,从产生数据的顾客行为本身出发,针对不同顾客做出个性化营销,而不是人为假设的话,管理层就可以根据数据进行预测,避免了主观的经验与直觉的判断。沃尔玛作为零售行业的巨头,运用大数据分析得出的著名的啤酒与尿布理论可以证明这一点。
第二,大数据注重个体行为的研究,统计学用样本数据推断总体行为。传统的统计学采用抽样调查的方式对样本数据进行分析,用样本推断总体,那些在图表上反映出来的异常数据被排除在外。大数据包容一切数据,其中包括各种结构化、半结构化、非结构化甚至是异构数据。对于零售行业而言,顾客的总体行为表现是没有意义的,因为每个顾客的需求不同,在不同的时间和地点需要的商品都不同,只有根据每位顾客的不同行为进行个性化服务才能让线下的零售行业有优势可言。美国高档连锁百货Nordstorm最近开始采用线下实体店客流分析服务供应商Euclid Analytics公司的客流监测解决方案Euclid Zero,基于用户连接Wifi行为来获取店内顾客手机的Mac物理地址并进行线下追踪,由此可以通过单个顾客在百货店里的行动路线和滞留时间,从而用于改善商品罗列与室内动线以及顾客个性化偏好与推荐服务[3]。
第三,大数据注重数据之间的相关性,而传统统计学更加关注数据分析的结果。从社会发展的角度来看,大数据对数据的关联性分析更有助于零售行业管理层做出决策。对于传统零售行业而言,线下的用户体验是非常重要的,如果能根据用户行为数据分析出哪些商品放在一起能促进购买力,那么零售行业将会有更大的利润空间,相比之下,统计学进行的结果分析显得没有那么重要。
2 大数据在零售行业的优势
迈克尔・舍恩伯格说:大数据发展的核心动力就是人类测量、记录和分析数据的渴望。
第一,大数据收集的数据是多样化的、非标准化的,而统计学收集的数据都是标准化、结构化的,统计学无法对非结构化的数据进行分析与测量。但是在零售行业仅仅对标准化的数据进行分析做出的判断已无法满足行业的需求,通过对用户在商品前滞留的时间以及与货架上商品的互动行为产生的数据进行分析,从而调整货架的位置才是主流。
第二,大数据可以实时、快速监测与收集数据,而统计学收集数据时间长、难度高。大数据收集与处理数据的能力对于零售行业的供应链管理十分有效。零售市场可以利用大数据对库存和员工行为进行监测,从而为管理层做决策提供依据。沃尔玛为了提高大数据成果在不同部门之间的高效利用,并增加存货管理和供应链管理的投入回报率,其开发了Retial Link工具。供应商使用该工具可以预先知道不同店铺商品销售和库存情况,从而能够在沃尔玛发出指令前自行补货,极大地减少商品断货,提高供应链的库存水平[4]。
3 传统统计学面对大数据挑战要做出改变
大数据的出现给我们的生活带来了巨大的改变,甚至不同国家的政府都将大数据作为国家的战略资源。相比之下,传统统计学面临着大数据的巨大挑战,如果能根据自身优势做出改变,传统统计学仍然具有存在的价值。
第一,改变数据的收集方式。统计学收集数据时前期要做大量的准备工作,需要耗费大量的人力物力成本,所以想要更加高效收集数据,就必须做出改变。由于大数据是基于互联网收集数据的,所以对于不使用互联网的地区和群体来说,大数据就显得很无力,而传统统计学可以在此基础上发挥自身势,在以往的数据收集方式上进行创新。
第二,传统统计学在数据的分析思维上也要进行改变。传统统计学不光要打破只能分析标准化数据的魔咒,更要着重分析问题的本质,而不是一味注重结果分析,虽然“是什么”很重要,但是一直以来探寻事物内在本质才是不断推动人类社会进步的动力所在,所以统计学也要学会知道“为什么”。
4 结语
信息技术的发展是无法想象的,我们无法通过今天来预测未来10年信息行业的发展。只有追上时代的脚步,做出顺应时代潮流的改变,才能免遭淘汰,对于传统统计学也是一样,停留在原地不动是不明智的,改变才是世界的本质。而所有技术的变革都将反馈给人类的生活,让人们和社会从中受益。
参考文献
[1] 城田真琴.大数据的冲击[M].人民邮电出版社,2013.
[2] 维克多・迈尔.大数据时代[M].浙江人民出版社,2013.
关键词:大数据;统计学;百度指数;趋势外推
中图分类号:F27 文献识别码:A 文章编号:1001-828X(2017)001-0000-02
引言
现代社会,数据量呈爆炸式增长趋势,数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。2012年以来,大数据一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。而统计学作为传统的数据分析方法,在拥有海量数据的现代社会既有着巨大的机遇,但由于大数据突破了传统统计学关于样本和总体界定等等限制,也对传统统计学的分析方法提出了前所未有的冲击和挑战。在现实生活中,并没有一门基于大数据的专业产生,各大企业往往通过招收统计学、计算机、数学等相关专业的人才来满足其大数据分析工作的要求,尽管如此,关于大数据的热门是否捧热了统计学之类的相关学科的说法一直众说纷纭;此外经过了几年的对大数据关注的大热,市场逐渐对其回归理性,甚至出现了“大数据泡沫”这样的质疑声音。本文借助百度搜索指数,对2012年-2015年每一周大数据、统计学两词条的反映其关注热度的搜索指数进行定性、定量分析,实现以下目的:
观察从百度搜索指数中反映出的人们对于大数据、统计学度的变化趋势,了解在人们关注度方面二者有无相关性、有怎样的相关性,即大数据的大热有没有带来统计学关注度的变化。
通过建立统计模型,观察大数据关注热度5年来的变化,了解现实中其在关注度发展过程中所处的阶段,即现实中对大数据的关注依然处于上升阶段还是已经趋于饱和。采用定量、定性结合的分析方法,将统计学和大数据的搜索指数时间序列作线图,并计算线性相关系数,观察两者的变化规律,并计算两者有无线性相关关系。为满足消除随机性波动和保留足够数据量的需要,分别计算大数据搜索指数的每四周、每季度加权平均值。观察图形有无季节性、周期性波动;观察图形是否存在转折点,以此为基础选择统计模型。根据图形识别的结果,建立可能的统计模型,并通过比较R方值的方法来选择适当的模型。
一、中国统计学发展与大数据发展的相关性分析
用横坐标表示周次,纵坐标表示搜索指数,将大数据和统计学的搜索指数时间序列在一个图中分别做折线图,从图像中可以看出,57周以前,统计学的搜索热度大于大数据的搜索热度,57周以后,大数据搜索热度逐渐超过统计学搜索热度。90周之后,大数据和统计学的变动趋势呈现一定的相似性,例如都在214周时达到谷值,而后回升。在178周大数据搜索达到峰值,182周统计学搜索量达到峰值,在此期间统计学的增长略落后于大数据的增长,但是分布的形状大体一致。
2.季平均值线性相关系数=0.292112357
结果分析:两组数据的线性相关程度都不高,其中季平均线性相关系数略高于周平均线性相关系数。说明大数据与统计学的搜索指数之间并不存在明显的线性相关关系,但是从图中看出二者变化趋势具有相似性,因此猜测二者可能具有某种非线性相关关系。
因为相关关系并不等于因果关系,因此对于如上结果我们做出两种假设:
在90周以后,统计学的分布类似并且略落后于大数据的增长,这可能是由于人们对于大数据的关注,引发了人们对于统计学这个相关学科的关注。
两者类似的分布形态,可能是由于全国所有用户搜索频次的周期性、随机性变动所引致的,大数据、统计学搜索指数变动之间并没有直接的因果关系。
二、中国大数据需求量预测模型
由于原始数据有260周,波动性过大,为了得到更为准确的结论,我们仅对其按每季度、每四周两种方式计算加权平均值得到的时间序列作讨论,其目的是(1)平滑随机波动;(2)判定按每季度和每四周平均哪个有季节性;(3)每季度平均更能反映长期趋势,但数据较少,只能以季为单位预测未来值;每四周平均的数据较多,且可以进行更短期的预测。
1.季节性、趋势性的判定
(a)图形判别法
建立按季平均和按每四周平均的横坐标为季度或周次,纵坐标为搜索指数的折线图,按季节平均、按每四周平均,大数据搜索指数都不存在明显的季节性;另外由于后一年的值往往大于前一年的值,因此可以判定其存在趋势性。
(b)建立一元线性回归方程并检验显著性
季平均值:;
每四周平均值:;
关键词:大数据;统计学;教学改革
中图分类号:C829.29 文献识别码:A 文章编号:1001-828X(2015)024-000-01
一、引言
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。大数据具有以下的鲜明特点:第一个特征是数据量大。第二个特征是数据类型繁多,多类型的数据对数据的处理能力提出了更高的要求。第三个特征是数据价值密度相对较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。第四个特征是处理速度快,时效性要求高,这是大数据区分于传统数据挖掘最显著的特征。
统计学专业是与数据分析处理联系最为紧密的学科之一。大数据时代的到来不仅为统计学专业的发展带来的前所未有的机遇,同时也带来了巨大挑战。传统的统计学专业已不再适应大数据时代的信息爆发式增长的要求,这就要求我们应该对统计学专业进行重新定位,并在此基础上调整相关课程,改革传统的教学手段以及完善教学评价体系,以适应大数据时代的到来。
二、统计学专业改革的建议
(一)人才培养目标的重新定位
如果说以往的统计学专业是以培养简单的“应用型”人才为目标,那么随着大数据时代的到来,社会不仅仅需要会应用基础统计知识处理相关领域的问题的单一的应用型人才,而是对人才提出了更高的要求:大数据时代下的统计学专业的人才除了应该具备基础的数据收集,处理和分析的能力之外,还应该了解相关应用领域的背景知识,而且应具备很强的自我学习能力,以适应大数据时代数据量大,总类繁多,时效性高等发展特点。因此,统计学人才培养目标应该重新作出调整,应该以培养全新的“复合型”统计人才为新的目标。
(二)课程设置的调整
随着人才培养目标的重新定位,随之而来的就是应该对不再适应时展要求的课程进行必要的调整。
首先,大数据的分析和处理与以往的经典分析方法有很大不同,以往的统计分析方法主要是建立在抽样基础之上,而大数据时代信息处理迅速,信息获得途径广泛,而且信息价值密度低,这就要求数据处理时,可以以全体作为样本,而不是进行抽样;分析时必须考虑所有数据而不是剔除所谓的异常数据。因此,以往的经典统计分析方法已不再适应大数据的处理和分析,必须适当的调整经典分析方法的课程设置,增加新的适用于大数据分析的课程。
其次,随着数据量的爆发式增长,所有的统计工作对计算机的依赖程度越来越高,这就要求统计学专业的学生不仅掌握统计学专业的基础知识,同时应该熟练掌握计算机专业知识相关知识,因此,在课程安排时,应注意计算机相关课程的适当增加。
基于上述原因,可以考虑增加如下课程:机器学习,模拟算法,数据挖掘,R语言软件分析等课程,同时适当降低传统分析方法课程的学时比重。此外,为了使学生能够对相关应用领域的背景知识有所了解,可适当增设与应用领域相关的通识课程。
(三)教学模式与手段的创新
以往的教学模式,通常是以课堂教学,掌握书本经典理论为主。虽然,传统教学手段有着学生理论基础扎实等诸多优点,但是同时也存才学生过于偏重理论知识的掌握,动手能力不足,理论与实践脱节等缺点。随着社会的发展,尤其统计学专业自身具有鲜明的应用专业特点。只采用传统的教学模式和手段显然不再适合大数据时代的需要;同时,随着大数据时代的到来,多媒体手段日益丰富多彩,为传统教学的创新提供了必要的支持。因此,为了适应大数据时代人才的要求,必须改革传统的教学手段和模式,在传统教学基础上,加大实验教学的比重,在传统教学外,增加社会实践环节,引入微课慕课,翻转课堂等全新教学模式,以提高学生的学习兴趣,锻炼学生理论应用于实践的能力,从而为以后使用大数据时代的工作打下坚实的基础。
(四)教学评价体系的完善
传统的教学评价体系,通常是采用书面考核的方式对学生的学习进行评价,随着时代的发着,单纯的笔试评价不足以衡量学生的全面能力,最后导致出现高分低能的情况的出现。
为了适应大数据时代对人才多方面能力的需求,必须对传统的考核评价体系做出适当的调整,以评价学生的多方面能力,尤其是动手能力,学习能力和应用相关理论处理实际问题的能力。具体可以采用多种考核方法相结合的方式。如:增加平时的考核力度,增加实践项目的考核,通过布置适当的项目论文,采用答辩的形式,以锻炼学生适应以后工作,独立分析解决问题的能力。
此外,传统教学评价体系通常是单方面的,只有对学生成绩的评价,为了适应大数据时代的到来,全面提高教学质量,可采取双向教学评价体系,如:增加学生对教学环节的评价体系。以及教师间同行间的评价体系等。
关键词:大数据;经管类专业;课程体系
中图分类号:G642.0 文献标志码:A 文章编号:1674-9324(2016)13-0054-02
大数据时代给社会经济发展带来了机遇和挑战,社会各行各业对数据分析需求大幅上升,需要借助数据分析实现数据的增值,挖掘数据背后的潜在价值,为其经营管理决策、投资决策提供智力支持。随着社会经济发展对具有数据管理和数据分析能力的应用创新型经济管理人才的需求逐渐攀升,也引发了对高校经管类专业学生能力的更高要求。面对纷繁复杂的社会经济环境,经管类专业学生必须能够广泛应用定量分析技术,能够从海量数据中获取有效数据,运用科学的方法从这些数据中提取出有用信息,建立相应的模型,作出最优决策。
统计学是培养经管类专业学生定量分析能力的一门重要课程,是众多高等院校经管类专业的专业基础必修课,是以后深入学习相关定量方法类课程(诸如计量经济学、管理运筹学、市场调查与预测等)的基础。因此,统计学课程体系设置是否合理,将直接影响到学生获取有效数据和分析数据应用能力的培养,进而影响学生定量分析能力的培养。
一、经管类专业统计学课程体系存在的问题
1.课程教学定位模糊。我国高等院校经管类专业统计学教学中的最大弊端在于一直按照前苏联划分方式将其归类为一门偏重于简单数据整理课程,而将相应的统计分析所采用方法和理论归为数理统计,因此在教学中不重视对后者的学习。然而,西方发达国家的统计学课程是同时包括这两个部分内容的,尤其是后一个部分内容是定量分析的重要基础。因此,在传统统计学教学定位下,学生只认识了基本理论与概念,却掌握不了处理和分析数据的能力,这与经管类专业应用型人才培养目标相背离,难以适应大数据时代社会各领域对经济管理人才素质的新需求。
2.课程体系有待完善,与经管类专业融合不够。目前,大多数高等院校经管类专业统计学课程设置只涉及理论统计学这一领域,未将统计分析方法与相关经管类专业知识有机结合。在这样的课程体系安排下,学生虽然掌握了统计基本理论和方法,但难以体会到统计在本专业学习中的应用价值,当面临现实的经济、管理问题却无能为力,不会运用所学统计方法,结合专业知识对实际问题进行定量分析。这种状况与经管类人才定量分析能力培养目的相违背,难以实现具有创新能力的经管类人才的培养目标。
因此,如能结合经管类专业特点,对统计学的课程体系进行优化建设,势必能够培养出具有定量分析技能,满足社会需求和企业需求,符合大数据时代人才素质要求的经济管理人才。
二、大数据时代经管类专业统计学课程体系构建
1.明确课程教学定位。目前,统计学教学中偏重于统计学基本概念、基本模型和基本方法的理论知识学习,系统性较强,有利于学生全面了解统计学的知识体系,但是对统计思维能力的培养和统计方法的应用重视不够,这不仅会让学生望而生畏,从而失去学习的主动性与积极性,更为重要的是学生不能够学以致用,在自己本专业深入学习过程中不会运用统计学知识来解决实际的经济管理问题,而在教与学中出现的这些问题源头在于教学定位不够准确。因此,本文提出新的课程教学定位:以应用创新型人才培养为导向,提高经管类专业学生定量分析能力为目标,结合经济学科和管理学科的特点,通过统计学的理论教学、案例分析、课程设计、实验(践)等教学环节,培养学生统计思维能力和统计应用能力,具备运用统计学理论与方法,研究社会经济管理领域有关数据收集、整理、分析等解决实际问题的综合能力,以适应大数据时代对经济管理人才的新需求。
2.课程体系优化建设。根据新的教学定位,统计学课程体系优化建设的基本思路:一是课程体系设置要强调基础知识、注重灵活应用、突出定量分析的教学理念和教学目标;二是课程结构上,突出专业针对性,强调统计学科和经济学科、管理学科的有机结合,使课程特色化;三是建立实践教学体系,加强学生实践能力的锻炼,为学生提供综合素质和能力提高的实训平台;四是将统计分析软件的运用融入到课程体系之中,加强统计分析软件的技能培养。
因此,本文将运用模块化系统集成思想,根据经济与管理类各专业的要求,提出按专业分模块,按模块分层次,按层次定内容的改革方案,构建“课程体系课程子系统课程模块具体内容”的递阶控制结构模型,具体如图1所示。
在统计学课程体系优化建设中,我们运用系统科学的方法构建出模块化、层次化集成的课程体系在整体功能上达到了最佳状态。
课程基础子系统是统计学理论基础和统计思维培养阶段,由统计学基本原理和基本理论构成,体现了“厚基础”的功能。课程应用子系统和课程案例子系统是统计分析能力训练阶段,首先结合认知性案例模块系统介绍统计分析方法,让经管类专业学生了解统计分析方法的基本原理,其次进一步结合专业特色案例模块和统计分析软件模块,通过分专业教学方式,使不同专业学生能够体会到统计学在本专业中的应用,增强学生的学习兴趣,体现了“强能力”的功能。课程实践子系统是统计应用能力实践阶段,是培养大数据时代应用型经管人才的重要环节。课程实践主要包括课堂实践和实验室模拟,课外实践主要包括社会实践活动、实训实习和相关竞赛,通过课程实践和课外实践两大平台训练学生运用所学统计调查、统计整理和统计分析等知识解决实际问题的综合能力。课程选修子系统是统计应用能力扩展阶段,该阶段在学生掌握统计学相关知识的基础上,通过选修统计预测与统计决策两大模块,进一步培养学生的定量分析能力。
三、结束语
大数据时代经管类专业统计学课程体系构建,应注重强化基础理论,突出知识的实用性和创新性,做到统计知识与实例分析相结合,与软件应用相结合,理论教学与实践教学相结合,与实际应用相结合。根据经管类各专业特色,以“知识+能力+应用”模式进行模块化、层次化课程体系设置,从本质上提升学生的数据素养和信息素养,提高解决实际问题的定量分析能力,以适应大数据时代对人才素质的新需求,使具有数据管理和数据分析能力的经济管理人才在就业市场上更具有竞争力。
参考文献:
[1]孙根年.课程体系优化的系统观及系统方法[J].高等教育研究,2001,(2).
[2]曾五一,肖红中、庞皓,朱建平.经济管理类统计学专业教学体系的改革与创新[J].统计研究,2012,(2).
[3]姚寿福.经济管理类本科专业统计学课程教学改革思考[J].高等教育研究(成都),2012,(3).
[4]朱怀庆.大数据时代对本科经管类统计学教学的影响及对策[J].高等教育研究(成都),2014,(3).
1、辅助工作。当前正处在大数据时代背景下,对于职场人来说,掌握一定的数据分析技术将是未来一个发展趋势,而无论是采用统计学的数据分析方式还是机器学习的数据分析方式,编程都是重要的工具。目前在金融领域内,通过编程(Python语言)来进行数据分析越来越流行,这就是一个比较明显的发展信号。未来不仅是互联网行业,更多传统行业的企业将逐渐成为数据驱动型的企业,而这个过程必然会伴随着知识结构的升级,编程是其中的重要内容之一。
2、辅助学习。随着大数据技术的发展,未来的学习过程将更加智能化,更多的智能体将以教育的形式走进人们的生活中,而编程语言是与这些智能体进行交流的重要方式之一,所以掌握编程语言对于学习也是有重要意义的。
3、方便生活。随着5G的落地应用,未来在生活场景中会有越来越多可编程的智能体,掌握编程技术可以更加方便的按照自己的需求进行各种个性化的设定,比如对智能家居产品和智能汽车产品进行编程等等。
(来源:文章屋网 )
关键词:大数据 统计学教学改革 教学方法
中图分类号:G642.0 文献标识码:A 文章编号:1672-1578(2017)05-0027-01
当今社会是信息爆炸的时代,随着数据可获得性的提高,数以海量级的数据有待于我们处理。作为一门处理分析数据的学科――统计学,其教学面临着诸多挑战,为了适应当今时代的需求,统计学课程的教学迫切需要进行多方面的改革。那么如何改进传统的教学模式,培养出能够适应“大数据时代”需求的专业人才?是值得我们深思的问题,对该问题进行探讨具有深远的意义。本文从当今社会人才需求方面,探讨如何进行改革,来寻求最优的教学模式和方法,来为社会输送优质的统计专业的毕业生。
1 传统的统计教学中主要存在的问题
1.1 就教学内容而言,偏重于理论
在大多数高校中,目前对于统计学课程的教学仍然是偏重于统计理论的讲解,学生大多数是采用死记硬背或者习题训练的方式来掌握统计理论。虽然他们能够记住统计理论或一些统计模型,但是却无法将所学的知识应用到实际中,来解决实际问题。学生不知道为什么要学习统计学,学习该课程有何用途?因而很难提起学生们的学习兴趣。学生往往在了解所学的内容可以解决什么问题后,才会积极主动的去学习,这便要求老师在课堂教学中,摒弃偏重于理论教学的枯燥教学模式,更多的抛出生动的实际问题,来调动学生的积极性。
1.2 统计教学过程中上C实验课较少
在目前的统计教学过程中,鉴于课程内容较多,而教学课时量有限,这便使得上机实验课在课程中所占的比例较少,大多只有几个学时的上机实验课。致使很多需要上机实践的课程内容无法实现。这非常的不利于学生现学现用, 而只能是让学生简单了解一下统计软件的基本操作流程,这即利于学生掌握课堂知识,也不利于调动学生的学习积极性。
1.3相对于中国统计实践的需求,统计教学的发展较为滞后
统计学是一门搜集、整理、分析数据的学科,学习统计学的目的是通过探索数据的内在规律性,来客观、科学的认识客观事物。统计数据源自于实践,及时、准确、完整的统计数据是我们进行统计分析的前提,否则,统计方法将无用武之地。随着计算机技术的快速发展,数据的可获得性大大提高,我们已经步入了大数据时代,此时,传统的统计学理论或方法已不再使用,迫切需要在我们的教学过程中引入新的内容来适应时代的发展。但是,在统计学的教学过程中,教学内容并没有随着社会的发展而有所变化,不仅如此,在统计学的教学案例中,大多数还是采用比较陈旧的数据,并没有及时更新数据,数据质量不高。
2 大数据时代对统计学教学改革的需求
在当今大数据时代,数据已经成为了一项非常重要的资源,它同矿产资源、石油资源等一样的重要,并且数据资源有其特别之处是越用越多。大数据方面的人才在各国较为紧缺,在能够做数据分析的人才里面,统计学专业有其独特的优势,统计人才是数据分析的核心人才。这是我们统计的发展机遇,也是挑战。因为传统的统计教学已经不能够适应当今社会对统计人才的需求。改革开放三十年来,我们的统计学教材并没有随着社会的变化而变化,教材已经不能够反映社会的需求,在我们的教材中有些部分花费了很大的篇幅来介绍一些简单的计算方法,但是,随着计算机的普遍,这些方法,计算机一点就能够解决。
有人说21世纪是统计的世纪,这是一个很好的机遇,需要从事统计专业的老师和学生共同努力,主动的接受大数据的知识,加强计算机能力的培养,拓宽视野,既能够熟练的掌握计算机,又能够很好的运用统计软件进行数据分析,来适应当今社会的发展。
3 关于统计教学改革的思考
3.1 构建集课堂、实验室和社会于一体的教学体系
学好统计学并不是一件易事,不仅需要掌握课堂上的理论知识,还需要步入社会去实地调查,获得一手数据,得到数据后,进一步需要我们到实验室去学习如何运用统计软件,进行处理、分析数据,从数据得到结论。因而,要达到较好的教学效果,便需要一个集课堂、社会和实验室于一体的完善教学体系。使得学生不仅掌握了基本的统计学理论知识,还能够熟练运用统计软件和计算机系统来处理现实数据,挖掘数据内在的规律性,成为当今社会需求的统计专业人才。
3.2 在教学过程中,加大教学案例所占的比例
在统计教学过程中,如果只偏重于理论教学,无疑是枯燥、乏味的。如果我们可以适当的添加一些生动的教学案例,便会调动学生的学习积极性,使其能够更好的理解课本上的内容,也会提高学生的应用能力,更清楚的明白所学内容可以如何应用。所以说案例在教学过程中非常的重要,好的案例不仅要能够体现书本上的知识点,还要考虑到所授学生的专业特点,不断的更新,有针对性的挑选一些好的案例,这有助于学生掌握如何运用统计学知识来处理所学专业的问题,提高他们的学习积极性。
3.3 教学内容上跟上大数据时代的需求
传统的教学理念和方法所培养出来的统计人才,已经不能够很好的适应大数据时代对人才的需求,当今社会需要的是具有很好的动手能力、数据处理能力和学习能力的人才。
这便迫切需要我们不断的调整教学理念和教学模式。一方面在统计教学过程中,在讲授基础知识的基础之上,突出统计方法以及统计理论的应用性,在授课过程中,帮助同学们树立起大数据的统计思维。另一方面,在教学过程中,调整传统的教学模式,尽可能的引入慕课、微课等新的教学方法,穿插一些有趣的案例,来不断的激发学生的学习兴趣。最后,统计学教师作为知识的传授者,需要不断的学习,提高自身的大数据知识水平,才能够更好的引导学生,带领他们跟上时代的步伐。
参考文献:
[1] 耿直.大数据时代统计学面临的机遇与挑战[J].统计研究,2014,34(1):5-9.
[2] 朱建平,章贵军,刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究,2014,31(2):10-17.
[3] 许涤龙,周四军,李正辉.构建统计学专业课程实验教学体系[J].统计教育,2005,12(4):4-7.
[4] 段敏芳,李夏阳.关于统计学课程教学改革的探讨[J].统计与决策,2004,174(6):72-73.
统计分析和计算机、互联网的相互结合给我们的生活生产带来了很大的便利,统计学通常是 以足够大量的社会情形做统计研究的,计算机统计分析的飞快发展是非常符合社会发展趋势 的,为了更便利更准确的处理各类数据,人们一直在对其进行深层次的探究,并且将这项技 术方法很好的运用到了科学、社会、医学等各个行业,现在人们可以利用计算机统计分析技 术快速的对所需数据进行处理得出结果,是人类科学历史上的一大飞跃,其发展脚步不容阻挡。
1 计算机与统计分析现代化
1.1 计算机与统计学现代化
统计学主要是通过数据搜集、整理工作将信息归纳分类,给社会经济等问题提供解决方案的 数理依据和基础,统计分析在社会经济问题研究中可以起到很大的作用,在社会经济飞快发 展的过程中,各行各业对信息的需求量越来越大,对各类数据问题处理的渴求度也不断上升, 互联网更是将信息网络化,这些的实现都需要统计学的介入而且在其中发挥重要作用,但是 现代社会信息数据的繁琐量大都不是传统统计学能够做得到的,这时计算机和统计学的有机 结合成就了信息网络化的大数据时代。统计学现代化的实现必须要依靠计算机这一现代化计 算工具的协助,现如今计算机统计已经被广泛普及和利用,与时展进步的趋势相吻合。
1.2 计算机与数据分析处理
传统的人工处理分析数据早已不能满足社会发展的需求,通过其与计算机的相互结合,很大 程度上节省了分析工作的时间精力,同时降低了数据分析处理过程中的错误几率。不仅如此, 可以进行多样化、标准化的数据分析,更加人性化;伴随人类社会的发展,人们对数据结果 的要求愈加严格,这无形之中促进了计算机数据分析技术的进步,推进了数据分析技术普及 各行各业的发展历程。
2 计算机与统计分析
2.1 计算机统计分析的一般方法
很多的数据分析流程软件在国际社会上是相互通用的,SPSS,SAS 等就是比较典型的统计分 析软件,这些软件已经慢慢地在我们国家的经济、教育、医疗等行业之间普及,不同的统计 分析软件表面上有些不同,但本质的分析处理方法不尽相同,步骤如下:
(1)录入数据信息 ;
(3)分析处理计算;
(4)得出结果并保存。
要进行计算机统计分 析首先要进行信息库、数据库的建立,建立之前先进行数据分类以便信息录入,使其进入数 据库中,有利于分析和解决,录入工作人员可以通过一系列计算机的功能应用将数据整理并 分类,计算机分析处理的计算是统计分析的关键所在,统计分析得出的结果可由图像或文字 表达出来,举个例子:图形分析水平较高的软件有 SPSS 等。计算机统计分析的最终目的是 为了得到正确的剖析结果和分析解释,这是重点同时也是难点,有待我们去创新提高。
2.2 计算机在统计分析中的重要作用
新形势下,社会生产经济的发展异常迅速,大数据的时代已经到来,信息量的急增,内容复 杂程度的增加传统的统计分析效率早已满足不了社会发展需求,在这场计算机和统计分析的 结合中,人们的生产生活发生了翻天覆地的变化,计算机起到了至关重要的作用。第一,计算机取代了传统的统计分析员,符合社会生产快速发展的需要,在数据量庞大、信息极度复 杂的情况下,计算机的超强计算能力真是如鱼得水,协助统计分析促进了人类社会的进步。 打个比方,投资者想要进行理财投资,想要挣钱的几率大一些,这时他就完全可以借助计算 机进行统计分析,能够很快很准确的得出结果,很大程度的提高了理财挣钱的几率。
2.3 数据统计分析中计算机的应用
计算机被运用到数据统计分析当中去主要是因为其强大的计算能力,人们只需要告诉计算机 要统计什么信息或者什么数据,需要哪个方面的分析结果,需要怎样的数据处理结果,这些 都是简单易于操作的问题,而最难的计算部分则由计算机这个“超强大脑”来解决,这不仅 节约了大量时间,还能减少错误的出现。我国的计算机技术在国际上不是很先进,我国自主 研发的一些计算机统计分析软件规模小、漏洞多,还要继续努力研发编程出可以与西方发达 国家相媲美的统计分析流程软件;另外还得加强操作人员的实际操作能力,选择适合自己的 统计分析软件进行数据分析处理,这是由于每个人对不同软件的操作实践程度不同造成的, 比如:EXCEL 和 SAS 软件的不同,也就有不同的操作员利用它来做同一件事,计算机的统计 分析。
3 如何利用计算机做好统计分析
做好计算机的统计分析工作属实不容易,首先,学习统计、分析原理知识,加强对分析处理 原理理解,将基本分析流程掌握透彻,注重各个分析处理过程中的细节部分;其次,软件的 选择也很重要,软件的理解掌握程度因人而论,在软件选择使用过程中,可以从入门到深入, 逐步利用计算机做好统计分析。
4 结语
在未来的日子里,计算机统计分析会更加深入的渗透到我们的生产生活中来,计算机和统计 分析是密不可分的;另外,我们国家的软件开发水平还达不到国际尖端水平,规模性、完整 性和规范性都还有很大的提升空间,让我们一起为我国的计算机统计分析事业努力钻研,创新进步。
参考文献
[1]杨坚白.统计分析的意义和特点[J].统计工作通讯,1956(10).
[2]杜慎仲.统计分析中存在的问题及对策浅议[J].发展研究,2002(03).
一、地方新闻传播学教育的跨界合作与融学科趋势
大数据是一种可以运用并将自身延伸到一个新的发展空间的战略资源,而这种资源不仅受到传统媒体和互联网新媒体行业的集中关注,也成为新闻传播学教育界研究的新课题。中国人民大学新闻学院副院长喻国明认为“就像我们无法用镰刀和锄头登上现代农业的快车一样,用我们过去所习惯的模式、渠道,还有所谓的传统优势,我们很难在以互联网为基础架构的发展态势下取得有效和长足的作为。”新闻传媒业需要运用一些新的工具和手段把自己成功导入到新的传媒领域,进而展开自己的市场发展空间。“融学科”介入大数据与新闻传媒创新研究将是一种新的研究视野。大数据背景下得新闻传播学教育正呈现出新闻传播学界与传媒行业的跨界合作和学界的多学科融会研究趋势。
二、贵州地方院校应着力培养新闻传播人才的数据素养
(一)数据处理能力的教育和培养
大数据时代,媒体掌握着大量的数据信息,包含媒体信息本身的数据形态、受众行为信息等内容。作为能够改变传媒行业乃至整个社会的变革性力量,掌握数据处理、分析能力不仅是统计学、管理学等专业人才需要掌握的基本技能,而应成为诸如传播学、新闻学、广告学等相关专业学科培养体系中不可忽视的培养目标。对于贵州本地高校而言,新闻传播学科在课程设计上必须要有统计学基本理论课程的设置。例如,将《实用统计学》《统计学》等课程作为该学科所有专业的基础课程。目的在于培养学生的数据意识,提升其对统计理论的认知。其次,掌握数据搜集和统计分析的能力。数据的搜集都是数据分析流程的前提,贵州本地高校培养的新闻传播人才必须具备搜集数据、改良数据的搜集方法的能力。同时,还应具备利用社会科学统计软件进行统计分析的能力更。例如,贵州民族大学已经将SPSS统计软件与分析作为包含新闻学、传播学、广告、广播电视编导等相关专业的专业基础课程。对数据分析技能的培养能够帮助新闻传播从业人员从海量的数据中获得新闻线索、开展新闻调查、发掘社会关注焦点,预测社会关注的演变趋势等等。因此,分析技术的掌握和分析工具的熟练使用是当下新闻传播教育不可忽略的重要环节。
(二)大数据可视化操作能力的培养
在大数据带来的新闻传媒行业业务创新体系中,可视化技术无疑是业界最为关注的话题。贵州大数据产业发展的“七朵云”战略涉及各行各业,作为文化产业的重要力量,传媒行业如何利用大数据技术发展自身急需从规划走向实践。大数据可视化所指的是利用可视化技术,主要包含图形、图表、视频等将大数据信息转化为易于被受众接受的形态。这是大数据时代受众对新闻传媒行业所提出的要求,更是行业对新闻传播教育所提出的要求。一方面,贵州本地新闻传播学教育应当重视“视觉传达”素养的培育,新闻传播学人才应将其作为为必须掌握理论基础。数据本身的意义枯燥而且不显性,需要通过一定的手段将枯燥、冰冷、海量的数据变为人们易于接受,乐于接受的信息。例如,社交媒体中经常呈现的数据图表、flash等二维界面媒体,这种可视化的界面作为一种直观、美观的视觉传达形式更加符合现代受众的心理需求和媒介接触习惯。因此,对视觉传达知识的学习能够在数据的可视化呈现方面更加满足时代需要。文字、图形、色彩、动画等视觉构成作为可视化设计的主要元素应该在专业的课程体系中体现其重要性。其次,可视化工具的掌握是关键。一般而言,工具的掌握一方面体现在对工具的开发上;另一方面体现在对工具的合理利用上。就新闻传播学科来讲,可视化工具的掌握重点在对后者的强调。
三、贵州地方院校应培养大数据品牌营销人才
贵州省发展较晚,对地区产业品牌经营管理方面缺少重视和认识。随着“云上贵州”概念的提出,“大数据”“数谷”品牌成为贵州有一张对外传播的名片。那么,要将大数据打造成贵州的区域产业品牌,要建设成一个国内领头甚至国际品牌,制定品牌的经营管理策略,培养大数据经营管理人才迫在眉睫。大数据人才当前在国内来说都是非常缺乏的,贵州省在发展大数据以前对大数据方面的研究几乎为零,所需要的人才都是依靠外来人才的引进,但是这不能从根本上解决问题,也很大程度上限制了“云上贵州”品牌的发展,要想从根本上解决问题就要自给自足,拥有自己的大数据高端人才。所以要加大对教育的投资力度,在省内各所高校增设大数据相关课程和成立专门培训大数据人才机构,还要建立一个或多个品牌经营管理平台,在不同时期根据品牌和市场的实际情况制定相对应的科学、有效的运营策略。
作者:黄丽娜 单位:贵州民族大学