数据专员工作总结

总结的内容必须要完全忠于自身的客观实践，其材料必须以客观事实为依据，不允许东拼西凑，要真实、客观地分析情况、总结经验。怎样写总结才更能起到其作用呢？总结应该怎么写呢？以下是小编收集整理的工作总结书范文，仅供参考，希望能够帮助到大家。

数据专员工作总结篇一

时光转瞬即逝，紧张充实的一年已经过去了。在这一年里，我在这里工作着、学习着，在实践中不断磨练自己的工作能力，使我的业务水平得到很大的提高。这与领导的帮助和大家的支持是密不可分的，在这里我深表感谢！

作为收费员这个岗位，每天就是对着不同的面孔，面带微笑的坐在电脑前机械地重复着一收一付的简单的操作，不需要很高的技术含量，也不必像其它科室的医生要承担性命之托的巨大压力，这或许也是大家眼中的收费工作吧。其实收费员的工作不只是收好钱，保证准确无误就可以了，在任何一家医院，收费处是一个窗口单位，收费员是患者首当其冲要面对的，收费员不仅代表着医院的形象，同时也要时刻维护医院的形象，一个好的收费员会在最短的时间内让病人得到如沐春风的服务，对收费满意，对医院满意。

下面将我在xx年的工作向大家汇报。

在xx年这一年里，琐碎的事情很多，我的工作也是像大家想的那样每天在重复着机械的工作，但我没有简单去机械的重复，对待每一个病人我都在努力的做好服务树立良好的窗口形象；同时也在贯彻院内的思想，工作不只是要把表面的东西做好，还要深入到里面去，看到真正的内涵的东西，这样我们才能够提高，才能够把工作真正做好。在财务的指导下认真学习相关制度规定，更好的完成每一项工作。

我院从20xx年3月份成为医保定点单位，20xx年12月成为新农合定点医院，虽然在之前进行了几次有关方面的培训，但当真的开始的时候心里还有一丝丝的紧张，感谢院领导的信任与支持，同时也感谢与的帮助，我逐渐理解了新农合、医保政策，并在不断的操作中掌握了新农合、医保知识。新农合、医保不仅仅是简单的掌握知识，还要运用到实际中去，现在面对每个病人的时候我都会先问一句您是医保的吗，能报销吗，这样既能减少病人的麻烦，也能减少医院的麻烦。对医保病人门诊住院的流程全部掌握，由于医保病人较少，操作还是较慢，以后将加强医保有关的操作训练学习。

3、严格遵守门诊收费住院收费的各项制度，保证钱证对齐；加强与各个科室的沟通协作，限度的利用现有院内资源，服务病人，为医院的发展贡献自己的微薄之力。

最后，我要再次感谢院领导和各位同事在工作和生活中给予我的信任支持和关心帮助，这是对我工作的可定和鼓舞，我真诚的表示感谢！在以后工作中的不足之处，恳请领导和同事们给与指正，您的批评与指正是我前进的动力。

数据专员工作总结篇二

今年以来，在各级领导的关心支持和同志们的热情帮助下，不断加强自身建设，努力提高个人修养，认真履行岗位职责，较好地完成了各项工作任务。

我在四车间工作，岗位是统计，负责本车间人员的考勤、所生产品种的成本核算、包装材料的领取制表以及奖金、劳保的发放工作，自199*年开始从事本岗位以来，每年都能按照领导的安排准确、及时地完成任务。为了将本职工作做好，我于200*年取得高等教育自学考试财务会计大专学历，并每年按时参加会计人员继续教育，不断学习新知识、新技能，努力提高自己的工作能力。

200*年对我公司来说是具有重大历史意义的一年，在这一年中，公司完成了搬迁、复产、认证工作，工作量之大是不言而喻的。我车间是拥有近170人的大车间，人员多，设备多，生产品种多，而办公室管理人员又太少，因此，我没有只把自己的工作看成简单的报报出勤、做做成本，而是主动的将力所能及的工作多做一点。

一、 公司于年初完成了搬迁、复产、改造工程。这期间大多数员工放假，只有办公室、班组长及部分生产骨干上班，面对新落成的诺大厂房，我们不怕苦，不叫累，清理垃圾，安装设备，为尽快复产作准备。我们从没休过公休日，就连元旦也一天未休，有时甚至加班到深夜，在大家的努力下，仅用20天便恢复了生产，这其中也有我的汗水和功劳。

二、 我车间拥有员工170多人，其中一半以上是临时工，由于身份性质，临时工流动性很大，甚至有些人才来两三天就不干了，还得重新补充员工，每一名新员工报到后，我都及时做好出勤记录，收好押金，将工作服、工作鞋等劳保品发放到个人手中，以便他们及时上岗，不耽误生产。我的日常工作就是每天将生产所需的各种辅料、包装物制表，交供运班组领料，及时领取就餐卡，以保证职工按时就餐，对于各班组所需清洁剂、清洁工具、备品备件等做到随时领取随时发放，常、繁琐而不尽心尽力。每月的月末是我最忙的时候，我将车间所有人员的考勤进行整理，经主任审核后上报人力资源部;将各种材料领用单据等整理登帐，进行成本核算，将报表上报财务部，并保证报表资料准确，数据正确，上报及时。

三、 我车间共有大小设备多台套，有进口的，有国产的，现在产量大，所有设备几乎都是全负荷运转，甚至有些设备是超负荷运转，因此出现故障在所难免。我及时将维修工提出的所需备件做成采购计划，由主管领导批复后送交职能部门，并随时与职能部门联系物品到货情况。

四、 我车间主要生产两个剂型，胶囊和口服液，共计7个品种。剂型不同，生产工艺也不同。胶囊是固体制剂，在我车间要经过制粒、胶囊灌装、铝塑包装、封袋、包装等工序制成成品入库，完成生产过程。口服液是液体口服制剂，在我车间经过配剂、灭菌、过滤、灌装、灯检、包装后入库，完成生产。我要求自己对车间生产的所有品种的工艺流程都有所了解，掌握各品种的原辅料及包材的领用量和消耗。 以上是我对今年工作的简单总结，工作中还有很多不完美之处，我决心在今后的工作中克服缺点，发扬优点，争取把工作做的更好，也请领导和同志们进行监督和指导。

现在时全球金融危机的高峰时刻，任何企业都面临着巨大的压力，稍有不慎，一家企业就会倒闭关门，很多人失去工作，连养家都成了难题。所以我们一定要时刻警惕，不要被眼前的巨大困难打倒，相信金融危机很快就要过去，我们公司美好的明天就在明天。

数据专员工作总结篇三

数据专员工作总结篇四

一、工作总结工作内容

2、人事事务：绩效统计、归档，员工考勤抽查、汇总，简历更新，筛选、通知安排面试等。

在完成本职工作的同时也发现很多不足之处，主要表现在以下几个方面：

2、由于车辆管理专业知识方面的欠缺，车辆管理一直没有很好的提高；

3、抓制度落实不够，由于公司事物繁杂，基本检查不到位，因而存在一定的重制度建设，轻制度落实现象。

这些都需要我在今后的工作中切实加以解决。

工作效率虽有所提高，但并非是最快的！接下来的个人中会根据以前工作中存在的不足，不断改进，提高自我工作意识及工作效率，努力做好工作中的每一件事情！总的来说xxxx年的工作是尽职尽责的，虽然亦存在着些许的不足，但这一切的一切相信也会随着xxxx年的到来而逝去。非常感谢公司可以给我一个学习与进步的舞台，感谢各位领导，和同事对我指导和帮助！让我在工作中不断的学习和进步，慢慢的提升自己的能力！

二、20xxxx年工作计划

2、加强主动意识，提高办事的实效性；全面提高执行力度，抓决策落实；新的一年，新的挑战，我将以更好的姿态和更敬业的工作态度，投入到公司行政管理的各项工作当中，为公司整体目标实现，发挥行政应有的作用，力争20xxxx年能独立担起行政管理的全面工作！

最后，请公司领导给予我指导性意见！

数据专员工作总结篇五

即将步入20xx年，新春的气息仿佛一缕春风溢满了我们数据部每角落，又一个年度在我们不知不觉的工作中悄悄溜走，只留下令我们无限的回想和遐思。

来以纯公司不知不觉已经有一年多了，我任职数据部一名数据统计员，每一项工作都与业务部有相连，跟进业务部日常行程、每天销售业绩、发生意销售、目标及占比跌幅店铺信息、物料赞助跟进等等就是我的工作。在婷姐的带领下和诸位同事的合作中学到很多东西，慢慢的全面把握了公司的数据准确性和保密性，这对我的职业生涯具有非凡意义，使我打下了坚实的基础。

回顾这一年多时间，工作经验、社会交流等等一切都是从头开始，从无到有，从有到会，从会到熟；这一过程都离不开公司领导的带领和个人的努力，这一年是感恩的一年，真心感谢公司给我提供磨练自己的机会，更感谢公司领导一直以来对我的信任与栽培！

渐渐的，我体会到和摸索出一些总结和感想：

总结：

做一份能令领导满意的数据表格不单单是自己一个人闭门造车所能造出来的，需要合理的意见和适当的帮助，自己的制表思路是要在前人的启发下才能发挥出色。

做数据表格是给人一种一目了然的清晰感，怎样把公司的数据信息及时传达公司领导、客户及客户主任尤为重要。准确的数据表格是给领导和客户的第一印象，是直接影响整份表格的进度。信息是及时、全面反映整个企业的精神面貌和工作动态，这就要求及时，迅速，对各部门上报的信息进行整理、加工，对发生的大事对各部门进行催报，使信息管理工作更加规范到位。

经验是在实际工作在中得到的，把握了经验工作自然就是事半功倍。刚开始做数据表格时，只知道一味的按部就班，缺少灵活性，表格表达不清晰。后来经过不断的摸索，领悟到表格有很多功能是值得我们去参谋的，运用vlookup，sumif等常用公式，让自己变得灵活而具有战斗力。表达最美的效果，这种感觉是要在长期的工作经验中积累起来的。

做数据表格是在第一份原始资料的基础上做出来的，第一份原始资料就是小马做的数据报表，做数据时遇到什么不明白的需请教，因此信息传递是很重要的，我们要保持信息的畅通性就必须善于沟通，否则出现差错，前功尽弃。所以，一边工作一边总结经验是百利而无一害的。

感想：

能把自己所学知识运用出来是一件值得庆幸的事，安分守己，把自己的工作出色完成对公司是一种责任，对自己是一种交代。

新的环境必然有新的事物，接收新的事物必然有新的认识，新的认识必然有新的数据理念思想，对自己的专业知识和认识更上一层楼。

1.全面提升自己，工作能独当一面。这样就能提高工作效率，不会延误工作进度。

2数据能精确化，提高效率。

3.保持一颗上进心，永不熄灭。

最后，祝愿大家新春如意，事业有成，开开心心过一个好年。

数据专员工作总结篇六

即将步入2012年，新春的气息仿佛一缕春风溢满了我们数据部每角落，又一个年度在我们不知不觉的工作中悄悄溜走，只留下令我们无限的回想和遐思。

来以纯公司不知不觉已经有一年多了，我任职数据部一名数据统计员，每一项工作都与业务部有相连，跟进业务部日常行程、每天销售业绩、发生意销售、目标及占比跌幅店铺信息、物料赞助跟进等等就是我的工作。在婷姐的带领下和诸位同事的合作中学到很多东西，慢慢的全面把握了公司的数据准确性和保密性，这对我的职业生涯具有非凡意义，使我打下了坚实的基础。

回顾这一年多时间，工作经验、社会交流等等一切都是从头开始，从无到有，从有到会，从会到熟；这一过程都离不开公司领导的带领和个人的努力，这一年是感恩的一年，真心感谢公司给我提供磨练自己的机会，更感谢公司领导一直以来对我的信任与栽培！

渐渐的，我体会到和摸索出一些总结和感想：

总结：

一．团队的合作是完成工作的前提。做一份能令领导满意的数据表格不单单是自己一个人闭门造车所能造出来的，需要合理的意见和适当的帮助，自己的制表思路是要在前人的启发下才能发挥出色。

二．精准的数据需要懂得数据的理念和要求，数据的运用。做数据表格是给人一种一目了然的清晰感，怎样把公司的数据信息及时传达公司领导、客户及客户主任尤为重要。准确的数据表格是给领导和客户的第一印象，是直接影响整份表格的进度。信息是及时、全面反映整个企业的精神面貌和工作动态，这就要求及时，迅速，对各部门上报的`信息进行整理、加工，对发生的大事对各部门进行催报，使信息管理工作更加规范到位。

三．善于总结，懂得吸取经验。经验是在实际工作在中得到的，把握了经验工作自然就是事半功倍。刚开始做数据表格时，只知道一味的按部就班，缺少灵活性，表格表达不清晰。后来经过不断的摸索，领悟到表格有很多功能是值得我们去参谋的，运用vlookup，sumif等常用公式，让自己变得灵活而具有战斗力。表达最美的效果，这种感觉是要在长期的工作经验中积累起来的。

感想：

一：数据部是实现自己理想和展现自己技能的平台。能把自己所学知识运用出来是一件值得庆幸的事，安分守己，把自己的工作出色完成对公司是一种责任，对自己是一种交代。

二．认识了很多新同事，交流广泛，知识面丰富了。新的环境必然有新的事物，接收新的事物必然有新的认识，新的认识必然有新的数据理念思想，对自己的专业知识和认识更上一层楼。

三．去旧迎新，迎接新的挑战，自我提升，给自己定下目标。2012年是奋斗的一年，一年可以实现很多事情，可以改变很多事情，是选择继续奋斗还是碌碌无为，关键在于自己的行动。只有行动万事皆成事实，所以我给自己定下了三个目标：1.全面提升自己，工作能独当一面。这样就能提高工作效率，不会延误工作进度。2数据能精确化，提高效率。3.保持一颗上进心，永不熄灭。

最后，祝愿大家新春如意，事业有成，开开心心过一个好年。

数据专员工作总结篇七

20xx年9月15日，公司xxx对我们基层统计人员进行了为期四天的业务知识培训。通过培训学习，使我们进一步明确了新形势下如何干好统计工作，明确了作为一个合格的统计人员应该具备什么样的基本素质，达到什么样的基本要求，怎样才能达到这个要求，明确了统计工作的目标、任务和工作方法。通过培训，基本掌握了各项统计的新业务、新知识，增强了做好统计工作的信心和决心，这是我们这次培训的主要收获。

公司xxx为办好这次培训班，精心组织，严格管理，保证了各专业讲课的正常进行。授课老师进行了充分的准备，课前都查阅了大量资料，进行了调查研究，做到了精心备课；课堂上，能够结合实际，深入浅出地进行讲授；课外，还主动和学员进行交流，征求意见，解疑释惑，付出了辛勤劳动，表现出了很强的敬业精神。

义，使我更清楚地感到自己肩上的责任重于泰山。学以致用，做好本职工作。通过为期四天的学习，使我的理论水平、知识素养和精神面貌都大为改观，但归根到底还是要把工作做好。结合本次学习心得，今后我将从以下三方面做好本职工作：一是不为失败找借口，要为成功找方法。二是加强政治理论学习，增强拒腐防变能力。三是正确处理好各种人际关系，营造良好的外境。

统计人员应自尊，要自信、自强，方能自立。统计人员务必刻苦学习，努力工作争取创新，多出成果。与此同时，领导和有关部门，也应为统计人员创造机会，组织我们学习统计知识及相关的业务知识、法律制度和微机知识，支持我们参加统计工作会议，鼓励统计人员参加业务水平和技术职称的考试，引导我们积极提供统计资料。在主观上能勤奋者，加上客观条件之改善，统计受重视，将水到渠成，必将使管理水平迈上一个新台阶。

统计工作对我来说是一个生疏的工作，我由不懂到懂，由肤浅到深入，由难到易，可以说这个过程是艰辛而漂亮的。从工作中我所得到和领悟的也很多。这可以说对我以后的人生旅途都有很大的影响和帮助，也算我人生的一次不小的转折点和跨越。所以自已也更珍惜这个难能可贵的机会。我想无论开始从事何种工作对我来说都是一种挑战,也是一种磨练。我想无论我做什么都会干一行爱一行。既然我从事了这份工作，就要爱岗敬业，尽职尽责的去认真完成我的工作。

统计这份工作要求我首先要敬业，要用积极的态度全身心的投入工作，即然选择了这个职业，选择了这个岗位，就要全力以赴，尽职尽责地去完成。二是要以严谨细致的态度对待工作。在工作中要严格要求自已做到一丝不苟。统计对我来说是一项细致的工作，它的要求很严格,它要求我必须认真、细致。作为一名合格的统计人员，不仅要努力学习统计专业知识，还要懂得会计、经济等相关专业知识，既要向书本学习，也要向实践学习，并要学以致用。只有加强学习，精通业务，才能在统计工作中得心应手，取得良好的业绩。

数据专员工作总结篇八

为期一个月的实习结束了，在这短暂的日子里，我作为统计局的实习生，真正体会到了跨专业从事统计以及进行农村问题调查这些新鲜事物时学习能力培养的重要性，学到了很多有关统计工作的知识和工作中涉及部门，相关人员利益问题的解决的技巧，既锻炼了自己的能力又增加了一定的社会工作经验，可谓是收获不小。

到统计局的第一天。统计局的领导为我们精心安排了一天的实习培训。初步介绍了统计工作的有关情况，包括向我们传达了关于建立统计报表关系和开展统计报表网上直报工作的通知。为了让我们增强统计工作的法律意识，领导们还特别向我们介绍了统计法，让我们了解到优化我国统计法律运行其最主要的目的就是要提高统计数据的质量，发挥统计的信息、咨询和监督的职能等内容。领导们为了使我们能学到更多的知识，也会经常鼓励我们到农调队部们去帮忙处理一些日常事务。

通过这次的深入实际工作，我了解到各地的综合统计信息大都是由统计局调查搜集加工整理的，这些信息所反映的经济含义以及潜在的政治含义，与统计部门没有直接的利害关系，统计部门做到客观真实即可。但是，在现行行政管理体制下，特别是层层考核的机制下，统计部门的行政上级同级政府或上级政府有关经济主管部门却与统计信息存在着一定经济或政治上的利害关系。统计部门上报的数据关乎着该地区、部门的荣辱得失和领导人的政治命运。由于这一特点决定了在统计活动中客观上存在着干扰统计数据的潜在动因。这就造成了某些地区、部门的领导是既要听真数据又要统计部门报合其心意的假数据，社会上所谓数据出官，官出数据即此现象的写照。体现了上位利益关联性。

再次，统计调查对象面广量大，变动频繁，且所从事的社会经济活动越来越具有混合性的特点。统计调查对象的这个特点使得统计工作的难度加大，影响了统计数据的准确性、全面性。众多的调查对象，使得统计人员与统计力量的矛盾凸现，对调查总体难以统全。统计调查对象的频繁增减，使得对统计调查对象的总体数量及其构成的把握成为难题。调查对象活动性质的复杂多元、经济成分的混合，使统计划分、界定以及统全、统准成为关键的问题。如对就业情况的统计原来是很单一的，现在不仅有在各种类型单位的就业，还有弹性就业、灵活就业等。

(1)统计法制意识淡薄，统计作假比较严重

一是一些地方领导干部随意修改统计数据，直接违反统计法。

二是有些统计人员职业道德和业务水平不高，不能坚持实事求是的统计原则，对领导的干预不敢抵制，对假数据不敢依法更正，有的甚至还参与弄虚作假为其上级违反统计法出谋划策。

三是调查对象为了自身利益在统计上弄虚作假，且由原来的以迟报、虚报为重点，转变为以拒报、瞒报为重点;对利润等经济效益指标的瞒报已成为普遍的现象。四是统计执法力度不够,不能有效杜绝统计违法现象。

(2)统计违法方式更为圆滑，违法理由更加堂皇

(3)现行统计体制抗干扰能力差，统计部门综合协调能力弱

现行统计体制，难以保证统计工作的独立性。统计部门是地方政府的组成部门或直属单位，部门领导由当地任命,很多统计违法行为的发生都根源于这个体制。与此同时，政府统计部门由于在行政体系中与政府其他部门平级，对政府其他部门的统计力量、统计信息资源缺乏应有的协调机制和工作力度，综合协调能力显得不薄弱。

(4)统计基础建设跟不上形势，基层统计任务负担较重

当前统计基础虽得到一定程度的加强，但与统计改革和发展的形势要求相比，仍然是不适应需要，特别是统计人员变动频繁，统计渠道时有中断，统计基础处于不断的变动状态。再加上统计供需矛盾的影响，各方统计调查任务不断下达，使基层的统计负担日益增加，基层统计人员疲于应付。

(5)统计法和统计制度尚不完善，影响统计法的实施效果

一是统计法对权利、义务以及法律责任的规定还不能适应市场经济发展的需要，亟需进行修改。特别是对领导人的法律责任规定得不具体，调查对象权利义务还不公平，对有些统计现象如统计评估等还缺乏详尽的规范，有些法律用语还不统不明确等。

二是统计制度还不适应经济社会发展需要，滞后于领导的需求，有的还缺乏可操作性，与实际情况脱节等。

三是对统计调查程序的规定还不完善，统计调查制度的实施行为还普遍存在没有具体告知调查对象的问题，忽视了对调查对象的知情权和正当拒绝权的尊重，既不利于控制统计行政调查权，也不利于在行政处罚中避免行政争议。

而农村社会经济调查(简称农调)队是运用抽样调查、典型调查、重点调查和其他一次性调查等方法，搜集、整理和分析研究农村社会经济情况的非全面调查统计机构。农村抽样调查内容包括农村住户(家计)调查、农产量调查和农村经济基本情况调查等。

数据专员工作总结篇九

如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过tb级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大cpu和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

下面我们来详细介绍一下处理海量数据的经验和技巧：

现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用oracle或者db2，微软公司最近发布的sqlserver20xx性能也不错。另外在bi领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的etl工具和好的olap工具都十分必要，例如informatic，eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用sqlserver20xx需要花费6小时，而使用sqlserver20xx则只需要花费3小时。

二、编写优良的程序代码

处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。

三、对海量数据进行分区操作

对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如sqlserver的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘i/o，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。

四、建立广泛的索引

对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个etl流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。

五、建立缓存机制

当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/buffer，这对于这个级别的数据量是可行的。

六、加大虚拟内存

如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1gb，1个p42。4g的cpu，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096m的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096xx6+1024=25600m，解决了数据处理中的内存不足问题。

七、分批处理

海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

八、使用临时表和中间表

数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。

九、优化查询sql语句

在对海量数据进行查询处理过程中，查询的sql语句的性能对查询效率的影响是非常大的，编写高效优良的sql脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对sql语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。

十、使用文本格式进行处理

对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。

十一、定制强大的清洗规则和出错处理机制

海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。

十二、建立视图或者物化视图

视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘i/o，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

十三、避免使用32位机子（极端情况）

目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

十四、考虑操作系统问题

海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

十五、使用数据仓库和多维数据库存储

数据量加大是一定要考虑olap的，传统的报表可能5、6个小时出来结果，而基于cube的查询可能只需要几分钟，因此处理海量数据的利器是olap多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

十六、使用采样数据，进行数据挖掘

基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。

还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。

海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。