地震数据重构（共10篇）
地震数据重构 篇1
大数据无疑是2016年最火爆的热词之一, 早在大数据诞生之前, 其前身数据分析、商业智能都面临过叫好不叫座的情况。随着互联网技术和云计算的崛起, 大数据越来越受到各方关注。但大数据的应用落地却并不如我们所希望的那般顺利。
尽管很多企业上马了大数据相关项目, 有些项目无法持续, 而有些持续发展的项目则始终无法为企业带来新的利润增长点。越来越多的企业认识到, 招募一个数据分析团队并不等于大数据落地, 购买了大数据平台也并不等于大数据就能够用好。
原来企业更多是生产原材料, 现在数据则成为企业的核心生产力。大数据的价值已经充分为人所知, 但如何利用好大数据, 让其为企业发挥价值成为大数据应用落地需要面临的首要问题。
数据生态的改变
现在的IT市场早已经脱离了简单的买卖关系, 定制化需求日益凸显。北京大学教授, 工业和信息化部原副部长杨学山在12月6日举办的第三届中国开源云计算大会上表示, 软件市场需要根据客户的复杂系统所形成新的定制化需求进行调整。而在大数据市场, 服务商与用户之间的关系也在悄然发生着改变。目前大数据市场存在着五种合作模式, 甲乙买卖、甲方乙方化、战略合作、合资公司、跨界融合。
甲乙买卖是最传统的交付模式, 甲方购买大数据产品与解决方案, 并由乙方交付。
甲方乙方化则是甲方从自身需求出发, 形成大数据产品或解决方案, 并在同行业中进行输出。通俗地说, 就是一些行业中的龙头企业在成功应用了大数据之后, 将自身的解决方案和成功经验打包成为商品在行业中进行推广, 类似于从宝钢中分离的宝信与从徐工集团脱离的徐工信息技术股份有限公司。
战略合作关系则是供求双方建立战略合作关系、进行深度合作。百分点集团战略和运营副总裁刘钰举例说, 很多大数据的用户和百分点结成战略合作关系, 双方共同进行产品的研发和后端投入, 有时候会感到用户比服务商更积极。
合资公司是比战略合作更深层面的合作, 双方通过合资的方式深度融合行业, 实现大数据技术与具体业务的深度融合, 也是让跨界融合发生最有效的方式。
跨界融合就是在不同行业之间跨界融合, 实现大数据资源的敏锐应用。在这方面, 滴滴和互联网金融是非常好的例子。滴滴并不是大数据公司, 但它的商业模型背后所支撑的就是大数据技术, 互联网金融也是如此, 其迅猛发展的背后也离不开大数据算法的支撑。
对于这5种大数据落地模式, 刘钰表示:“企业用户可以根据自身业务以及实际需求, 决定采用哪种方式来实现大数据转型。五种落地模式反映出技术与业务融合的程度不同, 甲乙买卖这种传统模式在技术与业务融合程度方面最弱;甲方乙方化则会带来同业竞争的困扰;战略合作、合资公司以及跨界融合这三种模式能够有效促进技术与业务的融合, 不过能够做到跨界融合的公司凤毛菱角。”
打造数据决策力
本届世界互联网大会发布了《乌镇报告》, 重点提出要建立网络空间命运共同体, 要实现这一目标, 必然推动人类从单纯相互联结的“互联网时代”步入对信息进行搜集和挖掘的“大数据时代”, 借助大数据的发现与预见能力, 提高网络空间命运共同体参与各方的生产力水平, 并强化对于网络空间的治理。在此背景下, 企业也亟需针对海量数据形成全面、智能、精炼、友好的深度分析, 将各类相关数据合理地运用到决策体系中, 基于数据进行科学决策, 对企业运营及战略形成强力的支撑。
刘钰表示, 大数据落地是目前准备或者正在采用大数据的企业都需要面临的挑战, 解决之道是企业必须让技术与业务进行深度融合, 从而形成符合大数据时代的数据决策力。
数据决策力未来会像财务能力一样成为企业生存与发展的一项必备能力。企业建设数据决策力是一项长期的过程, 但并不意味着刚开始就需要投入大量的投资, 可以通过具体应用的实施迅速获得投资回报, 还能通过不断的反馈来带动和优化信息化的建设, 从而使得大数据的建设速度更快捷、资金管理更高效。同时, 组织和企业可以遵循由核心信念 (Belief) 、架构设计 (Architecture) 、专业团队 (Staff) 、基础设施 (Infrastructure) 和机构能力 (Capability) 构成的数据决策力建设的BASIC理论, 从而让企业对自身数据决策力有清晰的认识。
公司首先要建立以数据为中心的核心信念, 决策层要转变思路, 是否相信大数据的作用是建立数据决策力的前提。在企业战略中心迁移到数据上之后, 组织架构要进行变化, 可以在战略层建立专门大数据部门, 也可以根据外部变化对相关业务进行调整。然后要基于应用搭建跨部门整合组织的团队, 并与业务团队保持有效沟通。在之后进行软硬件的投入, 如果自主建设投入比较巨大, 可交由第三方专业供应商。最后要将数据决策力赋予全体员工, 让所有人都能综合运用这项能力。
在互联网时代, 大数据的作用会越来越重要。在企业都在探索如何走出一条大数据应用之路的时候, 企业和服务商的合作就显得尤其重要。在双方都不明确大数据未来的发展应用方向的时候, 合作研发和共同探索也许是大数据应用落地的一条捷径。
地震数据重构 篇2
1相关工作
通过异常数据的分析可以将入侵者的攻击流程直观的展示给人们。异常数据分析技术主要包括场景重构和报警融合。场景重构解决了传统入侵检测中存在着较高误报率和漏报率的问题，报警融合将大量的低级报警进行融合，确保攻击场景的完整性。Han等设计了基于关联规则的入侵检测算法，通过对频繁子集的挖掘，成功检测出了已知攻击的变种。赵宁等人提出了基于流程化攻击场景重构技术，采用不同的关联模型对来源不同的报警进行关联，重构入侵者的入侵场景。Daisuke提出了一种基于日志分析方法，通过对计算机网络日志进行分析，构建攻击者的攻击场景。H.Achi把计算机网络安全的一些技术应用到入侵检测，得出攻击者的网络攻击流程。
2异常数据分析方法
本文提出的基于场景重构和报警融合的异常数据分析方法，其主要思路是：首先去除攻击失败的报警;然后反向关联，减少场景重构中一些不必要的`数据;最后对一些孤立报警进行必要的补充，来保证场景图的完整性。对报警进行精简与合并，此项工作主要由以下两个步骤完成：对具有重复关系的报警进行合并;删除攻击失败的报警。通过寻找各个攻击步骤之间存在的因果关系，将那些大量的、离散的报警合并成同一攻击的不同攻击阶段。本文所使用的算法是在文章的基础上添加了时间约束条件，即两条报警能进行关联的前提是这两条报警的时间差在一定范围之内。对于某一个入侵场景，首先找到该场景中报警类型级别比较高且时间靠后的五条报警，就从这些报警开始向前补充，将这些报警补充完后，判断此场景是否完整，若该场景图还存在遗漏，需要再进行一次遗漏报警的补充，直至场景图相对最完整。
3实验结果及分析
上一节介绍了基于场景重构和报警融合的异常数据分析方法的具体流程，在本小节中，主要是将此方法得到的实验结果进行分析，验证本文所提出方法的必要性与可行性。1)报警融合步骤的必要性报警融合的主要目的是去除原始报警中冗余的报警，通过多次的实验，结果表明了在对报警信息进行关联分析时，必须要采取报警融合技术。2)基于异常数据进行入侵检测的可行性通过上面的实验，可以看出，通过报警融合确实减少了报警数量，但去掉的这些报警是否会影响场景图的完整性，下面对其进行分析。通过上图可以很清晰的看出攻击者的主要攻击步骤，即首先通过主机进行端口扫描，然后通过asp注入，添加超级用户，然后通过该用户对该网站进行操作管理，最后入侵网站成功。实际检测出的攻击场景图由图中虚线表示，即成功关联出了具有关联关系的报警信息，进行MSSQL注入时，会通过pangolin在主机增加一个用户，然后将此用户加入到管理员分组，提升此用户的权限，通过本文设计的系统进行关联时，将此步骤关联出来了。由此可以看出，本文的方法很大程度上避免了漏报，证明了该方法在可行性方面是没问题的。
4结论
地震灾区学校的文化重构 篇3
地震灾区学校文化重构的意义
1.一般意义
近年来教育界已逐渐认识到，学校文化对于引领办学方向、统合师生价值观念、规范师生行为、提升学校形象、构建学校品牌，具有十分重要的意义，一所不注重文化建设的学校，建设得再富丽堂皇，也如同没有灵魂的躯壳。
2.特殊意义
地震灾区学校不光在物质硬件上需要大规模重建，师生的观念态度、精神意识乃至行为方式也因大灾的冲击而要有所调整。而无论是物质硬件的重建，还是观念、意识、行为的调整，都必须借助文化的力量，借助一种全方位的化解痛苦、升华精神、涵育人心的新型文化的重构。只有在物质硬件上确立起安全至上、质量第一的文化观，并赋予物质以人文内涵，在办学软件上确立起珍惜生命、自立自强、乐观向上、团结互助的文化观，才能构建起完善的学校防震防灾体系，从而救赎和安抚师生受伤的心灵，帮助他们更深刻地认识生命的意义，升华他们的灵魂，振奋他们的精神，从而构建起充分尊重生命、护卫生命、张扬生命的立体式学校文化氛围。
地震灾区学校文化重构的内容
地震灾区学校的文化重构，应围绕物质文化、精神文化、制度文化、行为文化等几项基本内容来进行。
1.物质文化重构的内容
主要指学校的地理环境规划布局、建筑与设施、自然与人文景观、其余小型的或辅助型的物质文化建设等，既包括了学校教学区、活动区、生活区的规划和建设，也包括了学校的选址、学校周边环境的规划和建设，是一个既有整体又有局部，既有内部建设又有周边建设，以内部建设为主、周边建设为辅的有机体系。
2.精神文化重构的内容
主要指学校的核心价值观、办学的指导思想、办学目标、办学宗旨、办学方略、学校精神、校训、校风、教风、学风等。
3.制度文化与行为文化重构的内容
主要指学校的办学格局与结构机制、学校的规章制度建设、学校的管理与运行、学校的教学内容（课程）与教学方式、师生的行为方式与活动方式等。
地震灾区学校文化重构的目标
地震灾区学校文化重构的基本目标可以是：建成与所在地区自然和人文条件相适应、有利于学校生存和发展的学校文化体系。这样的文化体系既继承原有的优秀传统，又因震灾导致的情况变化有所整合创新，既要体现出各校的个性，又要反映出地震灾区的共性。
1.物质文化重构，要着重体现“安全坚固、温馨宜人”的共同特色
重建的建筑设施必须坚固耐用，符合新修订的学校防震标准的要求。同时，学校所处的地理环境、建筑设施、自然和人文景观，也必须充分关注师生的生理和心理需求，在空间布局、功能组合、材料质地、造型、颜色、光感、触感、视听等各方面，充分展示出艺术美感和文化意蕴，表现出人文色彩和人性关怀，不仅时时提醒和暗示师生铭记灾难、追念逝者、注意安全，也处处让他们感到环境的舒适、生活的美好。只有这样，才有助于修复师生受创的心灵，让他们在安全、温馨、和谐、宜人的环境中，重新找回快乐学习、愉悦工作、健康成长的美好体验。
2.精神文化重构，要着重体现“超越苦难、积极向上”的共同特色
地震灾区学校师生在精神态度层面，最突出最集中的也许就是痛苦的记忆如梦魇般长久缠绕着他们。为此，灾区学校的精神文化重构，首先需要认真考虑如何在价值观念上，让师生尽快摆脱痛苦的折磨，以乐观向上的心态投入工作和学习中去。因而在学校精神文化的价值体系中，必须将超越苦难、积极向上等价值凸显出来，以此教育师生铭记苦难更要超越苦难。为此，可通过建立纪念性和励志性的校徽、校标、雕塑、碑文、宣传栏、文化墙，或者创作传唱专题歌曲、设立纪念日以及开展生命教育、爱心教育、感恩教育等种种形式，来升华师生灵魂，帮助他们树立积极进取的人生观。
3.制度和行为文化重构，要着重体现“规范自由、互助自护”的共同特色
在群体生活中，“规范而自由”乃是管理希望实现的一种较为理想的状态。这种状态就是群体成员一方面遵守规章制度的统一要求，一方面在制度未禁止的方面有着相对的自由。既规范又自由，显然也应是地震灾区所有学校在学校管理制度和师生行为建设上，需要努力追求的目标。同时，为了搞好教学和防范灾害，地震灾区学校还要在制度制订和师生行为引导上，强调互助自护，强调习惯养成，以促成和谐、有序、平安的学校氛围。
地震灾区学校文化重构的原则
地震灾区学校文化的重构是一项涉及面非常广的繁重工作，既要遵从学校文化建设的一般规律，又要顾及所在地区的自然和人文条件，因此必须在以下原则指导下，科学规划，审慎建设，不断积淀完善。
1.一元统领，多元协调的原则
地震灾区学校的文化重构，必须实行一元统领、多元协调的原则，即实行以精神文化建设为核心，用精神文化来统领其余各类文化。同时，精神文化、物质文化、制度文化、行为文化在价值内核上保持协调一致。只有这样，学校文化建设才不会偏离正确的方向，才能形成高效的“文化力场”。特别是在大规模的物质设施规划和建设中，如果不能以鲜明的、先进的精神文化价值体系作指导，并有效地承载和传递这些价值，学校物质设施即便规划和修建得再漂亮，也只能是丧失人文色彩的“死物”，达不到教育和感染人的目的，因而也就是失败的规划和建设。
2.共性中体现个性的原则
地震灾区学校基本上同处一条地震带上，并共同遭受了地震的摧残，因此该地区学校的文化重构必然有一些相同的特征。这些特征乃是各校在面临共同的地震摧残和潜在威胁。地震灾区各校由于各自的文化传统不一，所在区域的自然和人文条件不一，其文化重构也必定体现出一些差异。而学校文化的生机、活力与品牌号召力，恰恰在于其鲜明的个性，因此灾区各校既要努力建构有利于在灾区生存发展的带有共性的学校文化，更要结合各自实际，努力建构具有自身特色的学校文化。
3.以人为本、安全至上的原则
作为地处地震带的灾区学校，在文化重构过程中，无论是物质文化建设，还是精神文化、制度文化和行为文化建设，其最高价值原则必定是以人为本、安全至上。为此，学校的精神文化重构，要教育师生珍爱生命、善待生命、重视安全、学会自护。学校的制度和行为文化重构，要设计防震防灾方面的校本课程和活动；要制定维护安全的规章制度；要完善防震防灾的安全预案；要对师生进行长久的安全教育和培训，大力普及防震防灾知识，提倡有利安全的正向行为，制止不利安全的负向行为，提高每位师生自护自救与协作互助的意识和能力。学校的物质文化重构，要充分考虑地质和生态安全，对校址进行精心选择，尽量远离地震特别活跃地带、易发生泥石流和山体滑坡地带以及易被山洪淹没地带，尽量远离陡坡深谷而选择建在相对开阔的平坝地区，如果就地选址重建不行，就要果断外迁；要精心设计，精心施工，把所有建筑设施修建得结实牢固；要充分考虑人的安全需要，尽量在设计和施工上消除一切安全隐患；要让每所学校都拥有医疗和心理介入方面的人力和设备；要建设安全通道和足够的疏散场地，学校的门窗、楼道、走廊等的设计也要有利于灾害来临时的及时疏散。
4.选择继承、整合创新的原则
地震灾区各学校在毁损前都有一定的文化传统，新校址所在地也有一定的社会文化传统，外省市在提供对口支持中还会带来一些外来文化。因此在学校文化重构时，要对本校的文化传统、新址的社会文化传统以及外来文化，进行认真的分析、甄别和筛选，在继承本校优秀文化传统的基础上，根据需要，选择性地批判吸收、有机融合新址的优秀文化传统和优秀的外来文化。同时，应根据大地震给世人的启示，有意识地在学校文化建设中植入或突出某些方面的文化，并借鉴吸收一些文化建设搞得好的学校的有益经验，从而整合创新出既有区域特征、又具鲜明个性，同时富含时代气息的新型学校文化。另外，学校重建时，还要尽量减少对自然生态环境的破坏，即使人工建设的学校自然与人文景观，也要尽量与周围天然形成的生态景观相协调，这种景观风貌的协调其实也是一种文化的良性接续与有机整合。
5.多方参与，科学设计施工的原则
地震灾区学校的文化重构作为一项复杂的系统工程，教育行政机构、学术界、学校和设计施工单位应多方参与，密切配合，大家多想点子，集思广益，通过综合运用灾害防治学、建筑学、教育心理学、教育美学等相关学科理论知识，结合实际，对学校文化进行全面地科学设计和科学施工，从而确保前期建设的物质硬件和后期运行的各项软件，都具备浓厚的文化气息。
6.整体规划、分步实施的原则
地震灾区学校的文化重构，一定要对物质文化、精神文化、制度文化、行为文化进行全面的整体规划，并分步组织实施。由于各类文化重构的时间起点不一，因此可以首先规划精神文化和物质文化建设蓝图并组织实施，对制度文化和行为文化建设蓝图可以暂不规划或规划粗疏一点，等到学校投入使用后，再来具体规划制度文化和行为文化的蓝图并组织实施。
7.适宜适度、均衡发展的原则
首先，地震灾区学校的文化重构要树立成本效益观念，做到规建适宜，投入适度。一方面，学校文化特别是物质文化一经成型，就要在一个较长的时期起作用，因此规划必须高起点，既要着眼当前也要前瞻未来，预先设想到学校以后发展的需要，同时基于质量和安全的考虑，所以规划和建设必须保证足够的投入；另一方面，规划的起点并非越高越好，学校的建设也并非越宏大豪华越好，规划过于超前，功能过于繁杂，远远超过了教育发展和学校文化建设的需要，其实是完全不必要的，是一种对人力、物力和财力的过度浪费，尤其要防止把钱堆在所谓重点学校上，在外观上追求“大手笔”“大气派”，搞一些奢靡的形象工程出来。灾区学校的重建需要很多钱，虽然目前有国家的大规模投入和企业、个人的慷慨捐助，但“供”相对于“求”来说，仍是远远不够的。因此必须保证把有限的钱用在刀刃上，用在能促进学校内涵式发展的硬件和软件建设上，用在教育发展和学校文化建设更落后的地区。要借灾后重建的东风，趁势扭转重城市轻农村、重重点学校轻一般学校的弊病，做到城乡均衡投入，尤其要加大对农村学校、薄弱学校的投入，努力缩小城乡学校文化建设的差距，促进共同发展。
地震灾区学校文化重构的路径
根据学校文化建设的基本规律，地震灾区学校文化重构的路径可以是：设计精神文化→设计和建设物质文化→设计和建设制度文化及行为文化→促进学校文化体系不断动态完善。
1.设计精神文化
在此阶段，学校可在教育行政机构的帮助下，邀请有关学者，共同酝酿、整合规划出学校精神文化的内隐价值体系，并形成文字。
2.设计和建设物质文化
此阶段，先由教育行政机构、学校、文化学者、科技专家、建筑设计人员根据学校精神文化的价值内核，研究制定出物质文化重构方案，然后由建筑施工人员进行施工建设。
3.设计和建设制度及行为文化
此阶段，是在学校硬件建成并计划投入使用时，由学校在专家学者的智力支持下，根据学校精神文化的价值内核，整合规划出学校的制度及行为文化模式，并组织实施。
4.促进学校文化体系不断动态完善
地震灾区学校的文化重构是一个动态完善的长期过程，设计及初建只是学校文化重构的第一步，唯有不断加强管理，改进完善，学校文化体系才能真正达到比较理想的状态。也唯有如此，学校文化的价值才能不断内化到师生的观念和行为里面，地震灾区学校的文化重构才算是真正成功。
面向数据重构算法 篇4
关键词：磁盘阵列,在线重构,面向数据重构算法
0 引 言
关于磁盘阵列在线重构的研究一直以来都是国内外研究热点。本文提出了面向数据重构算法,面向数据重构算法只对正被使用逻辑块上数据进行重构,而不需对整个磁盘进行数据重构。面向数据重构算法相对于现有重构方法显著改善了磁盘阵列的重构性能,并且没有降低重构过程中磁盘阵列服务性能。
1 面向数据重构算法
对于磁盘阵列在线重构,国内外相关研究主要从spare布局[1]、数据布局[2]和重构策略[3,4]三个方面来加速磁盘阵列在线重构。但是,现有重构方法都需要对整个磁盘进行数据重构,而不能根据磁盘实际使用情况进行重构。因此,面向数据重构算法的核心思想就是:当磁盘阵列出现磁盘失效时,仅重构正被使用逻辑块上数据,即可将磁盘阵列恢复至正常运行状态。面向数据重构算法的最大优点为:能够将失效磁盘上数据按需重构至空闲盘上,从而缩短了重构时间,提高了磁盘阵列的可靠性和可用性。.
基于面向数据重构算法的核心思想,我们构建了面向数据的RAID架构,对面向磁盘重构算法(DOR)进行了改进,实现了面向数据重构算法(DataOR)。
1.1 面向数据的RAID架构
通过对传统RAID进行简单改进,我们实现了面向数据的RAID架构(见图1所示)。面向数据的RAID架构与传统RAID架构根本差异就是:面向数据的RAID中未被使用逻辑块上数据一定为零;我们使用一个全局位图记录磁盘阵列中所有逻辑块(数据块和校验块)的使用情况,并通过在传统RAID转发读写请求路径上添加访问位图接口,从而实现了面向数据的RAID架构。面向数据RAID必须按照条带分配和释放逻辑单元,以避免引起附加的读写操作。
图1描叙了面向数据RAID架构的实现机制,磁盘阵列RAID5由4块磁盘构成,每块磁盘由两个逻辑块组成;磁盘阵列RAID5由8个逻辑块构成,包括6个数据块和2个校验块;位图vd-bmp上每个位对应一个磁盘逻辑块,位图vd-bmp上第0、4位对应磁盘disk0上逻辑块d00和d01,位图vd-bmp上第1、5位对应磁盘disk1上逻辑块d10和d11,其余对应关系类推。如图1(a1)和(a2)所示,对逻辑块d10进行读取操作时,首先访问位图vd-bmp的第1位,该位为0,因此,逻辑块d10上数据为零,直接返回零;如图1(b1)和(b2)所示,对逻辑块d00进行读取操作时,首先访问位图vd-bmp的第0位,该位为1,因此,逻辑块d00上已存放数据,读请求被直接转发给磁盘disk0;如图1(a1)和(a2)所示,对逻辑块d00进行写操作时,将新数据和新校验数据分别写入逻辑块d00和p30之后,将位图vd-bmp第0位和第3位设为1;如图1(c1)和(c2)所示,由于按照条带分配和释放逻辑单元,直接将位图vd-bmp第0、1、2和3位都设为0。
1.2 面向数据重构算法的原型实现
在面向数据的RAID架构上,通过对面向磁盘重构算法(DOR)改进,实现了面向数据重构算法(DataOR)。以下详细阐述DataOR算法的关键点:
(1) 面向数据RAID维护了正被使用逻辑块的位置标识(全局位图)。根据全局位图和磁盘阵列基本信息,可以创建磁盘阵列内任一磁盘上正被使用逻辑块的位置标识。
(2) 磁盘阵列发生磁盘失效时,创建失效磁盘上需要进行重构数据的位置标识(版本数据位图),以及初始状态为零的辅助位图。
(3) 通过版本数据位图和辅助位图相互协作,从而完成重构过程,使得磁盘阵列恢复到正常运行状态。
通过版本数据位图和辅助位图相互合作,重构管理构件实现了按需重构功能。版本数据位图为正被使用逻辑块的位置标识,辅助位图上所有位初始为0,两个位图上每一位与磁盘上4KB逻辑块一一对应。通过版本数据位图和辅助位图之间合作,可以判断逻辑块上数据是否有效。磁盘逻辑块上数据被定义了两种状态:
VALID—如果版本数据位图上某位为0或者辅助位图上某位为1,所对应逻辑块上数据则有效。
INVALID—如果版本数据位图上某位为1且辅助位图上相应位为0,所对应逻辑块上数据则无效,即逻辑块上数据必须重构。
在重构阶段,版本数据位图和辅助位图协作过程如下:
(1) 根据版本数据位图和辅助位图,顺序发出对于无效数据块的重构请求。当所计算出的数据被写入空闲盘之后,则将辅助位图上相应位设为1,从而标识逻辑块上数据已经有效。
(2) 用户读请求访问spare磁盘时,被访问逻辑块上数据有效,则直接访问spare磁盘;否则,通过同一条带上其它数据块构建出被访问的数据块,并写入spare磁盘,同时,将辅助位图上相应位设为1,从而标识被访问逻辑块上数据已经有效。
(3) 用户写请求访问spare磁盘时,将版本数据位图上相应位设为1,并直接将写请求发送给spare磁盘;写请求完成之后,则将辅助位图上相应位设为1,标识被访问逻辑块上数据已经有效。
2 性能分析
本节主要以面向磁盘重构算法作为参照,对面向数据重构算法进行性能分析。为了方便描述,面向磁盘重构算法简称为DOR,面向数据重构算法简称为DataOR。
本节的测试配置详细情况如下所述。服务器配置如下:Intel(R) Xeon(TM) CPU 2.40GHz,2GB内存,操作系统为32位的Fedora Core4,采用2.6.12-gentoo-r12内核,采用软RAID构成RAID5。RAID5基本属性如下设置:chunk大小为64KB,左对称算法,由9块磁盘构成,第3块磁盘失效。应用模式分别为:cello99(12-25、03-11、06-24、09-22和10-05)、F2.spc、F1.spc和tpcc94应用模式;对于cello99、F2.spc、F1.spc和tpcc94这四种应用模式,RAID5单块磁盘容量分别设为92GB、37GB、31GB和11GB。
图2描述了DataOR(RAID5)重构性能与DOR对比情况,相对于DOR,DataOR显著提高了重构性能。如图2所示,对于cello99应用模式,DataOR重构性能相对于DOR提高了1.7至2.2倍,对于F2.spc、F1.spc和tpcc94三种应用模式,DataOR重构性能相对于DOR提高了1倍左右。相对于DOR,DataOR重构性能得以显著提高的主要原因是重构数据量仅占磁盘实际分配空间的一部分。对于cello99应用模式,实际数据总量占磁盘实际分配空间的31%,对于F2.spc、F1.spc和tpcc94三种应用模式,实际数据总量占磁盘实际分配空间的47%至50%。
当实际存储容量远大于实际分配空间时,DataOR相对于DOR对重构性能有巨大改善。
3 结 语
本文介绍了面向数据重构算法的核心思想和实现机制。面向数据重构算法只对正被使用逻辑块上数据进行重构,而不需对整个磁盘进行数据重构。
测试结果说明了面向数据重构算法显著改善了磁盘阵列的重构性能和服务性能。磁盘阵列存储空间仅满足实际需求时,相对于DOR算法(目前最常用且最有效算法之一),面向数据重构算法将重构性能提高了1至2.2倍,并且没有降低重构过程中磁盘阵列服务性能。由于在更短时间将磁盘阵列恢复到正常运行状态,面向数据重构算法显著改善了磁盘阵列的服务性能。当磁盘阵列存储空间远大于实际分配空间时,面向数据重构算法对重构性能改善巨大。
参考文献
[1]Reddy A N N,Chandy J,Banerjee P.Design and Evaluation of Grace-fully Degradable Disk Arrays[J].Journal of Parallel and DistributedComputing,1993,17:28-40.
[2] Muntz R,Lui J.Performance Analysis of Disk Arrays Under Failure[C]//Proceedings of the 16th International Conference on Very Large Data Bases,1990,3:162-173.
[3]Fu Gang,Thomasian A,Han Chunqi,et al.Rebuild Strategies for Re-dundant Disk Arrays[C]//The Twelfth Conference on Mass StorageSystems and Technologies,2004,2:128-139.
地震数据重构 篇5
【关键词】大数据时代；金融体系重构；资本市场变革
大数据时代不仅能够极大的解放人类的生产力，同时还能够有效的提升人类社会的生产效率。中国梦实现的重要载体就是移动互联网络，因此必须要将大金融体系建立起来。我国的金融监管体系在多年以来都处于相互独立的状态，相互割裂的现象在保险、证券以及银行等行业当中存在的十分普遍，很难与大数据时代金融发展的要求相适应，而且无法有效的把握移动互联带来的巨大机遇。本文针对大数据时代的金融体系重构与资本市场变革进行了分析和探讨，供大家参考。
1.“大数据”概述
作为一个术语，“大数据”是不断发展的一种科技领域趋势的反映，有人认为，采用传统数据库软件在一定的时间之内无法针对其内容实施处理、管理以及抓取的数据集合就是所谓的数据集合。大数据的最大的特征就是具有非常大的容量，与此同时其还具备很多的特点，从整体上来说，其主要包括以下几方面的特征：Complexity（复杂）、Value（价值性）、Vitality（灵活）、Velocity（快速）、Volume（海量）、Variety（多样化）。大数据最为主要的意义就是其具有较大的价值性，人类能够对这些数据进行分析和使用，并且通过分析、整合以及交换这些数据，最终能够将新的知识发现，并且将新的价值创造出来。鉴于大数据时代的这些特征，因此其在对人才、工具以及分析技术等方面上要求很高[1]。
2.大数据时代的金融体系重塑
我国的金融体系会在大数据时代受到巨大的影响，并且会有效的重构整个金融体系。
2.1金融市场功能的巨大转变
在大数据时代，金融市场的功能将会出现巨大的改变，其必然会在居民的工作、生活以及各种实体经济当中發挥越来越重要的作用。金融市场各参与方在大数据时代能够实现大联网，各种信息能够实现自由流动，大大降低了其自身的非对称程度，资源的配置也必然要将行业、空间以及时间的限制突破，从而实现效率的进一步提升以及成本的降低，交易市场甚至可以在一些社交网络当中形成。同时信用评价和征信体系会在参与者无处不被记录的条件下变得更具效果，风险管理和决策的模式也会由于大数据所具有的预测能力而从静态向实时转变，并且在风险定价以及金融决策当中将会全面纳入个人的动机以及网络行为。除此之外，金融服务会不断的加深自身的一体化以及综合化程度，大大拓展了金融服务的边界，并且会大量出现贴身服务的模式。
2.2与社会生产力相适应的大金融模式的出现
为了能够与社会生产力的不断发展相适应，大金融模式必然会在我国形成。通过大数据时代的云计算以及移动互联的融合，并且运用大数据分析建立征信体系，能够保证实时信息交流和交易在消费者、生产者以及投融资双方之间的实现，大量的交易平台和场所都会在社交网站当中形成，最终形成大金融模式。在大金融模式下，供求双方可能够通过互联网平台将各类金融功能和服务完成，同时还会形成良性循环的商业模式，比如招商银行、建设银行以及阿里巴巴等能够集财富管理征信、购物消费以及支付结算等网络一体化；与此同时，还会使跨领域以及多样化的现象出现在平台的金融产品种类以及服务范围当中，比如在传统金融领域当中阿里巴巴以及人人贷等互联网企业的渗透，其可以对互联网平台销售进行充分的利用，集中销售保险类、证券等各种金融产品。大金融模式的基础在互联网平台的聚集效应下得以形成，比如现在很多网站都具有规模非常大的客户浏览量[2]。
3.资本市场在大数据时代的变革
资本市场在大数据时代必然会进入深刻的变革过程中，立足于现在的资本市场情况，我们认为资本市场的变革在大时代具有如下特点。
3.1互联网平台成为资本市场功能得以实现的主要载体
在传统模式下，实体机构是资本市场功能实现的主要载体，随着大数据时代的到来，必然会大幅度的减少中间环节和传统的职能机构。
首先，在业务模式以及交易模式的层面，将能够联系供求双方以及实体经济的互联网平台建立起来，保证各个资本市场参与方都能够实现全面的有效的交流和对接，这样就可以使信息不对称的现象大大减少，同时还能够对资本市场的效率起到有效的促进作用。现在互联网和开放平台能够将生产者、消费者、资金以及信息等积聚起来，实现创新业务以及交易产品的目的，并且进一步形成新业态和商业模式的良性循环，最终会逐渐的取代传统的通道业务。
其次，相对于传统的模式而言，互联网平台和大数据基础之上的风险分析、监管以及预测能力必然会更高，这样互联网平台还会面向资本市场进行风险管理和监管。在平台当中会集中市场参与主体的各种信息，并且具有动态在线的特点，由于这些平台和大数据技术的存在，信用评价和社会征信也会实现非常快速的发展，因此互联网平台也就变成监管的实施和风险管理的重要载体，其中最明显的例子就是众安在线以及阿里巴巴[3]。
3.2证券行业格局的重大变化
在大数据时代当中，互联网企业必然不断的加剧与传统金融机构的竞争合作。我们认为，未来在证券行业当中会存在三种业务模式，首先是传统的营业部模式被向微小企业等提供服务的网上模式所取代，可能会出现与韩国Kiwoom的网络证券商相同的模式；其次是服务于中产阶层的综合服务模式，其能够对互联网平台集聚的数据进行深度挖掘，并且将精准化服务提供给各种客户。现在能够对生活、工作以及投资兼顾的中产阶层群体数量越来越大，因此出现了各种各样的为生活休闲、购房购车、子女教育以及养老等理财的综合金融服务需求；最后是能够针对高净值个人客户以及机构客户提供服务的专业化综合模式，多种专业化定制服务需求往往是这些客户的最大需求，比如社会交往、慈善事业、生活及休闲、财产继承和分配、员工福利、资产以及风险管理、多元化投融资以及合理避税等。相对于第二种模式而言，这种模式往往具有更高的附加值以及更强的专业化程度。在大数据时代的背景下，在前两种模式当中互联网企业都具有非常大的优势，而一些跨领域金融机构由于具有非常雄厚的研究力量，因此在第二种模式当中的优势也非常明显。现在由于在进入证券行业中的时候互联网企业受到了一定的限制，一旦这种限制放开，证券行业格局必然会出现重大变化，通过自身强大的平台，一些大型金融集团以及互联网企业必然能够强势进入，这样就很快会出现与阿里控股天弘基金相同的那种非常强的聚集效应，最终会极大的改变传统的受各种体制约束的证券行业[4]。
4.结语
面对即将到来的大数据时代，各行业应该致力于创新自身的机制以及体制，而在金融领域当中的保险、证券以及银行等必须要加大自身的开放力度，不断的转变自身的经营理念，尽快的与互联网精神相适应，从而能够在大金融体系下取得不断的发展。与此同时，资本市场要想与上述变化相适应，就必须要转变自身的经营模式，可以通过与互联网嫁接以及对客户信息进行尽早收集等手段，转身为以客户体验为中心的经营模式，同时还要将数据就是资产的理念树立起来，对数据人才予以重视，从而能够抢占市场的先机。
参考文献
[1]王美红.当前美元危机下国际货币体系重构[J].法制与社会，2012（36）
[2]陈红.全球金融危机的启示：价值的反思与体系的重构[J].海南金融，2010（01）
[3]谌争勇.农村金融体系的重构与金融抑制理论的研究[J].哈尔滨金融高等专科学校学报. 2011（03）
[4]李强.危机后美国政府的金融救助与体系重构[J].上海金融，2011（12）
地震数据重构 篇6
关键词：煤层厚度,预测,波阻抗反演,地震数据重构
煤炭的安全高效开采技术是解决煤炭安全生产问题的根本方法。研究和发展安全高效开采技术,可为煤田的安全生产提供重要的保障。煤层厚度的预测技术是煤炭安全高效开采地质保障体系中重要技术之一,提高煤层厚度预测精度的研究也是煤炭地震勘探技术探讨的热点问题。
对煤层厚度预测的主要方法是用地震波振幅预测煤层厚度,但是噪声干扰会影响地震波的振幅,进一步影响预测的精度。笔者着重研究降低噪声对煤层厚度预测精度影响的处理技术。
1 振幅调谐法预测煤层厚度
Widess研究发现,当地层厚度小于地震波长的1/8时,经地层顶底反射形成的复合波近似为地震子波的微分式,并且随着厚度的变小复合波的形态基本保持不变
因为调谐现象发生的前提是地层厚度与反射波的波峰—波谷间距相等,而波峰—波谷间距正好为波的半周期,所以调谐现象的时间间距正好等于半周期,可用下式表示:
图1 薄层调谐现象成因示意图
式中:Tt为调谐的时间间隔,ms;T为子波的周期,ms。
发生调谐效应时,地层的实际厚度可表示为:
式中:dt为地层的实际厚度,m;v为地震波在地层中传播的速度,m/s。
由公式(1)和(2)可得:
而
则
式中:λ为地震波的主波长;f为地震波的主频。
式(5)表明,调谐现象发生时地层的实际厚度为λ/4。在厚度等于这个数值时,复合波的振幅达到极大值;在厚度小于这个界限时,复合波的振幅随着厚度的增大而增大。
图2表示已知子波波长,地层阻抗高于围岩模型时的有效振幅随地层厚度变化的函数关系。
图2 地震波振幅随岩层厚度变化的函数关系图
由图2可以看出:
1)当地层厚度在λ/2至λ/4之间变化时,振幅随着层厚增加而增大,并大于真实的反射系数,此现象为地层顶底间相长干涉;
2)当地层厚度为λ/4时干涉效应最大,此时发生薄层调谐;
3)当地层厚度从λ/4减小为0时,地震波的振幅也减小并趋于0,此现象为地层顶底面间的相消干涉。
如图3所示,如果地震波由煤层顶板垂直入射到顶板与煤层的界面1,由于通常地震波在煤层中的传播速度v2比在围岩中的速度v1低,同时,煤层的密度ρ2也低于围岩的密度ρ1,即煤层的波阻抗I2小于围岩的波阻抗I1。由于反射系数γ=(I2-I1)/(I2+I1)<0,根据褶积模型,地震道T=ωγ,当子波ω的极性为正时,产生的独立地震道的极性应该是负的。同理,如果地震波由煤层垂直入射到煤层与底板之间的界面2时,产生的独立地震道的极性应该为正。
图3 煤层模型
结合以上的调谐理论,当煤层的厚度为λ/4时,界面1产生的地震响应与界面2产生的地震响应会产生调谐效应;当煤层的厚度小于λ/4时,煤层的厚度与振幅呈近似线性关系。因此,在这种情况下可以统计钻孔处煤层的厚度与井旁地震数据的振幅值之间的准线性关系,提取研究区域的振幅信息,并利用所得的准线性关系推测研究区内的煤层厚度。
2 利用波阻抗反演重构地震数据降低噪声对煤厚预测的影响
地震记录通常受噪声干扰,噪声的干扰会引起振幅的变化,进而影响利用地震数据振幅预测煤层厚度的精度。为此,首先构建一个单反射界面的理论模型,在此基础上应用正演和统计分析的方法研究噪声对地震数据振幅的影响,进而研究重构对降低噪声影响的效果;其次构建一个煤层的理论模型,在此基础上同样应用正演和统计分析的方法研究噪声对煤层厚度预测精度的影响,进而研究重构对提高预测精度的效果;最后,结合波阻抗反演的相关理论说明利用波阻抗反演重构地震数据对噪声的影响。
2.1 波阻抗反演
Marquardt和Levenberg研究了阻尼最小二乘反演算法,此算法可使计算出的理论结果和实际观测结果之间的误差平方和最小。作为一种重要的反演算法,阻尼最小二乘反演算法被用于线性系统甚至线性化的非线性系统(广义线性系统)
根据一维褶积模型的假设,由震源激发产生的地震波,在地下遇到反射界面后将反射回地面的接收装置,接收到的信息即为地震反射波,其数学模型(忽略了多次波)可以表示为:
式中:s(t)为地震记录;r(t)为地下反射界面的反射系数;ω(t)为地震子波;n(t)为附加噪声。
波阻抗反演可被视为从地震道s(t)推算反射系数r(t)的过程。首先估算一个地震子波,再用地震子波的逆与地震数据褶积,在没有噪声干扰的假设情况下若估算的子波与真实的子波相似,则可产生对应地层界面的反射系数序列r(t)。
假设入射到地下各反射界面的地震波是垂直入射的,则反射系数为:
式中:ri为第i层界面的反射系数;ρi为第i层的传播密度,g/cm3;vi为第i层的传播速度,m/s;ρi+1为第i+1层的密度,g/cm3;vi+1为第i+1层的传播速度,m/s。
令ρv=I,I即为地层的波阻抗,则:
由式(8)可得:
如果已经有第一个地层的波阻抗,由反演得到的反射系数序列,就可逐层递推计算出下面每一层的波阻抗值,这样就可以把界面型的反射波信息转换成岩层型的波阻抗信息。由此,可进一步预测地下地层的岩性信息、物性信息,以及地层本身的一些特征。
2.2 建立模型预测煤厚
煤层地质模型见图4,煤层上下围岩的厚度均为144 m,密度均为2.6 g/cm3,地震波在围岩中传播的纵波速度均为3 600 m/s。煤层的密度为1.4 g/cm3,地震波在煤层中传播的纵波速度为2 500 m/s。对应4个地质模型的煤层的厚度分别为10.0、7.5、5.0、2.5 m。
图4 煤层地质模型
假设主频为50 Hz的雷克子波垂直入射到煤层地质模型中,由于地震波在煤层中传播的速度为2 500 m/s,则由公式v=λf(v、λ和f分别为波在介质中传播的速度、波长和频率),计算出地震波在煤层中传播时波长约为45 m。煤层厚度为12.5 m或者更薄时,地震波在煤层顶底界面的反射波形成复合波,这时可以用复合波的振幅预测煤层的厚度。
根据褶积模型理论,得到厚度分别为10.0、7.5.5.0、2.5 m,信噪比为1.25的合成地震记录,每个合成地震记录共有200个地震道(图5为煤层厚度为5.0 m、信噪比为1.25的合成地震记录)。
图5 煤层厚度为5 m时的合成地震记录
利用STRATA软件对受噪声影响的合成地震记录进行波阻抗反演,再通过子波褶积反射系数进行地震数据重构,得到重构后的地震数据。图6是信噪比为1.25的地震数据(左)与重构后的地震数据(右)的对比图。可见,相对于信噪比为1.25的原始地震数据,重构后的地震数据波形更平滑和清晰。
图6 重构前后地震数据对比图
煤层厚度与复合波的振幅值理论上存在准线性关系。以煤层厚度值为横坐标、复合波振幅值为纵坐标建立二维坐标图,该图统计厚度分别为10.0、7.5、5.0、2.5 m,并通过各厚度相应的复合波振幅信息,用线性拟合可得到厚度与振幅的准线性关系。用信噪比为1.25重构后的地震数据振幅值和对应的厚度值的准线性关系见图7。
图7 信噪比为1.25重构后的地震数据振幅值和对应煤层厚度值的准线性关系
根据这个准线性关系,可从地震数据上提取振幅信息,由复合波的振幅值推导煤层厚度的预测值。
在得到煤层厚度的预测值后,由式(10)求预测值的绝对误差:
式中d绝———绝对误差;
h模型厚度———模型已知的煤层厚度;
h预测厚度———对模型中煤层厚度的预测结果。
为了便于比较地震数据重构前后煤层厚度预测的精度,以地震道的CDP号为横坐标、预测结果的绝对误差为纵坐标建立二维坐标图,将用重构前的地震数据预测煤层厚度的绝对误差和用重构的地震数据预测煤层厚度的绝对误差绘于一张图上进行对比,如图8所示。
图8 不同煤层厚度原始数据和重构数据预测煤层厚度的绝对误差对比图
将原始地震数据预测煤层厚度的绝对误差和重构后的地震数据预测煤层厚度的绝对误差的均值和方差进行整理,结果见表1。
如果能够准确地预测煤层厚度,则预测的绝对误差为0,将过纵轴的0点并平行于横轴的直线视为基线,那么比较地震数据重构前后煤层厚度预测的精度,一方面可以从样点与基线距离的远近来定性地分析,样点离基线越近,则预测的精度越高;另一方面也可以从绝对误差均值的绝对值大小和绝对误差的方差的大小来定量地分析,均值的绝对值越小,方差越小,说明预测的精度越高。
表1 重构前后地震数据预测煤层厚度的绝对误差对比
对表1分析可知,无论煤层厚度为多少,重构的地震数据预测结果的绝对误差均值的绝对值都比重构前的地震数据预测结果的绝对误差均值的绝对值小,而且前者的方差也更小。由图8可见,对于不同的煤层厚度,除少数样点外重构数据预测的绝对误差样点比重构前的更接近基线。由前面的判断标准可知,这说明从总体上而言重构后的地震数据预测的精度更高。
3 结语
1)由于波阻抗反演为全局最优算法,具有一定的减弱奇异扰动的能力。因此,利用波阻抗反演结果重构的地震数据预测煤层厚度,其误差相对平稳,更符合实际地质情况,能从总体上提高煤层厚度预测的精度。利用反演结果重构地震数据,不仅限于波阻抗反演,还可以尝试其他反演方法重构。该预测经验可为煤层厚度的预测提供参考。
2)实际情况下造成煤层厚度预测不准的因素错综复杂,如煤层岩性和物性的变化会造成振幅的变化,进而导致预测结果不准,有待今后在综合考虑其他影响因素的情况下,进一步研究地震数据的重构技术对提高煤层厚度预测精度的作用机理。
参考文献
[1]Widess M W B.How thin is a thin bed?[J].Geophysics,1973,38(6):1176-1180.
[2]唐文榜.地震反射法中薄煤层分辨能力的研究[J].地球物理学报,1987,30(6):641-652.
[3]程增庆,赵忠清,张书生,等.用地震反射波定量解释煤层厚度的方法[J].地球物理学报,1991,36(5):657-662.
[4]刘震.储层地震地层学[M].北京:地质出版社,1997.
[5]朱介寿.地震学中的计算方法[M].北京:地震出版社,1988.
[6]COOKE D A,SCHNEIDER W A.Generalized linear inversion of reflection seismic data[J].Geophysics,1983,48(6):665-675.
[7]Mendel and Hampson.A computationally fast approach to maximum likelihood deconvolution[J].Geophysics,1984,49(2):550-565.
[8]Brian H,Russel.Introduction to seismic Inversion Method[J].SEG,1988,43(6):767-779.
大数据能否重构制造业 篇7
2016年7月初,在腾讯“云+未来”峰会上,美的集团董事长兼总裁方洪波表示,传统的制造模式已经跟不上时代变化,传统制造业企业必须跟上大数据和云平台的步伐,必须深刻理解什么是基于互联网应用的智能制造。方洪波说,大数据和云平台对传统制造业来说是一场淘汰赛,跟不上步伐就会被淘汰。
降低成本、优化产品结构、创新商业模式、延伸产业链,迈入大数据时代的制造企业正在借助数据的力量涅槃重生。
不仅是精细化运营
早在多年前四川长虹就开启了智能战略转型,其新商业模式—“终端+数据+内容+服务”已日渐清晰,其中大数据应用对构建长虹的新商业模式至关重要。在产品设计层面,四川长虹会对消费者行为进行分析,如果数据显示80%的消费者不需要某一个功能接口,那么就可以在之后的产品设计上去掉这个接口,节省成本。
同时,四川长虹还计划通过大数据选择个性化电视广告植入。比如根据收视节目,就可以分析得出收视行为是男性主导还是女性主导,或者是老年人主导,这个家庭有没有小孩等信息,使未来的电视广告可以做到个性化精准投放。如果能够再与三网融合的数据进行结合,则会产生更大的商业价值。
百分点数据科学总监杜晓梦认为对于制造业来说,由于经济环境影响,供给大于需求,经营压力让智能制造和精细化运营越来越受到重视。在制造业很多环节都可以应用到大数据分析,包括物联网数据采集,成本节约、智造设计、物流调配、库存优化、营销等方面,运营渠道管理、经销商定价分析、精细化生产、个性组装、个性化服务等也离不开大数据。大数据不仅能保证企业的精细化运营,还能为制造业带来新的业务模式。以近年来热门的定制化生产为例,在德国某些企业已经可以实现消费者上午在网站上定制,工厂流水线提取数据后马上就可以组配,消费者下午就可以去厂家取货。
大数据增加了一双眼睛
星期六股份有限公司是国内领先的鞋业品牌运营商,具有很强的产品开发和制造能力。据星期六股份有限公司副总经理刘海金介绍说,在公司刚成立的20多年前,商业模式以批发为主。只要有工厂,生产出产品就能够有很好的销路。当零售商兴起后,竞争环境变化,公司开始注重在百货公司开设专卖店,而随着互联网的兴起,90后已经成为主要购物人群,如何了解客户的购物习惯和心理就成为星期六的新挑战。
星期六的大数据战略非常明确,目标客户都有谁?不同城市的客户情况有何不同?为了赢得市场竞争应该采取单品牌战略还是多品牌战略?随着互联网的火热,如何在传统渠道和新兴渠道之间获得平衡?这些目标明确后,就可以将企业信息化战略贯穿到企业运营和组织架构搭建中。
因此,星期六与IBM合作实施了IBM Predictive Customer Intelligence——预测性客户洞察解决方案。通过数据分析得出结论,星期六的客户在一线城市以26岁到30岁为主,而在三线城市则以35岁以上的客户为主。有了这些数据后,就可以有针对性的进行营销和产品布局。通过对目标客户进行维度分析,有针对性地对客户进行后续营销活动。
此外,星期六发现在产品评论中经常会出现妈妈、同学、朋友等对鞋子的看法,借助这些数据可以调整产品组合吸引增大顾客范围。
刘海金还举了一个例子,根据数据显示,逛百货公司的人群以26岁到35岁顾客为主,而在大型购物中心,人群则呈现哑铃型的状态。以35岁以上和28岁以下的人群为主。这种情况有可能是全家去购物中心吃饭、看电影,之后顺便购物。之前购物中心门店销售的产品没有规划,有什么产品就上架什么。经过数据分析后,星期六发现针对28岁以下的顾客可以推荐轻奢品牌,同时也要有成熟的舒适型产品,优化产品结构。同时,增加一些在购物中心里适合购买的配件,包括眼镜、化妆品等,并在定价和货品开发方面都做了针对性调整。取得了非常明显的效果。“最重要的是我们取得了战略性的优势,这是其他品牌一直在摸索的。我们成为购物中心招商引资非常重要的合作对象,大数据缩短了我们摸索的过程。”
刘海金说,“总的来说,大数据项目给我们增加了一双眼睛,可以让我们更加快速的看到市场经营当中发生的变化,更清楚的认识我们的客户,从而有针对性的组织货品,有针对性开展营销活动。同时也通过大数据更好地完善和规划公司未来几年的战略规划。”
大数据的更多价值
有这样一个故事,在苏丹有一个地方,很多国际巨头想在那里开发油井都没有成功,中国石油经过勘测,发现该地区的地质情况与塔里木盆地非常相似,中国石油利用之前在塔里木的数据成功开发了油井,且每桶油的成本远远低于其他公司的成本。讲述这个故事的是壳牌石油中国区首席信息官徐斌,在他看来,大数据的价值还体现在更多方面。
以壳牌自身为例,在帮助门店选址上,传统考察客流量的方式是记录车辆经过的数量,而现在可以结合运营商的数据,不仅可以得到客流量,还可以分析客流停留频率。
在实施精准营销方面,可以利用车联网数据,收集车况、车主的驾驶习惯、油耗等。在车辆出现在加油站十公里的范围内就可以明确客户和车辆信息,直接短信建议车主去对应的加油站加油,短信还会包含走哪条路线可以避免拥堵,目前有哪些促销活动,甚至进一步分析油耗,推断出使用壳牌加油站的油,可以降低油耗,一年为车主节省多少费用等。
除了在生产阶段和营销阶段使用大数据,大数据还可以应用到延伸生态链达成共赢。通过相关性分析,得知壳牌和奥特莱斯的客户有38%的相关度重合,与沃尔玛有36%的客户重合度,与京东有33%的客户重合度,说明和他们共同促销会收到很好的效果。通过异业合作伙伴,产生延伸消费也是大数据为企业带来的优势。
浪潮以大数据重构企业智慧 篇8
“每一轮新技术革命的爆发都会对企业的管理模式和运营模式产生深刻的影响,新IT与企业管理创新的融合催生了新的业务模式。大数据正在重构企业智慧,推动企业转型升级。”浪潮集团执行总裁王兴山在以“大数据重构企业智慧”为主题的浪潮2014新财年企业信息化战略发布会上指出,“我们身处在一个变革时代,需求和技术驱动着中国管理软件产业的快速发展。与此同时,国产化的春天也给管理软件产业带来了巨大的发展机遇。”
近年来,云计算、移动互联、社交网络、大数据等技术驱动着新IT时代的到来。新IT时代的企业信息化的一个典型的特点是以数据重构商业模式、服务与产品、经营理念。王兴山认为,大数据时代下企业信息化架构强调云计算、大数据、社交网络和移动应用,用新技术不断颠覆传统企业的运营模式,帮助企业实现差异化创新。
新财年浪潮企业信息化战略是发展2大平台软件、提升5大应用产品、深化10个优势行业、推动100家大企业云落地、聚合1000家合作伙伴,以新思维、新工具、新方法帮助企业用户用大数据重构企业智慧,推动企业转型升级。新战略主要包含以下5方面内容:发挥浪潮在技术方面的领先优势,加强平台研发投入,大力发展2大平台产品:企业云应用平台GSP+和大数据服务平台IOP,推动在新IT环境下的企业信息化建设;强化“引领高端”,面向管理创新和新IT融合需求,围绕管理会计、财务共享服务、电子采购、数据商业分析、移动应用5大热点领域,全面提升浪潮GS、H C M、C R M、B A、P S全线管理软件产品;坚持“专注行业”,推动在军工、建筑、制药、储备、快消品、装备制造、采掘、船舶、化工、交通10大优势行业的深度应用,实施100家企业数据整合业务,全面推动企业管理升级;基于浪潮第四代数据中心的平台,按照浪潮企业云落地路线图,大力发展企业托管云与大数据整合服务,同时发展以CRM、SRM、HCM为重点的公有云服务,2014年推动100家企业云落地;进一步加强区域本地化建设,2014重点发展1000家合作伙伴,提升面向客户的本地化、专业化服务能力建设,做客户最信赖的伙伴。
意愿经济:大数据重构消费者主权 篇9
用图形来描述消费者 (需求的载体) 和产品 (包括服务) 之间的关系其实非常简单, 只要在消费者和产品之间画一个箭头就可以了, 他们之间是一种驱动的关系。那么, 接下来的问题是箭头的方向应朝向那一边?谁是这个驱动关系的动力源, 是消费者还是产品生产者?
产品经济时代的驱动力是生产者, 因为他们拥有资源和生产能力。世界上所有的产品都是生产者按照自身的资源和能力禀赋生产的。为了大规模生产, 所有的产成品都是标准化的, 消费者只能从生产者的产品池中挑选最接近满足自己需求的产品和服务。消费者没有生产的话语权, 他们不满意, 也没有办法改变现状。生产者为了管理消费者的不满, 发明了一个管理工具, 叫做“客户关系管理” (CRM) 。客户关系管理的最终目的是把生产者的产品卖给消费者。生产者虽然声明客户是上帝, 但是上帝也只能按照生产者的意愿, 而不是按自己的意愿选择产品。
地震数据重构 篇10
若动态信号数据采集过程中存在大的超调,则可能由于受到量程(如超出A/D转换器参考电压范围等)限制使测量过程饱和溢出,造成波形出现“平顶”。同时,在采样周期和截断步长固定不变的情况下,若被测信号过渡过程变化特别快因而导致不能满足采样定理的最低要求时,数据采集过程会变得敏感,造成信号波形上升段稀疏采集并损失某些重要信息,而波形平坦部分则冗余采集;反之,若被测信号过渡过程缓慢、单调变化,此时数据采集过程变得迟钝,无法保证采集到信号变化的全过程,以至于看不到动态过程波形之全貌。
这些情况都有可能造成观测失效。本文作者曾提出了一种基于MCU(Micro Control Unit,微控制器单元即单片机)的动态信号实时自动增益数据采集与重构解决方案[1],相继进行了前期仿真验证和核心功能设计及其实物实验并设计成功了一款样机,进行了功能设计和技术测试验证[2],证明了设计方案的可行性解决了信号超量程问题。后经持续研究,找到了一种在硬件不作任何变动的情况下,能够有效地适应动态信号幅值和速度大范围变化的全过程自适应数据采集方法。
2 自适应数据采集与重构算法设计
自适应数据采集包括采样周期适配和增益自适应两个方面。
2.1 采样周期适配
动态过程的调节时间代表了自动控制系统的快速性,是评价控制系统的一项重要技术性能指标。因此,要全面了解控制系统阶跃响应过程,就必须使数据采集装置的总采集时间达到或超过调节时间。为不失一般性,本文自适应数据采集算法将以阻尼比ζ和自然振荡角频率wn已知的二阶系统阶跃响应过程为研究对象,其阶跃响应按阻尼比ζ的大小分为无阻尼、欠阻尼、临界阻尼和过阻尼4种情况,系统输出满足如表1所示的阶跃响应形式[3],其过渡过程时间总是与阻尼比ζ和自然振荡角频率wn这两个参数有关。
观察表1的第二列可知:ζ=0(无阻尼)时阶跃响应呈不衰减的等幅振荡状态,振荡频率为wn,因此只要保证能够观测到一个完整的振荡周期即采集时间T≥2π/wn即可满足观测要求,按经验应测取2个周期的振荡过程即可取T=4π/wn;0<ζ<1(欠阻尼)时阶跃响应呈衰减振荡状态,调节时间约为4/ζwn(以±2%误差带计),因此采集时间应满足T≥4/ζwn,按经验采集时间取T=8/ζwn即可覆盖全部过渡过程;ζ=1(临界阻尼)时阶跃响应表现为稳态值为激励源幅值Uin的无振荡单调上升过程,其衰减时间常数为1/wn,因此采集时间应满足T≥4/wn,按经验取采集时间T=8/wn即可;ζ>1(过阻尼)时情况相对复杂,虽则其阶跃响应也表现为稳态值为激励源幅值Uin的单调上升过程,但观察两个衰减时间常数T1和T2,由于T1>T2,过渡过程的快慢显然主要由T1决定,因此采集时间应满足T≥4T1,按经验采集时间取T=8T1即可。由此得到观测二阶系统阶跃响应的数据采集时间系列经验公式,如表1的第四列所示。
在已知总的采集时间长度T的情况下,根据设定的截断步长n(即采样点数,对应于数据采集装置或DSO等测量仪器的存储深度),可立即算得适配采样周期Ts为:
2.2 增益自适应仿真
在激励源具有足够强度的情况下,过渡过程信号均在一般测量仪器的可观测范围之内,不存在测量死区,因此本文的增益自适应算法将着重考虑如何克服测量过程中的饱和溢出问题。增益自适应算法包括增益自适应数据采集和增益自适应数据重构两个方面[1]。
在数据采集开始时,首先以输入调整增益Kin=1实时检测原始信号y(t)并转储当前采集结果Ys。若Ys小于事先指定的上限阈值MAX,则维持输入调整增益不变并继续采集;否则发出增大量程指令,将输入调整增益按等比级差l调小一级,从而避免下一次采集结果溢出造成观测失真。设n为截断步长,i为当前采样序号,r为数据采集装置的数字分辨率即字长,UREF数据采集装置的参考电压(满度值)。取输入增益等比级差为l,则自适应数据采集的仿真算法可用下式表示
其中,Q表示与数据采集装置A/D转换器分辨率有关的整量化过程;而Kin应满足
特别地，为方便在以微控制器为核心的数据采集装置上实现，可取1=2,此时式(3)变为
数据重构过程同样以输出匹配增益Kout=1开始输出,选取与自适应数据采集过程相同的上限阈值MAX和输出增益等比级差l,若当前待重构输出数据Ys小于上限阈值MAX,则始终按当前匹配增益重构输出;否则后续输出时将输出匹配增益按等比级差l调大一级,从而恢复原始信号幅值。设j为当前重构输出序号,n为截断步长,r为数据重构装置的数字分辨率即字长,UREF数据重构装置的参考电压(满度值)。取输出匹配等比级差为l,则自适应数据重构的仿真算法可用下式表示
其中,Kout应满足
特别地,为方便在以微控制器为核心的数据采集装置上实现,也取l=2,此时式(6)变为
显然,对于任一采样结果,按上述增益自适应数据采集与重构算法总能保证
这意味着数据重构输出结果始终能够按原始状态复现被测信号。
3 自适应数据采集与重构仿真程序设计
为验证算法正确性,设计并编写了函数形式的自适应数据采集与重构算法MATLAB仿真程序adaptive_acquisition m,仿真程序流程图如图1所示。程序中,UREF均取5V阈值惯性系数α取值范围为0～1,并由该参数结合字长r通过下式确定上限阈值MAX:
取表2所示5种不同类型的典型检验试样予以测试,并进行仿真。如对于试样I,在MATLAB命令窗口输入adaptive_acquisition(5,0.4382,1223,200,2,0.2,8)程序执行后,得仿真结果如图2所示。类似地,用同样的输入方法依照表2所予入口参数值逐一仿真检验试样Ⅱ～试样Ⅴ,得仿真结果依次如图3～图6所示。
分析仿真波形图可知,本文提出的算法能够根据被测典型检验试样的结构参数分段适配采样周期,既未损失重要的过程信息,又能完整地复现动态响应全貌,说明该方法的结构适应性良好。同时,增益自适应采集过程虽则打乱了原始动态信号波形的形状,但没有超量程失真现象,对每一个采样值,只要对应的输出匹配增益与输入调整增益满足式(8),就能按原始状态复现被测信号波形,保证了观测的有效性。另外,在不考虑硬件上原始信号接入和调理电路所造成的误差的情况下,测量误差理论容限值不会超过数据采集装置(尤指A/D转换器)的量化误差所予的范围,且采集装置中ADC的字长r越大,误差就越小。
4 实现问题
文献[2]已经给出了一套较为完整的硬件和软件解决方案,但未涉及采样周期适配问题。然而采样周期的适配与被测系统的结构参数有关,故算法的物理和逻辑实现问题的重心实际已转移到被测系统参数估计问题上作者对此已进行了预研。由于本文算法的设计目标仅限于观测而非精确控制,参数估计精度要求并不高;而一阶系统可以被视为阻尼比ζ>>1的二阶系统,高阶系统总是可以分解为二阶系统与一阶系统的并联并主要反映二阶系统的过渡过程形态,因此将任意被测系统简化推定为一个二阶系统不失其代表性。在此基础上,作者初步确定了采样周期适配算法实现问题的实时解析参数估计法和实时查表参数估计法两种基本策略:实时解析参数估计法的核心问题是如何根据预采集结果通过方程逆解出二阶系统的阻尼比ζ和自然振荡角频率wn这两个结构参数;实时查表参数估计法的关键是事先根据二阶系统的阶跃响应变化规律,建立一个与二阶系统阻尼比ζ和自然振荡角频率wn这两个结构参数相关的二维数据表格,然后根据预采集结果通过查表逆解出ζ和wn。无论采用何种参数估计方法,文献[2]所予样机都必须从软件和硬件上同时做出调整,以便满足全程自适应数据采集之要求。限于篇幅,此问题将另文详述。
5 结束语
MATLAB仿真结果表明,本文提出的自适应数据采集与重构算法,同时具有采样周期和信号量程自动调节功能,能够很好地适应不同结构参数系统的阶跃响应过渡过程信号波形观测,有效地解决了因固定I/O增益和固定采样周期所带来的观测失真问题,因此这种设计方案是可行的,对于控制系统动态信号观测以及参数整定具有实际意义。
摘要：针对固定采样周期和输入输出增益的动态信号数据采集观测失效问题,以二阶系统的阶跃响应过渡过程为研究对象,提出了一种采样周期和信号增益自适应数据采集与重构算法,能够根据实时系统的结构参数自动调整采样周期、数据采集输入调整倍率和数据重构输出匹配倍率,从而自动适应信号幅值和过渡过程调节时间的变化,实现有效观测。设计了自适应数据采集与重构MATLAB仿真程序,并借助一组具有代表性的检验试样运行验证了这种算法的正确性。
关键词：自适应算法,数据采集与重构,仿真,MATLAB
参考文献
[1]尹湛华.自动增益数据采集装置功能仿真[J].电子测量技术,2005,(6):92-94.
[2]尹湛华.实用动态信号测量装置设计与技术测试[J].机电工程技术,2008,(7):59-61.
【地震数据重构】推荐阅读：
地震数据获取系统07-19
地震数据的处理解释06-27
地震台站的数据安全05-27
南极真的没有地震吗？南极地震解密07-03
环太平洋地震带地震活动对中国大陆地震活动的影响分析09-29
芦山地震07-21
地震捐款10-15
地震采集05-12
地震序列05-23
地震特征05-28