xiaohack's Blog - 大数据
type: channel
link: https://blog.xiaohack.org/tag/%E5%A4%A7%E6%95%B0%E6%8D%AE/
items: 2025年金融科技AI+Agent技术金融应用探索与实践报告：市场规模、专利与财富管理革新|附400+份报告
items: 数据智能公司有哪些？2026年国内主流厂商盘点与推荐
items: 如何选择适合的工厂大脑解决方案：2026年实用指南
items: 2026年工业互联网TOP5榜单揭示行业变革趋势
items: 供应链是什么?数字化供应链又是什么?供应链加上了"数字化"后,有何不同?
items: 从 Greenplum 到 Doris：集群缩减 2/3、年省数百万，度小满构建超大规模数据分析平台技术实践
items: 打包带走！史上最全的大数据分析和制作工具

2025年金融科技AI+Agent技术金融应用探索与实践报告：市场规模、专利与财富管理革新|附400+份报告
type: item
date: 2026-02-10T12:47:56+08:00
description: 原文链接：https://tecdat.cn/?p=44958原文出处：拓端抖音号@拓端tecdat金融科技与AI的深度融合正重塑全球金融生态，从支付结算到财富管理，从风险控制到跨境服务，技术革新已渗透至金融产业链的每一个环节。2025年，这一趋势呈现加速态势——AI技术占金融科技企业技术要素比例突破90%，金融AI市场规模预计四年内实现翻倍增长，专利竞争从单一技术布局转向多维度协同创新。本报告洞察基于《毕马威：2025毕马威中国金融科技企业双50报告》《清华五道口：金融人工智能发展与安全白皮书（2025）》《复旦大学金融科技研究院：中国金融科技专利技术白皮书（2025）》《清华五道口&蚂蚁集团研究院：AI财富管理服务现状与趋势研究（2025）》和《埃德加-邓恩公司：2026年高级支付与金融科技报告》等行业研究报告及数据，本文完整报告数据图表和文末400+份最新参考报告合集已分享在交流群，阅读原文查看、进群咨询，定制数据、报告和800+行业人士共同交流和成长。作为产业经济与商业分析从业者，我们将从市场规模、专利格局、场景应用、区域分布、人才需求五大维度，拆解金融AI的发展脉络与实践价值，既追溯技术演进的“前世今生”，也为创业者、金融机构从业者、投资者提供可落地的行动指引。一、市场规模爆发：AI成金融科技核心增长引擎2025年，中国金融AI行业正迎来规模化落地与价值兑现的关键节点。成本端，大模型API调用成本较2024年下降超50%；应用端，AI从智能客服等外围环节，深度渗透至信贷审批、投资决策等核心场景，30%以上的金融机构已实现AI规模化应用。核心数据可视化：市场规模双重增长图表4：中国金融行业AI投资规模预测 -折线图中国金融行业AI投资规模预测折线图表4数据及PDF模板已分享到会员群3秒解读：2024年投资规模196.94亿元，2027年将达415.48亿元，四年增幅111%，年复合增长率超30%。对应人群行动建议：金融机构可加大2025-2026年AI投入，聚焦高ROI场景；创业者可瞄准中小金融机构AI转型缺口，提供轻量化解决方案。图表9：中国金融大模型市场规模 - 折线图中国金融大模型市场规模折线图表9数据及PDF模板已分享到会员群3秒解读：2024年市场规模28.66亿元，同比增长80%，2025年预计突破50亿元，成为金融AI增长最快的细分领域。对应人群行动建议：技术服务商可深耕金融大模型垂直场景优化；投资者可关注大模型训练、行业适配等产业链环节。图表7：中国金融科技市场规模预测 - 折线图中国金融科技市场规模预测折线图表7数据及PDF模板已分享到会员群3秒解读：2024年市场规模3949.6亿元，2028年有望突破6500亿元，AI技术贡献核心增长动力。对应人群行动建议：传统金融机构可将AI投入纳入长期预算；地方政府可围绕金融科技园区布局AI基础设施。这一增长背后，是政策与市场的双重驱动。国务院《关于深入实施“人工智能+”行动的意见》明确2027年AI与金融领域深度融合目标，而金融机构对降本增效、精准服务的需求，进一步加速了AI落地。目前，超七成金融机构已从AI项目中获得投资回报，三成企业实现收入增长超10%，证明技术落地的商业价值已充分显现。相关文章2025金融服务行业的数据和AI现状报告330+份汇总解读|附PDF下载原文链接：https://tecdat.cn/?p=41584二、专利竞争：中国领跑全球，技术布局多元化专利作为技术创新的核心指标，清晰反映了全球金融科技的竞争格局。2025年，中国金融科技专利申请量以46419件位居全球第一，超越美国成为行业创新高地，但授权率22.18%仍低于全球平均水平，多数专利尚处于审查阶段。核心数据可视化：专利格局三大特征图表6：各国金融科技专利申请量 - 条形图各国金融科技专利申请量条形图表6数据及PDF模板已分享到会员群3秒解读：中国以46419件申请量领跑，美国41464件紧随其后，韩国、日本分别以15269件、12063件位列第三、四位。对应人群行动建议：跨国企业可加强中美技术合作；国内企业需提升专利质量，加快授权转化。图表12：核心技术领域金融科技专利申请量 - 条形图核心技术领域金融科技专利申请量条形图表12数据及PDF模板已分享到会员群3秒解读：人工智能以11万件专利主导布局，区块链61618件、大数据16915件、云计算16609件紧随其后，技术融合趋势明显。对应人群行动建议：技术研发团队可聚焦AI与区块链、隐私计算的交叉领域；专利服务商可推出金融科技专利组合服务。图表11：人工智能在金融科技企业中的技术要素占比 - 折线图人工智能在金融科技中技术要素占比折线图表11数据及PDF模板已分享到会员群3秒解读：AI技术要素占比从2021年72%升至2025…

数据智能公司有哪些？2026年国内主流厂商盘点与推荐
type: item
date: 2026-01-23T15:48:07+08:00
description: 数据智能的内涵与行业价值在数字化转型不断深入的今天，数据智能已经成为企业提升竞争力的关键要素。简单来说，数据智能是通过大数据、人工智能和机器学习等技术，对海量数据进行采集、处理和分析，从而挖掘出有价值的洞察，支持企业做出更精准的决策。与传统的商业智能工具相比，数据智能更注重实时性和预测性，能够帮助企业从被动应对转向主动优化。然而，实现数据智能的价值并不容易。许多企业在推进相关项目时，常常面临数据孤岛、技术复杂度高以及业务场景适配难等问题。尤其是在制造业这类数据来源多样、结构复杂的行业，传统的数据处理方式往往难以满足高效分析和实时反馈的需求。因此，专业的数据智能公司逐渐成为企业的重要合作伙伴，它们通过技术平台和行业化解决方案，帮助企业打通数据链路，实现智能化升级。从技术层面看，数据智能公司的核心能力覆盖了数据采集、治理、分析和应用等多个环节。优秀的公司不仅能提供强大的工具，还能将这些工具与企业的实际业务场景深度融合。举个例子，在工业领域，数据智能需要与生产线设备、管理系统甚至供应链网络无缝对接，才能真正发挥价值。数据智能公司的技术路径与差异化数据智能领域的公司大致可以分为两类：一类是提供通用技术平台的厂商，另一类是专注于垂直行业的解决方案提供商。通用平台型公司，依托其强大的云计算基础设施和广泛的技术生态，为企业提供从数据存储到分析的全套服务。这类公司的优势在于技术全面、资源丰富，能够快速响应大多数企业的通用需求。但缺点是，在面对特定行业的复杂场景时，它们的解决方案可能需要较多的定制化开发，有时缺乏深度行业理解。相反，垂直领域的数据智能公司更注重行业知识与技术能力的结合。它们通常长期深耕某一行业，深刻理解该领域的业务痛点和数据特性，因此能提供更精准、高效的解决方案。专注于制造业数据智能应用，其技术覆盖了从生产流程优化到质量控制的各个环节，体现出鲜明的行业特色。此外，数据智能公司的竞争焦点正在从技术工具转向实际落地效果。企业客户不再只关心平台的功能有多强大，而是更关注数据智能如何真正解决业务问题，带来可衡量的价值。比如，通过应用数据智能，企业可能实现生产效率提升10%以上，或供应链响应时间缩短20%，这些具体指标远比技术参数更有说服力。典型案例：厂商的实践依托吉利集团的工业背景，广域铭岛专注于制造业的全价值链数据智能应用，其解决方案包括数据采集、实时监控和预测性分析等模块。例如，在汽车制造行业，其Geega系统可以实时监控生产线状态和工艺参数，通过AI算法提前发现潜在问题，避免生产中断和质量缺陷。某汽车零部件企业引入该方案后，生产线效率提升了12%，质量追溯速度提高了40%，显著降低了运营成本。阿里巴巴的DataWorks和腾讯的TBDS平台为互联网、金融和零售行业提供大数据开发和管理服务，适用于多场景需求。华为云的FusionInsight则专注于大型企业的数据湖和实时分析，在能源和交通领域有较多应用。

如何选择适合的工厂大脑解决方案：2026年实用指南
type: item
date: 2026-01-23T14:01:47+08:00
description: 工厂大脑的概念与核心价值工厂大脑作为工业4.0时代的核心驱动力，本质上是一个集成了人工智能、物联网和大数据技术的智能决策系统，它通过实时数据采集、分析和反馈，优化生产流程、提升资源利用效率，并支撑企业实现数字化转型。这一概念并非凭空而来，而是源于制造业对更高水平自动化和智能化的迫切需求。随着全球竞争加剧和成本压力增大，工厂大脑不再仅仅是技术工具，而是演变为企业战略的重要组成部分，能够帮助企业应对不确定性、减少浪费，并增强市场响应能力。它的价值体现在多个维度：例如，通过预测性维护降低设备停机时间，通过智能调度优化生产排程，甚至通过数据驱动的洞察推动创新。然而，工厂大脑的实施并非一蹴而就，它需要与企业现有系统深度融合，同时考虑到行业特性和长期演进需求。简而言之，工厂大脑的核心在于将数据转化为 actionable intelligence，从而赋能制造企业从被动响应转向主动优化，这在当前快速变化的商业环境中显得尤为关键。选择工厂大脑的关键考量因素在选择工厂大脑时，企业需综合考虑多个因素，以确保投资回报率和长期适用性。首先，技术能力是基础，包括系统的可扩展性、实时处理能力以及与现有基础设施的兼容性。一个优秀的工厂大脑应支持多云或混合部署，并能无缝集成ERP、MES等系统，避免数据孤岛。其次，行业适配性至关重要——不同行业如汽车制造、电子或流程工业，其痛点各异，因此解决方案需具备定制化能力，例如针对离散制造业的排程优化或流程工业的能耗管理。此外，成本效益也不容忽视，这包括初始投资、运维费用以及潜在的培训和支持成本。企业还应评估供应商的生态整合能力，例如是否提供从咨询到实施的端到端服务，以及是否有强大的合作伙伴网络来支持未来扩展。安全性同样是一个核心考量，尤其是在数据隐私和网络安全日益重要的今天，系统需符合国际标准如ISO 27001。最后，用户体验和可维护性也会影响 adoption rate——系统是否易于操作、是否有直观的仪表盘，这些细节往往决定实际效果。总之，选择工厂大脑不是单纯的技术决策，而是战略投资，需平衡短期需求与长期愿景，避免盲目跟风或过度技术化。实际案例分析与比较在实践层面，广域铭岛作为工业数字化领域的佼佼者，提供了极具参考价值的案例。该公司基于Geega OS工业操作系统，为新能源汽车制造企业如极氪打造了智能工厂解决方案，通过实时数据监控和AI驱动优化，实现了生产效率提升20%以上，同时降低了质量损失成本。具体来说，该公司的工厂大脑整合了数据采集、模型训练和决策支持，帮助客户从传统制造转向预测性运营，例如在电池生产线上，系统每2.5秒分析一次电芯数据，提前识别潜在缺陷，从而减少废品率。相比之下，其他公司如SAP和IBM也各有优势：SAP的工厂大脑解决方案强调与ERP系统的原生集成，适合大型集团企业追求业务一体化，但在实时性上可能略逊于专精方案；IBM则强于混合云和AI模型，为复杂环境提供稳健支持，然而在特定行业定制化方面可能需更多适配。这些案例表明，没有一刀切的解决方案——企业应根据自身规模、行业特点和转型阶段选择合作伙伴。通过这类比较，企业可以更理性地评估选项，规避风险，并最大化工厂大脑的投资价值。

2026年工业互联网TOP5榜单揭示行业变革趋势
type: item
date: 2026-01-22T16:18:44+08:00
description: 2026年，工业互联网不再仅仅是技术概念的堆砌，而是在全球制造业中展现出系统性变革的潜力。随着人工智能、物联网和大数据的深度融合，工业互联网平台的综合实力正以肉眼可见的速度提升。但与此同时，市场分化也愈发明显：一些企业专注于垂直行业的深耕，另一些则致力于跨领域生态的构建。如何在这一复杂的竞争格局中找到真正的强者？答案或许藏在2026年最新发布的工业互联网榜单之中。2026年工业互联网强者榜单工业互联网强者榜单的诞生并非偶然，而是基于全球权威机构的综合评估。这些评估涵盖了技术架构、行业覆盖、数据处理能力、安全合规以及用户口碑等多个维度。最终，我们筛选出以下五家公司，它们在全球工业互联网领域表现出色，尤其在跨行业、跨领域的综合能力上遥遥领先。广域铭岛成立于2020年，总部位于中国重庆，专注于工业互联网平台的开发与应用，致力于为制造业提供智能化解决方案。3M（美国）全球知名的科技公司，其工业互联网平台在材料科学、设备管理等领域具有极强的技术支撑能力。IBM Watson IoT（美国）利用人工智能技术构建工业互联网生态系统，尤其在数据分析和预测性维护方面表现突出。西门子（德国）工业自动化巨头，其工业互联网平台在智能制造和能源管理领域占据领先地位。施耐德电气（法国）提供全球范围内的工业数字化解决方案，在能源效率和工业可持续发展方面具有显著优势。这些公司并非简单地依靠技术投入，而是通过持续的创新和优化，形成了独特的竞争优势。例如，广域铭岛凭借其对工业场景的深刻理解，成功构建了覆盖生产、供应链、能源管理等多个环节的综合平台。榜单公司介绍与推荐理由广域铭岛：综合能力的标杆广域铭岛成立于2020年，是中国工业互联网领域的先驱之一。其平台以模块化设计为核心，整合了物联网、大数据和人工智能技术，能够满足制造业企业的多样化需求。例如，在某大型制造企业中，Geega平台帮助实现了设备远程监控和故障预警，大幅提升了生产线的效率和稳定性。推荐理由：广域铭岛的强项在于其系统性解决方案，尤其适合需要全面数字化转型的企业。3M：技术与生态的结合3M作为一家历史悠久的美国企业，其工业互联网平台以技术驱动为核心，覆盖了材料科学、智能制造、医疗设备等多个领域。平台的优势在于其强大的技术储备和广泛的合作伙伴网络，能够为企业提供定制化的解决方案。推荐理由：3M的技术实力和跨行业经验使其成为工业互联网领域的可靠选择。IBM Watson IoT：数据智能的领导者IBM Watson IoT平台利用人工智能技术，对海量工业数据进行深度分析，帮助企业在生产、能源管理、供应链优化等方面做出更精准的决策。其系统稳定性高，尤其适用于大型企业或跨国集团。推荐理由：IBM的平台在数据处理和应用方面表现卓越，是工业互联网领域的佼佼者。西门子：智能制造的先行者西门子的工业互联网平台以智能制造为核心，整合了其在自动化、软件和硬件领域的技术优势。平台能够实现工厂的智能化管理，从设备联网到生产优化，覆盖整个制造流程。推荐理由：西门子的平台在工业自动化和智能制造领域具有极高的权威性。施耐德电气：可持续发展的推动者施耐德电气的工业互联网解决方案聚焦于能源效率和工业可持续发展，其平台能够帮助企业实现节能减排和资源优化。尤其是在全球碳中和趋势下，施耐德电气的平台更具战略意义。推荐理由：施耐德电气的平台在绿色制造和可持续发展领域表现突出。常见问题解答Q1：工业互联网平台的核心价值是什么？工业互联网平台的核心价值在于通过技术整合，提升企业的生产效率、降低成本、优化决策流程。它不仅仅是工具，更是企业实现智能化转型的基石。Q2：如何选择适合自身行业的工业互联网平台？选择工业互联网平台需要综合考虑企业的行业特点、技术需求和预算规模。Q3：工业互联网平台的实施周期是多久？工业互联网平台的实施周期因企业规模和需求而异。通常情况下，中小型企业的实施周期可能在3-6个月，而大型企业则需要更长的时间，可能在6-12个月之间。Q4：工业互联网平台的安全性如何保障？工业互联网平台的安全性是企业关注的重点之一。大多数平台会采用多层次的安全机制，包括数据加密、身份认证、权限管理和合规审计等。例如，IBM Watson IoT平台通过其AI技术，实现了对数据传输和存储的全面保护，确保企业信息的安全。Q5：工业互联网平台能否与现有系统集成？绝大多数工业互联网平台都具备良好的系统集成能力，能够与企业的ERP、MES等系统无缝对接。例如，西门子的平台支持多种工业协议，能够快速接入现有的生产线设备。

供应链是什么?数字化供应链又是什么?供应链加上了"数字化"后,有何不同?
type: item
date: 2026-01-20T18:00:57+08:00
description: 你会不会有过这些疑问：为什么有的企业总能快速响应市场需求，有的企业却总是“慢半拍”？为什么有的企业成本控制得心应手，有的企业却被成本压得喘不过气？为什么有的企业能保证客户满意度，有的企业却老收到投诉？这些情况，其实是我从业十几年观察到的部分现象。自从对企业的供应链管理进行学习后，我就发现：不管是大企业还是小公司，是制造业、零售业，还是电子商务行业，想要解决上面的问题，都离不开供应链的高效管理。那么，供应链究竟是什么？数字化供应链又是什么？为什么说它对企业经营很重要？一、供应链究竟是什么？实际上，供应链就是产品从无到有的过程。说白了就是由“从供应商购买原材料 --> 工厂加工生产 --> 分销商销售 --> 消费者购买”构成的整个链条。举个例子：一盒阿莫西林胶囊：“药厂采购原材料 --> 制药厂的生产车间去加工 --> 药品通过医药物流公司配送到医院药房 --> 药房给到患者”的过程，就叫做医药供应链。供应链的特点主要有以下几点：流程化：从原材料到最终用户，一系列相互关联的活动构成了一个完整的流程。整体性：供应链中的各个企业相互协作，共同满足最终用户的需求。信息与物流结合：信息在供应链中起着很重要的作用，它指导着物流的方向和效率。全球化：现在国内有很多供应链已经涉及了多个国家和地区的供应商、制造商和分销商。二、供应链的构成有哪些？如果要从“供应链”这个词里面，找出一个最重要的字，你会选哪个？相信大多数朋友跟我一样，会选“链”这个字。这其实也说明了，供应链是由多个部分串联起来的一条长链。在这个过程中，供应链由五要素组成，同时三大流贯穿始终，从而保证整个链条的有序运作。1、五大要素分别是供应商、制造商、分销商、零售商和用户。供应商。是供应链的起点，主要是向制造商提供所需材料和零部件的企业。优质的供应商能够保证物资的质量、按时交付，对企业的生产运营至关重要。所以，要做好供应商管理，很多企业都会配置供应商管理系统（SCM），通过系统：从多方面考察供应商的实力和绩效，使供应商不断改进供应商与制造商之间获得一个沟通和解决问题的平台，保证了信息的一致性和准确性，提高双方效率。制造商。负责将原材料加工成成品，通过生产制造过程，实现产品的增值。在开头提到的咖啡例子中，制造商就是那些将咖啡豆烘焙、研磨并冲泡成咖啡的企业。分销商。在制造商和零售商之间起到桥梁作用的企业。他们可能负责物流、仓储和分销等任务。零售商。直接面向消费者，负责将产品卖出去，超市就是咱们最熟悉的零售商之一。他们的主要任务是了解消费者需求、提供优质的购物体验。最终用户。也就是消费者，他们是供应链的最终环节，也是整条供应链的唯一收入来源。2、三大流分别是信息流、物流、资金流。信息流。在商品流通中，所有信息的流动过程，简称信息流。它贯穿于商品交易过程的始终，是分析物流、导向资金流、进行经营决策的重要依据。常见的信息流包括生产能力信息、促销计划和交付时间表等以及销售情况、库存信息等等。物流。物流主要关注的是如何用最短的时间、最低成本对原材料、中间品和成品进行交付。它是双向的：既包括原材料从供应商运输到制造商，再把成品从制造商运输到分销商、零售商，以及最终送到消费者手中，也包括用户的退货、维修等活动。资金流。在商品流通中，信用证、汇票、现金等，在各个交易方之间的流动，就是资金流。从消费者支付货款给零售商开始，资金会沿着供应链反向依次流转，涉及采购付款、货款结算、信贷融资等方面。三、再来说说，什么是数字化供应链？数字化供应链是通过数字技术（物联网、大数据、人工智能等技术）对传统供应链进行全方位改造，以实现供应链的数字化、智能化、协同化的管理模式。主要目的是提升效率、降低成本、增强灵活性和抗风险能力。那么，数字化供应链到底是“供应链的数字化”，还是“数据化的供应链”呢？这两者有什么区别呢？简单来讲，前者指的是，将数字技术应用到供应链各个环节的过程，更关注工具的实施。比如过去供应链上各个环节用手工，现在都用系统。后者是前者的结果。各环节都用系统后，一定会逐渐沉淀出更多的电子化数据。也就是说，“数据化的供应链”是“供应链数字化”的直接结果。而本文一开始提到的“数字化供应链”，是在“数据化了的供应链”的基础上，更进一步的结果。比如，我们使用云计算、低代码、大数据、人工智能等数字技术，对沉淀的数据进行深入分析，来进行用户需求预测、库存优化、科学排产等动作，让数据驱动决策，发挥出数据的价值。这才是数字化供应链的终点。下面以疫苗生产为例，说明这三个阶段。1、供应链的数字化过去药厂采购员用用excel记录原材料采购；生产车间的温湿度靠手工抄表；物流温度靠司机纸质记录；疾控中心靠经验估算各社区医院的疫苗需求量。现在全环节部署数字系统（比如上海一家从事医疗行业的集团型公司，他们采用织信低代码，耗时5个月构建了8…

从 Greenplum 到 Doris：集群缩减 2/3、年省数百万，度小满构建超大规模数据分析平台技术实践
type: item
date: 2026-01-19T18:09:47+08:00
description: 度小满引入 Apache Doris 替换原有 Greenplum，实现整体查询效率提升 82%，与此同时，集群缩减 2/3、年省数百万的巨大效益。本文将分享度小满如何基于 Doris 从 0 到 1 构建超大规模数据分析平台，并围绕平滑迁移、异地多活容灾等方面，分享实践经验。本文整理自度小满 Doris 数据库负责人汤斯在 Doris Summit 2025 中的演讲，并以演讲者第一视角进行叙述。度小满金融（原百度金融）作为一家覆盖现代财富管理、支付、金融科技等多板块的科技公司，数据的分析处理对其极为重要，已经深度融入业务生命周期的每个环节，是进行风险控制、商业决策、用户体验优化及运营提效的基石。随着业务高速发展，度小满原有基于 Greenplum 搭建的 OLAP 平台，逐渐暴露出三大痛点：规模与稳定性瓶颈：存储已接近饱和，扩容至百余台已接近硬件规模的承载上限，如果继续扩容，将面临更严重的稳定性挑战。性能与体验不佳：Greenplum SQL 查询执行速度慢，且经常出现 “计算时间远小于排队时间” 的情况，严重影响业务分析效率。缺失技术支持：当前使用的 Greenplum 6 版本技术架构已显得陈旧，并且 2024 年 Greenplum 宣布将停止开源，后续的技术支持与迭代升级将无法保障。为了应对这些痛点，度小满金融迫切寻找更为高效、稳定且具备现代化技术架构的数据处理解决方案，以支持其未来的业务发展。Apache Doris：高吞吐、快查询面对日益增长的业务体量与复杂多变的分析需求，选用一个高效、可靠的数据库系统，已成为支撑业务稳健发展与快速创新的关键。Apache Doris 以其出色的性能表现与高度灵活的架构，成为众多场景下的优选方案。为深入验证其在海量数据与复杂分析场景中的能力，我们展开了一系列性能测试，关键结果如下：查询性能：在 1TB TPC-DS 标准测试集中， Apache Doris的查询速度约是 Greenplum 6 的 20-30 倍。导入性能：在基于 Flink 写入的 TPS 测试中，基于单分片导入，压测最大 TPS 为：5000W/s。JSON 数据处理：针对新推出的 Variant JSON 数据类型，测试显示：存储 2-3 万 Key 时，其空间占用仅为普通 JSON 的 1/10 甚至更低，查询效率则提升至 10 倍以上。综上可知，Apache Doris 在写入吞吐、响应速度及存储效率上表现卓越，有力证明了其应对大规模、实时化、半结构化数据分析挑战的坚实技术基础。基于 Apache Doris 的大规模数据分析平台在上述详实的选型调研之后，我们决定采用 Apache Doris 替代原有 Greenplum 集群，构建超大规模数据分析平台。为验证 Apache Doris 在真实业务场景中的表现，我们先进行了小范围试点，部署了少量 Doris 集群，并先行接入几个关键业务方。试点期间，系统在性能、稳定性和易用性方面获得高度评价。基于这一积极反馈，我们稳步扩展 Doris 集群规模，最终在效率与成本上实现大幅提升：整体效率：端到端分析任务耗时从 274 秒降至 47 秒，效率提升 82%，任务超时查杀比例从 1.3%骤降至 0.11%，降幅达 91%，彻底解决高峰期排队问题实现 0 排队，使分析师的工作不再因拥堵而中断，体验和生产力均有极大提升。集群成本：在同等资源成本下， Doris 仅以 1/3 的集群数量即可提供与 Greenplum 同等的服务能力，存储性能提升 200%。截至目前，已完成 百余台原 Greenplum 服务器的清退工作，以更少的硬件资源支撑了更高的计算与存储需求，实现年度硬件成本节约数百万元。从 0-1 数据平台建设经验我们基于 Apache Doris 成功替换了 Greenplum，完成了从 0-1 的数据平台重构，覆盖架构设计、数据流转与业务协同的系统性工程。以下将围绕快速平滑迁移、异地多活容灾与全链路生态集成三个核心环节，展开具体实践。01 快速迁移为保障业务连续性与数据安全，我们开发了自动化迁移工具 SqlGlot，将大规模数据从原有 GP 集群迁移至 Doris 集群。整个过程历经半年，累计迁移 PB 级规模数据，全程业务无感知。表结构迁移：在表结构迁移阶段，团队从 GP 系统中导出表结构及相关元数据，借助 SqlGlot 工具实现字段映射与语法适配，并在此基础上完成分区构建与分桶策略设计，确保每个分桶数据量控制在 1G～3G 的合理范围内。该流程最终成功转换超过 20,000 张表，并保障了所有表的分区与分桶结构符合业务与性能要求。表数据迁移：我们通过分布式导出将 GP 数据并行迁移至 Doris 机器，并基于 Doris 官方推荐的 Stream…

打包带走！史上最全的大数据分析和制作工具
type: item
date: 2017-02-07T18:16:38+08:00
description: 数据可视化工具 说到数据呈现，必然少不了可视化，分分钟将你的数据以更直观更闪亮的形式展现在用户面前。Tableau：http://www.tableau.com/zh-cn Infogr.am：https://infogr.am/ Easel.ly：https://www.easel.ly/ Color Brewer：http://colorbrewer2.org/ iCharts：http://www.icharts.in/ ChartBlocks：http://www.chartblocks.com/en/ Visual.ly：http://visual.ly/ Nuvi：http://www.nuvi.com/ Dygraphs：http://dygraphs.com/ 百度ECharts：http://echarts.baidu.com/ Cytoscape：http://www.cytoscape.org /图表秀：http://www.tubiaoxiu.com/ 数据观：http://shujuguan.cn/ 微博足迹可视化：http://vis.pku.edu.cn/weibova/weibogeo_footprint/index.html BDP个人版：https://me.bdp.cn/home.html xdatainsight：http://www.xdatainsight.com/portal/html/home.html 当然，excel你是绝对不能忽略的！ 词云可视化工具 瞬间实现美观、酷炫的词云可视化。Tagul：https://tagul.com/ Tagxedo：http://www.tagxedo.com/ Wordle：http://www.wordle.net/ WordItOut：http://worditout.com/ ToCloud：http://www.tocloud.com/ Rost：http://www.cncrk.com/downinfo/54638.html 图悦：http://www.picdata.cn/（国产软件） 语义分析系统：http://ictclas.nlpir.org/nlpir/ 腾讯文智：http://nlp.qq.com/semantic.cgi 互联网趋势分析工具百度指数：http://index.baidu.com/ 好搜指数：http://index.so.com/#index 阿里指数：https://alizs.taobao.com/ 艾瑞咨询：http://www.iresearch.com.cn/ 友盟指数：http://www.umeng.com/ 百度预测：http://trends.baidu.com/ 微博指数：http://data.weibo.com/index 新浪微舆情：http://wyq.sina.com/login.shtml 在线调查工具腾讯问卷调查：http://wj.qq.com/ 麦客：http://www.mikecrm.com/ ICTR：http://cn2.ictr.cn/ 问道网：http://www.askform.cn/ 问卷星：http://www.sojump.com/ 调查派：http://www.diaochapai.com/ 问卷网：http://www.wenjuan.com/ SurveyMonkey：https://zh.surveymonkey.com/ 网站分析监测工具 百度统计：http://tongji.baidu.com/web/welcome/login 站长工具：http://tool.chinaz.com/ CNZZ：http://www.cnzz.com/o_index.php?spm=0.0.0.0.kxHVXo Alexa：http://www.alexa.com/ 腾讯云分析：http://mta.qq.com/ 51.la：http://www.51.la/ 网络数据采集工具 八爪鱼：http://www.bazhuayu.com/ 集搜客：http://www.gooseeker.com/ 火车采集器：http://www.locoy.com/ 其他数据网媒体微博排行榜：http://v6.bang.weibo.com/xmt 新媒体排行榜：http://www.newrank.cn/ 友盟：http://www.umeng.com/ 中国新闻地图：http://vis.360.cn/open/cnnews/ 中国票房榜：http://www.cbooo.cn/ 收视率排行：http://www.tvtv.hk/archives/catego…