xiaohack's Blog - 数据采集
type: channel
link: https://blog.xiaohack.org/tag/%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86/
items: 什么是 Headless Browser？B2Proxy解析无头浏览器的原理、应用场景与真实价值
items: 数据标准化开发全链路（采集->解析->清洗->标准化）技术架构解析
items: 3 节点集群支撑千万级数据流，时序数据库 TDengine 助力极企科技稳跑智慧办公场景
items: TDengine IDMP 让制糖生成真正做到“看得清、管得住、跑得稳”
items: 观测云接入 Zabbix 数据最佳实践
items: 【技术分享】xhs_one_spider: 用python开发一站式小红书数据聚合采集软件
items: SiteBackup - 网页备份工具
items: PureblueAI：知道 Linux Do 藏龙卧虎，我司诚招【中高级数据采集工程师（Web+Android）】
items: 无限薅 ProxyScrape IP 池（7 天试用）

什么是 Headless Browser？B2Proxy解析无头浏览器的原理、应用场景与真实价值
type: item
date: 2026-02-10T14:46:52+08:00
description: 随着自动化技术、数据采集和智能测试的普及，“Headless Browser（无头浏览器）”已经从一个偏工程师内部使用的工具，逐渐演变为数据工程、爬虫系统、自动化测试乃至 AI 应用中的核心组件。很多人听说过这个概念，却并不真正理解它的工作原理、真实能力以及在复杂网络环境中的价值。本文将系统性地解析什么是 Headless Browser，它与传统浏览器的本质区别，以及它在现代互联网应用中的实际意义。Headless Browser 的基本定义Headless Browser，直译为“无头浏览器”，这里的“头”指的是图形用户界面。也就是说，它本质上是一个没有可视化界面的浏览器内核，能够像普通浏览器一样解析 HTML、执行 JavaScript、加载 CSS、发起网络请求、处理 Cookie 和本地存储，但所有过程都在后台完成，不向用户展示页面。从功能角度看，Headless Browser 并不是“阉割版浏览器”，恰恰相反，它在网页渲染和脚本执行层面，与完整浏览器几乎一致，只是去掉了 UI 渲染这一步。正因为这一特性，它非常适合被程序控制，用于自动化任务。无头浏览器是如何工作的理解 Headless Browser 的关键，在于理解现代网页的加载逻辑。当你用普通浏览器访问一个网站时，背后会经历一整套流程：浏览器发起请求、接收 HTML、解析 DOM、加载 CSS、执行 JavaScript、请求接口数据、动态更新页面内容。Headless Browser 运行的正是这套完整流程，只是整个过程由代码驱动，而不是由用户点击和操作触发。开发者可以通过脚本控制它打开页面、等待资源加载、模拟滚动、填写表单、点击按钮，甚至执行复杂的交互逻辑。从服务器的角度看，它看到的并不是一个“工具”，而是一个行为极其接近真实用户的浏览器环境。Headless Browser 与普通爬虫的根本区别很多初学者会把 Headless Browser 与传统 HTTP 爬虫混为一谈，但两者在能力层级上有明显差异。传统爬虫更多依赖直接请求接口或页面源代码，适合结构简单、反爬较弱的网站。但面对大量使用前端框架、动态渲染、接口签名和行为校验的网站时，传统爬虫往往寸步难行。Headless Browser 的优势在于，它可以完整执行前端逻辑，获取最终渲染后的真实页面状态。这意味着即使网站内容完全由 JavaScript 动态生成，也依然可以被正确获取。在很多复杂网站场景中，无头浏览器已经成为“唯一可行方案”。为什么 Headless Browser 会被重点风控正因为 Headless Browser 具备强大的模拟能力，它也成为各大平台重点识别和限制的对象。近年来，网站风控系统不再只看 IP 和请求频率，而是更加关注浏览器指纹、行为轨迹和执行环境。一些常见的 Headless Browser 在默认配置下，会暴露出明显的自动化特征，例如特定的 JavaScript 属性、异常的渲染行为或不符合真实用户的操作节奏。这也是很多人会遇到“明明用了无头浏览器，却还是被封”的根本原因。Headless Browser 本身不是问题，问题在于环境是否足够真实、行为是否足够自然、网络身份是否可信。无头浏览器与网络环境的关系很多人忽略了一个关键问题：Headless Browser 再强，也只是“浏览器”，它依然运行在某个网络环境之中。如果网络出口本身存在异常，例如 IP 来源不可信、ASN 被标记、地址被滥用过，那么即使浏览器层面完全模拟真实用户，依然可能在请求阶段就被拦截。这也是为什么在高风控场景下，无头浏览器往往需要配合更稳定、更接近真实用户的网络环境使用。真实住宅网络、干净的出口地址，往往比复杂的浏览器参数伪装更重要。Headless Browser 是否等同于“自动化作弊”这是一个经常被误解的问题。Headless Browser 本身是一种技术工具，它既可以用于合规的自动化测试、数据分析和效率提升，也可能被滥用于违规操作。关键并不在于工具本身，而在于使用方式是否符合平台规则和法律边界。在合规使用前提下，无头浏览器反而是很多正规企业和开发团队不可或缺的基础设施。未来趋势：Headless Browser 正在变得“更像人”随着反自动化技术的不断升级，Headless Browser 也在持续进化。从早期简单执行脚本，到如今强调完整指纹一致性、行为轨迹自然化和环境真实性，无头浏览器正在向“高度拟真浏览环境”发展。未来，它不再只是一个技术工具，而是整个网络身份系统中的一个重要组成部分。结语Headless Browser 并不是一个神秘或危险的概念，它只是现代 Web 技术发展下的必然产物。理解它的原理、边界和真实价值，远比盲目使用或一味回避更重要。当你真正把它看作一个“没有…

数据标准化开发全链路（采集->解析->清洗->标准化）技术架构解析
type: item
date: 2026-01-29T16:59:30+08:00
description: 在数字经济成为必选题的今天，许多企业都面临一个共同的困境：数据量爆炸式增长，但数据价值却始终“雾里看花”。我们坐拥海量数据，为何在决策时仍感“无据可依”？数据采集问题的核心往往不在于数据本身，而在于数据从“原材料”到“价值资产”的转化过程缺乏科学、规范的治理。今天，我们就以五度易链的实践为例，深入拆解一下数据治理中最为关键的标准化开发流程。这套覆盖“采集-解析-清洗-标准化”的全链路体系，正是确保每一份数据都能被科学处理，最终转化为驱动业务增长的可靠引擎。数据采集：全面覆盖，筑牢数据基础数据采集数据采集是数据开发的起点，直接决定后续数据处理的广度与深度。五度易链运用专业的数据采集工具与成熟技术，能够根据不同行业和场景的具体需求，进行精准、全面的数据抓取。采集范围覆盖线上平台数据、线下业务系统数据、第三方合作数据等各类数据源，确保数据的完整性与全面性。同时，建立合规的数据采集机制，对数据来源的合法性、数据采集过程的安全性进行全程管控，在保障数据全面性的同时，坚守数据安全与合规底线，为后续数据处理工作奠定坚实基础。数据解析：深度挖掘，揭示数据价值采集到的原始数据多为非结构化形式，难以直接应用。五度易链采用先进的数据解析技术与算法模型，对海量原始数据进行深度挖掘与智能解析。通过技术手段，从杂乱无章的非结构化数据中提取关键信息，揭示数据背后隐藏的内在关联与发展规律。数据清洗：多维度质控，提升数据质量数据质量是数据价值实现的核心前提，五度易链建立严格的多维度质量控制流程，对采集到的原始数据进行深度排查与净化处理。清洗过程围绕数据准确性、完整性、一致性、唯一性、时效性等多个核心质量指标，通过自动化检测与人工复核相结合的方式，全面排查数据中的无效信息、错误记录、重复数据以及与业务无关的冗余数据。例如，针对数据录入错误导致的格式不一致、数值异常等问题，通过智能算法进行自动修正；对于重复采集的数据，建立去重规则进行精准剔除。通过多维度的清洗处理，有效提升数据集的质量与精准度，确保后续数据分析结果的可靠性与有效性。数据标准化：统一规范，实现数据兼容不同来源、不同类型的数据在格式、口径、计量单位等方面存在差异，直接影响数据的整合应用。五度易链遵循国内外相关行业标准及规范，结合企业业务需求，对完成清洗后的有效数据进行统一格式转换和标准化处理。通过建立统一的数据编码规则、字段定义标准、计量单位规范等，消除不同数据源之间的“语言壁垒”，让原本分散、异构的数据能够实现整合兼容。标准化处理后的数据，不仅便于后续进行高效的数据分析、挖掘与应用，更能支持跨部门、跨业务的数据共享与协同，为企业构建统一的数据应用平台提供关键支撑，最终实现客户定制化数据开发的核心目标。数据治理应用高质量的数据治理已成为企业核心竞争力的重要组成部分。五度易链大数据治理解决方案标准化的“采集-解析-清洗-标准化”数据开发流程，为企业提供全方位、高品质的数据治理服务。当我们将视线从单一的技术环节拉升至整个数据价值链时，会发现数据治理远不止是IT项目，而是一项关乎企业核心竞争力的战略工程。无论是金融行业的风控升级、政务领域的数据共享，还是制造行业的智能制造、生物医药行业的研发创新，五度易链都能精准匹配需求，助力企业破解数据治理痛点，激活数据核心价值。你是否也在工作中遇到过数据质量或数据整合的挑战？欢迎在评论区分享你的故事，我们一起探讨。

3 节点集群支撑千万级数据流，时序数据库 TDengine 助力极企科技稳跑智慧办公场景
type: item
date: 2026-01-23T17:50:10+08:00
description: 小T导读：作为国内领先的智能办公整体方案提供商，成都极企科技有限公司已为全球上万家企业提供智能化建设方案，覆盖办公楼宇与园区面积已超百万平米。为应对日益增长的物联网数据接入需求，极企科技引入 TDengine TSDB 时序数据库，实现海量设备数据的实时采集、高效存储与智能分析，显著提升了设备监控系统的响应速度与数据处理能力。本文将分享这一智慧楼宇解决方案基于 TDengine的应用经验与实践成果。背景和痛点我们的智慧楼宇解决方案主要面向集团总部、新建办公大楼、政府园区等行业头部客户。这类客户普遍具备完善的 IT 基础与多年的办公系统建设经验，正处于从传统办公向智能化、数字化升级的关键阶段。在这一过程中，他们对智能化办公、物联网和数字化管理有较高的认知与明确的建设需求，期望通过新一代技术手段实现办公环境的智能协同与运营效率的全面提升。在某大厦智能化项目中，共有 30 层楼宇，部署近万台传感器设备，涵盖人体感应、空气质量、厕位、烟雾、电量、水浸等多种类型。所有传感器均以秒级频率上报数据，日均数据量高达数千万条，对系统的数据采集与处理能力提出了极高要求。该项目面临设备数据高频采集、多维度实时分析（设备状态、能耗、故障预测）以及历史数据长期存储三大挑战。传统关系型数据库在此类场景中存在明显不足，如写入性能瓶颈、查询延迟高、存储成本激增等问题。以 MySQL 和 PostgreSQL 为例，在存储设备时序数据时，由于缺乏原生的时间分区支持，当单表数据量超过千万级后，查询性能会出现断崖式下降，需人工分表分库，运维复杂度激增。同时，未压缩的原始数据占用空间庞大，存储成本高昂。为什么选择 TDengine TSDB在智慧楼宇项目的建设过程中，数据接入规模大、处理链路复杂、系统稳定性要求高，对底层数据库的性能与可靠性提出了极高要求。经过多方技术选型与验证，我们最终选择了 TDengine TSDB 作为核心时序数据库，主要基于以下考虑：高效数据接入能力：支持 MQTT 数据写入方式，可通过低代码方式快速接入业务平台，实现高并发数据写入，确保近万台传感器上报数据的完整与可靠。强大的流式计算能力：具备实时数据聚合与分析能力，能够对上报的时序元数据进行整合并高效供给业务平台，同时通过多副本机制保障数据高效写入与可靠备份。完善的技术支持体系：提供一对一、7×24 小时技术支持服务，确保项目在开发、部署及运维阶段的稳定运行。国产化与生态兼容性：作为 100% 自主可控的时序数据库，TDengine TSDB 符合信创标准，并已与华为云、麒麟软件等生态厂商完成深度集成，满足极企科技在国产化替代中的技术选型需求。领先的综合性能与可拓展性：在同类型数据库中，TDengine TSDB 在数据压缩率、写入速度、分析效率及分布式架构等方面表现突出，后续版本还将持续增强易用性与 AI 能力，支持更多的功能和场景，助力企业进一步提升应用效果。TDengine TSDB 落地实践架构描述系统采用 Node-Red 作为数据流控制与可视化管理核心，实现全链路的数据采集、处理与展示。整体架构如下：各类传感器采集的数据首先由 Node-Red 进行预处理后写入 EMQ 消息中间件；TDengine TSDB 通过 taosX 模块从 EMQ 中高效读取并存储数据，实现时序数据的集中管理；EMQ 再通过 Restful / WebSocket 接口从 TDengine TSDB 获取所需数据，为上层业务应用与可视化系统提供实时访问能力。智能应用场景示例当指定区域内连续 5 分钟无人时，系统自动关闭照明；当某项监测指标超过设定阈值时，自动触发告警并记录相关信息；当检测到某区域无人时，系统自动关闭空调以节约能源。项目初期采用 3 节点集群架构，数据库配置为 3 副本模式，以实现系统高可用与数据冗余，具体配置如下：系统上线后该集群运行稳定，能够高效处理全部传感器采集数据，全面满足项目预定的各项指标。在确认技术架构稳定可靠后，我们将订阅模式变更为永久模式，将长期使用以 TDengine TSDB 为核心的技术架构。数据库建模超级表定义CREATE STABLE IF NOT EXISTS airsensor ( ts timestamp, 时间 pm25 int, PM2.5 pm10 int, PM1.0 tvoc int, TVOC co2 int, 二氧化碳 formaldehyde float, 甲醛 noise float, 噪音 temperature float, 温度 humidity float, 湿度 light int, 光照 h2s int, 硫化氢 ch4 int, 甲烷 co int, 一氧化碳 no2 float, 二氧化氮 h2 int, 氢气 odo…

TDengine IDMP 让制糖生成真正做到“看得清、管得住、跑得稳”
type: item
date: 2026-01-22T12:19:30+08:00
description: 2025 年 12 月，涛思数据与北京海莱德自动化工程有限公司（简称“海莱德”）正式建立合作伙伴关系。此次合作，海莱德将基于自身行业自动化系统集成能力，结合涛思数据提供的 TDengine TSDB + IDMP 产品组合，共同为制糖等行业客户打造从数据采集、治理到智能分析应用的完整解决方案，助力制糖工业企业实现生产运营的数字化与智能化转型。行业背景｜制糖生产正在面对的新挑战制糖行业的生产实践表明，甘蔗制糖是一项高度连续、强耦合、对运行稳定性要求极高的工业过程。原料受品种、成熟度、含糖量和纤维含量等因素影响，天然波动较大；加之榨季集中、生产节奏紧凑，一旦发生非计划停车或关键参数失控，带来的不仅是产量损失，更可能造成难以弥补的经济影响和社会影响（涉及甘蔗和甜菜的农业生产）。在此背景下，行业内绝大多数糖厂长期依赖以人工经验为主的工艺调整方式，以及以工段为单位、相互割裂的数据管理模式，这些传统做法逐渐显现出其局限性。经验固然重要，但难以在不同班组、不同人员之间稳定传承与高效复制；生产数据虽然持续产生，却因分散在不同系统与记录中而难以整合分析，从而无法有效支撑对稳产、提质、降本目标的持续精细化管控。这已成为行业的一个普遍共识：仅依靠传统方式，已难以应对当前生产运行对稳定性与过程可控性日益提升的要求。面临挑战｜从“看不清”到“管不住”在实际运行中，以下这些挑战并非个案，而是制糖行业中普遍存在的共性问题。首先，生产过程链条长、环节多，从预处理、压榨、澄清、蒸发、煮糖到分蜜、干燥包装，各工段数据往往分散在不同的系统与记录中，缺乏统一视角，导致难以形成真正贯穿全流程的生产监控与分析能力。其次，在工艺质量管控方面，参数调整长期依赖人工经验判断。许多异常往往在最终质量指标已发生偏差后才得以察觉，缺乏对工艺质量的过程性分析与持续监控手段，难以实现事前预警与主动干预。最后，在物料与糖分损耗管理上，行业长期缺乏有效的工具进行清晰、有效的分析和管理。糖分损耗分散于滤泥、废蜜、洗水、跑糖等多个环节，大多依靠经验估算，无法形成系统、可对比的“糖损画像”，这在很大程度上制约了对产糖效率与整体经营指标的持续优化。正是这些普遍存在的“看不清、管不住”的痛点，促使制糖行业开始重新思考生产管理方式，并推动如 TDengine IDMP 这样的生产数据与工艺管理平台，逐渐成为企业进行数字化转型、实现精细化运营的重要选择。解决方案｜从“数据分散”到“AI Ready”，让制糖跑在数据之上在榨季现场，行业内常有一种共识：“数据其实都有，就是用不起来。”原料特性每日波动，工艺流程长且复杂，相关数据往往分散在局部的 DCS、各类设备的独立系统及手工台账中。操作人员依赖经验盯守，生产系统中前后无高效的数据流通，一旦生产节奏加快，潜在的风险与异常便容易被淹没在庞杂的信息流中。因此，选择引入 TDengine IDMP 平台，其初衷并非简单“再上一套系统”，而是旨在将沉睡的数据转化为直接支撑生产决策与运营优化的能力。围绕制糖行业原料波动大、流程链路长、设备可靠性要求高等特点，该平台以 TDengine TSBS + TDengine IDMP 为核心，从数据采集与接入起步，逐步打通数据治理、业务情景化建模与 AI 分析应用，致力于构建一套真正面向生产、服务于工艺优化与稳定运行的工业数据管理体系。数据采集｜先把“碎数据”连成一条线在项目启动之初，制糖企业现场所面临的情况在行业中并不陌生：数据体量并不少，但分布零散。工厂局部的 DCS、各类设备的独立系统仅仅服务于局部的监控层面。而在数据分析、集中管理与智能应用层面，则长期缺乏统一、高效的数据出口。针对这一现状，项目规划在不影响现有控制系统稳定运行的前提下，于集控层之上构建独立的数据采集与汇聚通道。计划在每个工厂部署一套 TDengine TSDB，利用其自带的零代码采集工具 taosX，通过 OPC 标准接口从 DCS Server 读取实时工艺数据，以实现关键生产数据的稳定采集与接入。同时，在企业级数据中心部署统一的 TDengine TSDB，对各工厂的时序数据进行集中汇聚与统一管理，为后续的数据整合分析与跨厂协同打下基础。这种架构既充分保留了 DCS 与 SCADA 的成熟运行体系，又在其之上形成统一、可扩展的数据采集与汇聚层，为后续的数据治理、业务情景化和 AI 应用奠定了可靠基础。数据分析｜从“看历史”到“提前知道”在数据分析层，平台基于 TDengine TSDB 的高性能时序数据管理能力，实现实时与历史数据的统一处理，并能够结合时序基础模型的时序数据预测与异常检测能力，对生产过程和设备运行状态进行持续分析。通过对关键工艺参数和运行指标的时序建模，时序基础模型能够识别正常运行模式，预测指标变化趋势，并对偏离正常区间的异常波动…

观测云接入 Zabbix 数据最佳实践
type: item
date: 2026-01-21T18:27:40+08:00
description: Zabbix 介绍Zabbix 是一个开源的企业级监控解决方案，它可以监控各种网络参数，服务器健康状态，应用程序性能等，并提供灵活的告警机制和丰富的报表功能。1、Zabbix Server核心组件，负责接收和处理所有监控数据，生成报警和报表。需要一个数据库来存储所有配置和监控数据。2、Zabbix Agent部署在被监控的设备上，负责收集本地资源和应用数据，并发送给 Zabbix Server。支持多种操作系统，包括 Linux、Windows 和 Unix。其中 Agent 分为 Zabbix Agent 和 Zabbix Agent 2，后者是增强版 Agent，支持插件，适合大规模监控。3、Zabbix Proxy用于分担 Zabbix Server 的负载，尤其适用于大规模分布式监控。可以在远程网络中收集数据并转发给 Zabbix Server。4、Zabbix Web Interface基于 PHP 的 Web 界面，用于配置、管理和查看监控数据。提供用户管理、权限控制、仪表盘和报表等功能。5、数据库存储所有的配置、监控数据、历史记录等。支持多种数据库，如 MySQL、PostgreSQL、Oracle、SQLite。观测云观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。部署 DataKitDataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。（注意，请安装完整版 DataKit，Lite 版本 DataKit 没有 Zabbix 相关采集器。）登录观测云控制台，在「集成」 - 「DataKit」选择对应安装方式。这里使用主机方式安装。复制一键安装命令，登陆到目标服务器执行该命令即可实现一键安装。执行 datakit monitor 命令查看 DataKit 运行状态。指标数据采集Zabbix API 方式（zabbix >= 5.0)DataKit 方式1、配置 pythond 配置文件进入 DataKit 的配置文件目录 conf.d，进入 pythond 目录，复制 pythond.conf.sample 为 pythond.conf, 修改如下配置：inputs.pythond # Python input name name = 'zabbix_collect' # required # System environments to run Python #envs = ['LD_LIBRARY_PATH=/path/to/lib:$LD_LIBRARY_PATH',] envs = ['ZABBIX_HOST=http://127.0.0.1/zabbix', 'ZABBIX_USER=Admin', 'ZABBIX_PASSWD=zabbix', 'ZABBIX_VERSION=7.0', 'COLLECT_TYPE=api'] # Python path(recomment abstract Python path) cmd = "python3" # required. python3 is recommended. # Python scripts relative path dirs = ["zabbix"]其中 ZABBIX_HOST，ZABBIX_USER，ZABBIX_PASSWD，ZABBIX_VERSION 填写实际 Zabbix 的地址用户名密码和版本。保存并退出。2、复制脚本进入 DataKit 目录，进入 python.d 目录，创建 zabbix 目录，点击下方链接下载脚本到 zabbix 目录下：https://static.guance.com/integrations/zabbix/zabbix-collecto...3、重启 DataKitdatakit service -R4、检查采集任务，出现 zabbix_collect 任务则说明采集任务开启成功datakit monitorFunc 方式1、安装采集脚本登录 Func，点击「脚本市场」，选择预装脚本市场，点击管理按钮，进入预装脚本市场的脚本列表页。在过滤搜索框中输入 ，过滤出 zabbix 采集脚本。点击安装按钮，并在弹出的确认框点击确认按钮。点击确认…

【技术分享】xhs_one_spider: 用python开发一站式小红书数据聚合采集软件
type: item
date: 2026-01-20T16:30:30+08:00
description: 本工具仅限学术交流使用，严格遵循相关法律法规，符合平台内容的合法及合规性，禁止用于任何商业用途！1. 项目背景与核心功能整合开发初衷小红书作为国内头部的社区种草平台，其海量笔记数据蕴含着极高的商业与学术价值。此前，为了满足不同场景的采集需求，我曾分别开发了针对评论、博主主页以及UID转换的三款独立工具。然而，许多用户反馈在处理复杂任务（如同时采集评论和主页笔记）时，频繁切换软件带来了操作上的不便。为了解决这一痛点，我将上述三个核心模块进行了深度融合，推出了全新的 “爬小红书聚合软件v1.0”。这是一款集成了“评论采集”、“达人笔记采集”及“UID转换”的一体化数据解决方案。适用场景本工具严格遵循相关法律法规，仅限于学术交流与合规性研究，具体适用场景包括：获客截流： 从行业热门作品评论区精准挖掘目标用户画像。舆情分析： 用于社会舆情挖掘、网络传播规律等学术研究。内容优化： 辅助内容创作者分析优质博主风格与热门话题。运营辅助： 解决跨平台协作中链接与ID转换的痛点。2. 技术架构与实现逻辑本软件完全由 Python 语言独立开发，采用模块化设计以保证高效运行与维护。核心模块分工序号模块名称功能描述1tkinter构建GUI图形用户界面2requests负责发送HTTP请求3json解析服务器返回的响应数据4pandas处理并保存为CSV数据结果5logging记录运行日志，便于异常回溯核心代码实现以下是软件中处理数据请求与保存的关键代码片段：发送请求与解析：# 发送请求 r = requests.get(url, headers=h1, params=params) # 解析数据 json_data = r.json()数据解析示例（评论内容）：for c in json_data['data']['comments']: # 评论内容 content = c['content'] self.tk_show('评论内容:' + str(content)) content_list.append(content)数据保存至CSV：# 保存数据到DF df = pd.DataFrame( { '笔记链接': 'https://www.xiaohongshu.com/explore/' + note_id, '笔记链接_长': note_url2, '页码': page, '评论者昵称': nickname_list, '评论者id': user_id_list, '评论者主页链接': user_link_list, '评论时间': create_time_list, '评论IP属地': ip_list, '评论点赞数': like_count_list, '评论级别': comment_level_list, '评论内容': content_list, }) # 设置csv文件表头 if os.path.exists(self.result_file3): header = False else: header = True # 保存到csv df.to_csv(self.result_file3, mode='a+', header=header, index=False, encoding='utf_8_sig') self.tk_show('文件保存成功：' + self.result_file3)采用logging模块记录日志运行过程，方便debug回溯场景：def get_logger(self): self.logger = logging.getLogger(__name__) # 日志格式 formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s' # 日志级别 self.logger.setLevel(logging.DEBUG) # 控制台日志 sh = logging.StreamHandler() log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S') # info日志文件名 info_file_name = time.strftime("%Y-%m-%d") + '.log' # 将其保存到特定目录 case_dir = r'./logs/' info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name, when='MIDNIGHT', interval=1, backupCount=7, encoding='utf-8')3. 功能…

SiteBackup - 网页备份工具
type: item
date: 2026-01-15T14:14:52+08:00
description: 一个基于 Wails 框架开发的网页备份工具，支持完整备份网页内容，包括 HTML、CSS、JavaScript、图片等所有资源，并提供隐私清理功能。Star History⚠️ 重要声明本工具仅供学习和研究使用，请勿用于任何违法活动！🎓 学习目的：仅用于学习网页技术和备份个人网站📋 遵守规则：请遵守目标网站的 robots.txt 和使用条款🚫 禁止滥用：不得用于恶意爬取、侵犯版权或其他违法行为⚖️ 自负责任：使用者需自行承担使用责任🚀 功能特性核心功能📦 完整备份：备份网页的所有资源文件（HTML、CSS、JS、图片、视频等）🛡️ 隐私清理：自动移除第三方跟踪代码、统计代码、广告代码📊 实时进度：显示备份进度和文件下载状态🗜️ ZIP 打包：自动将备份文件打包为 ZIP 格式📁 目录选择：支持选择自定义保存目录📱 响应式布局：栅格布局，适应不同窗口大小🌍 跨平台：支持 Windows、macOS、Linux界面特性🎨 现代化 UI：基于 Naive UI 的美观界面📋 详细配置：丰富的备份选项配置📈 进度监控：实时显示文件下载状态🔍 文件详情：可查看每个文件的下载进度⚠️ 功能限制请注意：本工具主要适用于简单的静态网页备份技术限制❌ 动态内容：无法备份需要 JavaScript 动态加载的内容❌ 懒加载：不支持懒加载（lazy loading）内容❌ 用户交互：无法处理需要用户交互才显示的内容❌ SPA 路由：不支持单页应用（SPA）的动态路由内容❌ 登录内容：无法备份需要登录才能访问的内容❌ 复杂框架：对于 React、Vue、Angular 等现代框架构建的复杂应用效果有限适用场景✅ 静态网站：个人博客、企业官网等静态页面✅ 简单页面：新闻文章、产品介绍页面✅ 文档网站：技术文档、帮助页面✅ 传统网站：基于传统 HTML/CSS/JS 的网站🛡️ 隐私清理功能自动清理的内容📊 统计代码：Google Analytics、百度统计、CNZZ、Mixpanel、Segment 等👁️ 跟踪代码：Facebook Pixel、TikTok Pixel、Snapchat Pixel、Hotjar、CrazyEgg、Clarity 等📢 广告代码：Google Ads、DoubleClick、Taboola、Outbrain、PopAds、PropellerAds、AdCash 等🏷️ 标签管理器：Google Tag Manager (GTM) 等⚠️ 恶意标签：base 标签劫持、自动跳转、来源伪造、恶意重定向等安全防护🔒 链接劫持防护：自动删除所有 base 标签，防止恶意网站劫持页面中的所有相对链接🚫 自动跳转防护：删除 meta refresh 标签，防止页面自动跳转到钓鱼网站或恶意网站🎭 来源伪造防护：删除 meta referrer 标签，防止恶意网站伪造访问来源🔄 重定向防护：检测并删除包含恶意重定向的 JavaScript 代码🛠️ 技术栈前端技术框架：Vue 3 + TypeScriptUI 库：Naive UI构建工具：Vite路由：Vue Router 4图标：Ionicons 5后端技术语言：Go 1.23+框架：Wails v2网页解析：goquery文本编码：golang.org/x/textHTTP 客户端：Go 标准库开发工具包管理：Go Modules + npm类型检查：TypeScript + Vue TSC代码格式化：内置支持📋 系统要求开发环境Go：1.23 或更高版本Node.js：18 或更高版本Wails CLI：v2 最新版本运行环境Windows：Windows 10/11 (x64)macOS：macOS 10.15+ (Intel/Apple Silicon)Linux：主流发行版 (x64)🚀 快速开始1. 克隆项目复制git clone https://github.com/adiudiuu/site_backup.git cd site_backup 2. 安装依赖复制# 安装 Go 依赖 go mod tidy # 安装前端依赖 cd frontend npm install cd .. 3. 开发运行复制# 使用 Makefile（推荐） make run # 或直接使用 Wails CLI wails dev 4. 构建发布复制# 构建 Windows 版本 make build-win # 构建 macOS 版本（需要在 macOS 上运行） make build-mac # 或使用 Wails CLI wails build 📖 使用指南基本使用步骤输入网址：在目标网址框中输入要备份的网页 URL选择目录：点击"选择目录"按钮，选择备份文件的保存位置配置选…

PureblueAI：知道 Linux Do 藏龙卧虎，我司诚招【中高级数据采集工程师（Web+Android）】
type: item
date: 2026-01-10T19:18:19+08:00
description: 特别说明我们为你提供从竞争白热化的移动互联网红海赛道，向 AI-native 应用全新蓝海领域转型的稀缺战略机遇。我们秉持结果导向，核心团队均由各领域资深专家领衔，从根源上杜绝 “外行指导内行” 的情况；管理上坚决摒弃微观管理（micro-manage），充分赋予团队自主决策与执行空间。团队成员中既有退役军人，也有伙伴；既有大专生，也有博士后。人员背景多元包容，招聘不设学历门槛，始终坚持唯才是举。官网 pureblueai.com PureblueAI 清蓝 - 让品牌被 AI 发现 - GEO 驱动的下一代 AI 营销引擎PureblueAI 清蓝是由清华及字节 / 阿里系团队创立的 AI 营销技术公司。公司致力于成为品牌与 AI 之间的桥梁，基于自研的模型算法与 AI worker 平台，通过生成引擎优化（GEO）技术，为企业提供 AI 口碑营销与广告流量服务，帮助品牌提升在 AI 平台的曝光度、推荐率和准确性，占领 AI 时代用户心智，引爆流量增长。 职位描述主导 Android 端核心数据采集方案的设计与落地，负责主流及高难度 APP 的数据挖掘，包括复杂 UI 交互分析、数据交互逻辑还原、加密协议破解等核心工作，为 AI 大模型训练提供高质量数据支撑。深耕 Android 端逆向工程：负责 Android APP 的脱壳、加解密分析，精通 Smali/Java 代码还原，基于 Arm64 指令集进行汇编级分析，主导 Xposed/LSPosed 插件、Frida 脚本的设计与开发，实现对目标 APP 的 Hook 与数据拦截。主导 Android 端风控对抗体系搭建：针对 APP 端的设备指纹（IMEI/AndroidID/OAID）、Root 检测、行为验证、签名校验、进程注入检测等风控策略，设计并落地有效的对抗方案，保障采集任务的稳定运行。负责 Android 端自动化采集框架的设计与优化：基于 UiAutomator、Espresso 等框架封装高效的自动化采集工具，实现复杂场景下的 APP 自动操作、数据提取与异常重试，提升采集效率与稳定性。参与 Web 端中高难度数据采集任务：基于 Python 生态爬虫框架（Scrapy/Playwright）开发复杂动态渲染页面（SPA/Vue/React）的抓取逻辑，协助破解 Web 端 JS 混淆、参数签名等加密机制。深入分析 Web 及 Android 端网络协议（HTTP/HTTPS/WebSocket/gRPC），主导复杂协议的还原与模拟，协助构建分布式数据采集架构，参与采集任务的分布式调度与性能优化（并发控制、速率调节）。协同 AI 算法团队输出标准化数据格式，优化数据采集流程与质量校验机制；沉淀 Android 逆向、双端风控对抗等技术经验，形成技术文档与团队共享。岗位要求3～5 年数据采集相关经验，其中至少 2 年以上 Android 端数据采集 / 逆向核心经验，具备高难度 Android APP 逆向（如加固脱壳、复杂加密协议还原）及风控对抗的实战落地案例。精通 Android Framework，深入理解 AccessibilityService 原理、UI 渲染机制、AMS/PMS 等系统服务工作流程；熟练掌握 Smali 指令、Arm64 指令集，能够独立完成 Android APP 的静态分析与动态调试。具备扎实的 Android 开发与逆向技能：能够独立开发 Xposed/LSPosed 插件、Frida 脚本；熟练使用 IDA Pro、Jadx、Apktool 等逆向工具；有 APP 加固（360 加固、爱加密等）脱壳经验者优先。精通 Android 端网络协议分析：能够使用 Charles/Fiddler/Wireshark 等工具完成复杂网络抓包，独立还原 HTTPS/WebSocket 等协议的加密交互逻辑；了解 Android 端网络请求框架（OkHttp/Retrofit）的工作原理。具备 Web 端数据采集基础：熟悉 Python 编程语言，熟练使用 Scrapy、Playwright 等爬虫框架及数据解析工具；具备 Web 端 JS 逆向、参数加密破解、基础反爬（IP 代理、浏览器指纹）对抗经验。了解分布式数据采集架构：熟悉 Redis（缓存 / 队列）、MongoDB 等中间件的使用，能够基于 Scrapy-Redis 等框架实现简单的分布式任务调度；具备大规模数据采集场景下的问题排查与性能优化能力。具备较强的独立攻坚能力、问题分析与解决能力，良好的沟通协作意识与技术沉淀意愿，能承受高难度任务压力，自驱力强。工作地址北京市海淀区清华同方科技广场 D 座 20 层 或 北京市朝阳区锐创国际中心 A 座 12 层薪资30 ~ …

无限薅 ProxyScrape IP 池（7 天试用）
type: item
date: 2025-12-28T18:50:36+08:00
description: 无限薅 ProxyScrape IP 池（7 天试用）给大家分享下 通过临时邮箱获取 ProxyScrape 7 天试用 IP 池 的方法，可多次注册使用（单次最多 100 个 IP）。IP 池的作用绕过访问频率与简单风控限制数据采集 / 爬虫调度模拟多地区访问环境准备工作ProxyScrape 官网📄 Free Proxy List - Updated every 5 minutes临时邮箱（推荐）https://tmailor.com/测试过多个临时邮箱服务，目前该站可正常接收 ProxyScrape 验证邮件浏览器无痕模式用于避免缓存、Cookie 影响注册流程开始注册打开注册页面ProxyScrape Sign up使用 tmailor.com 获取的临时邮箱填写注册信息输入验证码前往临时邮箱查收验证邮件并完成注册使用方式注册完成后，即可在控制台中创建并使用 7 天试用 IP 池：说明单个试用账号可获得 最多 100 个 IP到期后可更换临时邮箱重新注册适合测试、学习、开发环境使用接下来就可以放心使用你的 IP 池了。📌 转载信息来源： https://linux.do/t/topic/1370979转载时间： 2025/12/28 18:50:24

无限薅 ProxyScrape IP 池（7 天试用）
type: item
date: 2025-12-28T18:34:03+08:00
description: 无限薅 ProxyScrape IP 池（7 天试用）给大家分享下 通过临时邮箱获取 ProxyScrape 7 天试用 IP 池 的方法，可多次注册使用（单次最多 100 个 IP）。IP 池的作用绕过访问频率与简单风控限制数据采集 / 爬虫调度模拟多地区访问环境准备工作ProxyScrape 官网📄 Free Proxy List - Updated every 5 minutes临时邮箱（推荐）https://tmailor.com/测试过多个临时邮箱服务，目前该站可正常接收 ProxyScrape 验证邮件浏览器无痕模式用于避免缓存、Cookie 影响注册流程开始注册打开注册页面ProxyScrape Sign up使用 tmailor.com 获取的临时邮箱填写注册信息输入验证码前往临时邮箱查收验证邮件并完成注册使用方式注册完成后，即可在控制台中创建并使用 7 天试用 IP 池：说明单个试用账号可获得 最多 100 个 IP到期后可更换临时邮箱重新注册适合测试、学习、开发环境使用接下来就可以放心使用你的 IP 池了。📌 转载信息来源： https://linux.do/t/topic/1370979转载时间： 2025/12/28 18:31:52