千数平台提供统一、高效、安全的数据支撑服务

技术 2025-06-12 09:01

声明：该文章来自（一飞开源）版权由原作者所有，K2OS渲染引擎提供网页加速服务。

千数平台（qData）是一款一站式开源数据中台，覆盖中台基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力，致力于高效赋能数据前台，为各类业务系统提供统一、高效、安全的数据支撑服务。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

四、功能概述

使用场景

场景	描述
多源数据整合	整合业务系统、IoT、第三方等数据，实现统一采集、清洗与治理，构建标准数据资产。
统一数据服务	将治理数据通过 API 或数据集方式提供，支撑系统共享调用，提升复用效率。
决策分析支撑	提供统一数据视图和分析能力，助力业务分析、报表生成及科学决策。

优势

优势点	描述
统一标准	建立统一的数据规范、模型和指标体系，消除“数据孤岛”，提升全局协同效率。
⚙️ 敏捷支撑	快速响应业务变化，按需提供数据服务和分析支持，加速业务创新。
安全可控	数据权限精细化管理，保障数据合规使用，支撑审计与监管要求。

已有功能一览

功能模块	功能描述	状态
系统管理	包含系统配置、用户与权限管理、运行监控、日志管理、服务器资源监控和工作空间管理，支持将任务拆分给不同项目组协作，适应前店后厂的工作流程。	完成
数据标准管理	管理逻辑模型（表级，支持关联数据元）和数据元模型（字段级，绑定规范、稽查与清洗），实现结构化数据规范和质量管控。	完成
数据集成（ETL）	支持数据库、文件、消息队列等多种数据源接入，提供可视化ETL设计、多任务调度与监控，支持数据清洗规则应用，包含运行日志和执行配置管理。	完成
元数据管理	集中管理数据表、字段、稽查、清洗指标等元信息，建立统一的数据资产目录，支撑数据查找、血缘分析和结构维护。	完成
数据质量管理	支持基于预置的稽查规则及数据清洗规则，实现对数据准确性、一致性和完整性的自动校验与修正。	完成
数据资产管理	通过目录结构对数据资产进行分级分类管理，支持全生命周期跟踪与维护。	完成
统一标签管理	支持标签自动生成与多维度标签筛选，便于数据分类和精准检索。	完成
数据开发	支持达梦8、MySQL、Oracle、人大金仓等主流数据库任务开发，包含调度配置和日志管理，基于数据仓库，通过SQL及大数据脚本结合业务需求开发和加工业务数据。	完成
数据查询	提供灵活且高效的交互式查询工具，支持快速分析和挖掘结构化数据。	完成
数据服务管理	将数据资产封装为 API 服务，支持外部 API 接口转发，包含 API 日志、数据脱敏、数据接口和服务接口管理及调用日志监控。	完成

五、技术选型

️ 技术栈

qData 平台采用前后端分离架构，后端基于 Spring Boot，前端基于 Vue 3，整合常用中间件与数据工具，构建一站式数据中台解决方案。

️ 后端技术栈

分类	技术	描述
服务框架	Spring Boot	提供快速开发能力
权限控制	Spring Security	实现用户权限认证与控制
数据库	MySQL、PostgreSQL、达梦8、人大金仓	持久化存储与配置管理
ORM 框架	MyBatis-Plus	简化数据库操作
缓存与并发控制	Redis	支持缓存、分布式锁等
消息队列	RabbitMQ	实现异步通信与解耦处理

前端技术栈

分类	技术	描述
框架	Vue 3	现代化响应式框架
组件库	Element UI	常用 UI 组件支持
构建工具	Vite	快速开发与构建工具

第三方依赖

分类	组件 / 工具	描述
数据仓库	Hive	支持数据建模、分区管理及元数据维护
计算引擎与数据集成	Spark	批流一体，支持 ETL 数据处理
大数据存储	Hive、HBase	支持海量非结构化与半结构化数据存储
作业调度与任务管理	DolphinScheduler	提供可视化任务编排、依赖管理及调度能力

️ 部署要求

在部署 qData 之前，请确保以下环境和工具已正确安装：

️ 服务端环境要求（后端）

项目	推荐版本	说明
JDK	1.8 或以上	建议使用 OpenJDK 8 或 11
Maven	3.6+	项目构建与依赖管理
达梦8	8.0	关系型数据库（可切至MySQL）
Redis	5.0+	缓存与消息功能支持
RabbitMQ	可选	用于任务调度、异步通信等功能。
操作系统	Windows / Linux / Mac	通用环境均可运行