数禾科技X瓴羊:通过Dataphin进行数据资产体系建设|天天简讯
在与瓴羊建立合作后,数禾科技通过Dataphin在数据架构、数据建模、数据治理等维度,进行了增强管控,同时结合行业最佳实践,沉淀出了一整套独具特色的数据资产建设方法论。在引入了新工具、新范式后,数禾科技的数据处理能力提升了8倍,做到了数据生产链路0事故。
(相关资料图)
普惠金融服务的落地,离不开数字技术的快速发展。
作为专注于普惠民生的金融科技公司,数禾科技多年来秉承着“让人人享有金融服务最优解”的使命,凭借先进的大数据、人工智能等技术,将金融的普惠价值通过数字科技的力量,落地到更多的场景与客群当中。
以数禾科技旗下的还呗小微贷产品为例,这是一款为资金周转困难的小微企业主提供的专属信贷产品,让小微业主借的省心,借的轻松,借的方便。目前还呗小微贷面向40万小微企业主提供金融服务近140亿元,实现这样一个业务服务规模,背后需要一套完善的智能化金融服务平台来做支撑。
图1. 数禾科技主题域模型
“虽然各家的业务不一样,但需要的数字化能力可以是一样的。”
当被问到作为数禾科技的CDO,如何来规划数禾科技的数字化能力建设方案,王冠军的回应非常简单直接,那就是「向最优秀者看齐」。无论是各行各业的最佳实践,还是在数据处理、分析领域有着抢眼表现的阿里,都是数禾科技对标的对象。
“Dataphin代表了阿里先进的数据生产力,我们怀着开放的心态,把先进的工具引入进来,并践行方法论和最佳实践,数禾要站在巨人的肩膀上,对自身业务场景进行全方位赋能。”
数字化能力建设离不开顶层设计,数禾科技逐渐发展沉淀出了「一环四化」规划蓝图,即业务数据化、数据资产化、资产服务化、服务价值化,以及贯穿事前、事中、事后的数据治理闭环。
图2. 数字化顶层规划
曾经,数禾科技也因缺乏科学的数据体系建设和治理的指导,面临了“数据湖”变成“数据沼泽”的尴尬处境。在与瓴羊建立合作后,数禾科技通过Dataphin在数据架构、数据建模、数据治理等维度,进行了增强管控,内外兼修,积极拥抱阿里生态,迅速拉齐到业内领先水平。
与此同时,基于瓴羊过去在阿里内部实践沉淀下的方法论,数禾科技结合行业最佳实践,根据自身业务场景进行二次创新,沉淀出了一整套独具特色的数据资产建设方法论,下面通过三个实例进行说明。
一、设计DBus机制,让数据有序流转
「数据资产化」是数禾科技四化环节的重中之重,即通过对业务过程进行建模、提炼指标、萃取标签、特征工程等等,进行数据资产的沉淀。
其中,以数据团队为主导构建的相对稳定和通用的数据资产体系,被数禾科技定义为「官方资产」,此类资产可以解决企业60%-70%的共性问题,剩余与业务场景强相关的个性化需求,数据团队会通过Dataphin开放数据能力给到业务团队,如私有化数据集市、沙箱体系等,让业务开放创新地将数据资产用起来。
图3. 数据中台项目启动至今使用增长情况
目前数禾科技全公司有近一半的同事,都在自主使用Dataphin作为数字决策辅助工具。但业务团队所生产的「私有化数据」都需要按照一定的标准规则被强管控起来,不可以无序流转。
因为在「数据资产化」阶段,想要数据资产被最大化地有序利用,需要企业清晰掌握数据使用的链路,找到那批可持续复用的数据资产进行下沉,逐步将数据有序分批地沉淀到「官方资产」,而过于个性化的数据资产,则留在项目空间里由业务方自行处理。
图4. DBus机制
通过Dataphin提供的端到端数据血缘探查和管理能力,数禾科技形成了DBus机制,来负责私有化数据流转的标记、监控和管理,以此保障数据资产化能够高效有序开展。
数禾科技数据团队成员表示,过去,由于数据的生产流转缺少工具进行管理和监控,导致数据的关系网络极其复杂,调用链路被各种上下游牵制,往往是牵一发而动全身,有些节点想做下线处理十分棘手。
在数据资产建设过程中形成的DBus机制,是通过标准和架构设计,让数据的流转能够通过一个数据共享总线来统一管理。比如私有数据集需要符合数据治理的规范和标准,才可以进入到DBus数据总线进行共享流通。数据团队会监控DBus总线上的数据资产,通过Dataphin将这批资产打标,持续跟踪资产流转情况。
如果某批资产被跨团队高频调用,就会由数据团队下沉到公共数据体系,发布到数据目录上,个性化的数据资产就此有了「身份」,并入「官方资产」,以此保障共享型的数据资产能够被充分利用起来。
王冠军表示,“之所以会在数禾内部诞生这类数据流转机制,正是因为企业必然需要在中台的稳定性,和业务的敏捷性之间做出平衡。”Dataphin可以通过项目空间的隔离,让业务侧享受到充分的用数自由,同时让具备高共享价值的私有化数据,及时下沉到「官方资产」,最大化释放数据价值。
二、独创DCube方法论,清晰管理个性化指标
“数据资产在数禾内部是层层流动的,并且这种流动是有序的。通过Dataphin基于OneData方法论设计的标准研发流程,数据从原子指标经组合公式生成派生指标,在这个过程中,我们会发现数禾还有很多特有的指标需求。“
王冠军说话语速偏快,能够根据问题迅速组织出清晰、全面的表达内容,这可能和他长期保持以不同组织视角来思考问题的习惯有关。
“我们数据团队是以客户为中心的,这个客户指代的是数禾内部的业务团队,所以,我们需要通过特定的方法,让他们能够更便利地使用个性化指标,不要重复建设公共指标。”
数禾科技的数据团队借助Dataphin,用可视化拖拉拽方式快速生成一个公共指标层,目的是消除二义性,让指标的生成更加标准和规范,同时增加了一个扩展层,也就是DCube,生成面向业务场景的个性化指标,DCube层更便于业务理解,让他们能快捷地使用起来。
图5. “统一指标+”方案:基于Dataphin统一指标工具的增强版
通过DCube层的规范设计,数禾科技的数据团队在数据资产化环节,有效平衡了通用性和灵活性的资产建设需求,并在后续的「资产服务化」环节,通过API接口调用、文件服务、消息队列调用这3种标准服务的方式,使得数据资产可以快速地被对接到BI,以及其他应用系统,进一步将「服务价值化」。
在数据中台上,数据团队逐渐形成了BI分析产品、CDP产品、全视角用户洞察产品等,不仅提升了数据团队的交付效率和质量,也真正帮助业务团队更方便地使用数据,在营销、风控等场景准确识别用户需求,高效开展普惠金融服务。
三、开发治理一体化,让数据治理从Day1做起
提到数据治理工作的启动,数禾科技的数据团队成员是有很多苦水要吐的。
“曾经的数据湖架构,同一个实体和字段有不同版本,数据关系存在大量的冗余和不对称,在迁移任务到Dataphin的过程中,扒逻辑就扒了12层,如果开发Owner离职,这个逻辑真的没有人可以理清楚了。”
通过Dataphin落实了DBus机制后,逻辑变得扁平化,引用关系简单清晰。我们使用Dataphin构建清晰的总线矩阵,划分并定义数据域、业务过程、维度、原子指标、统计周期和派生指标,消除了指标的二义性。这就使得数据资产的开发、管理、运营都变得更加清晰明确。
其次是「生产隔离」设置。以前做数据湖,不太关注生产环境和分析探索环境的管理,大家都各自在里头做数据分析,生产调度作业很多都是探索实验任务,生命周期很短,逻辑变更频繁,数据作业只上不下,结果就造成生产环境越来越混沌。
“现在,我们通过Dataphin严格区分了数据探索和生产环境:探索环境可以非常灵活,我们给业务同事提供了沙箱环境,他们可以自由发挥创新精神,不使用就全部抹掉;而在生产环境,我们需要保障数据质量、时效性和稳定性,因为这部分环境中的数据,需要支撑业绩报表、数据决策、交易增长等一系列与企业经营密切关联的场景。”
在企业中,数据治理往往不是发起一个独立的运作项目那么简单,它被深深地嵌入到了企业经营的每一个细节当中。王冠军认为数据治理工作旨在不断调节降低大数据系统熵值,从而使得数据质量、数据安全、资源成本都得到有效的管控,持续为业务价值创造提供可信的数据资产。
“我不觉得成立一个数据治理组织是最关键的,我们数据治理的机制和能力,都是通过不断解决问题进化出来的。”
事后出现问题,比如SLA数据延迟,到了原定的时间没有出来,就先建工单分配到数据工程师解决问题,然后启动复盘改进,往前推,到事中的告警触发,事前的检查规范和制度是否有被落实等等。“一个故障越是在前期被防控,对我们来说成本越低,我们的数据治理工作就是这样一步一步通过Dataphin的工具能力被前置到Day1。”说到数据团队所遇到的各种问题,王冠军表现出来的是一种非常积极的处理态度,他把这些都视为团队治理能力进化的推力,而非阻力。
自从在数据架构、数据建模、数据治理等环节引入了新工具、新范式,数禾科技的数据处理能力提升了8倍,做到了数据生产链路0事故,王冠军微笑着说这要感谢Dataphin的助力,但这样一支勤于思考,精于做事的数据团队,发展得越来越好也是必然。
标签:
推荐文章
- 蓄势聚力,共启美好|6月17-19日,CHCC2023第24届全国医院建设大会邀您共赴成都!
- CHCC2023邀请函 | 6月17-19日,第24届全国医院建设大会,相约成都,共创美好医院
- 山特全方位电源解决方案,护航生物制药行业“成长生命线”
- 工业级无人机亮相第七届深圳国际无人机展览会
- 研究人员最新发现 单个细胞可同时处理成百上千个信号
- 陆军第73集团军某旅 创新升级模拟训练器材
- 长期暴露在光照下性能退化 科学家发现钙钛矿太阳能电池最大缺陷
- 宁夏启动双百科技支撑行动 构建高水平产业创新体系
- 陆军炮兵防空兵学院 毕业学员综合战术演习现地备课工作圆满完成
- 国内首颗以茶叶冠名遥感卫星 安溪铁观音一号发射成功
- 区域特色产业转型升级 四川屏山以“3+”模式推进科技创新工作
- 激发创新动能促进产业发展 无锡滨湖走出产业转型“绿色”路
- 绥化全域低风险!黑龙江绥化北林区一地调整为低风险
- 走访抗美援朝纪念馆:长津湖的寒冷,与战斗一样残酷
- 节后第一天北京白天晴或多云利于出行 夜间起秋雨或再上线
- 走近网瘾少年们:他们沉迷网络的病根何在?
- “双减”后首个长假:亲子游、研学游需求集中释放
- 获2021年诺奖的蛋白,结构由中国学者率先解析
- 他从一窍不通的“门外汉”,到重装空投“兵专家”
- 升旗、巡岛、护航标、写日志,他们一生守护一座岛
- 中国故事丨“沉浸式”盘点今年的教育好声音!
- 农业农村部:确保秋粮丰收到手、明年夏季粮油播种
- “双减”出台两个月,组合拳如何直击减负难点?
- 《山海情》里“凌教授”的巨菌草丰收啦
- 且看新疆展新颜
- 天山脚下,触摸丝路发展新脉动
- 160万骑手疑似“被个体户”?平台不能当甩手掌柜
- 网游新政下,未成年人防沉迷的“主战场”在哪?
- “辱华车贴”商家及客服被行拘,处罚要不放过每一环
- 沙害是自然界的恶魔,而他是荒沙碱滩的征服者
- 面对婚姻,“互联网世代”的年轻人在忧虑什么?
- IP类城市缘何吸引力强?玩法创新带动游客年轻化
- 国庆主题花坛持续展摆至重阳节
- 都市小资还是潮流乐享?花草茶市场呈爆发性增长
- 从1.3万元降到700元,起诉书揭秘心脏支架“玄机”
- 北京国庆7天接待游客超861万人次 冬奥线路受青睐
- 陈毅元帅长子忆父亲叮嘱:你们自己学习要好,就可以做很多事儿
- 报告显示:这个国庆假期,粤川浙桂赣旅游热度最高
- 中国科技人才大数据:广东总量第一,“北上”这类人才多
- 嘉陵江出现有记录以来最强秋汛
- 全国模范法官周淑琴:为乡村群众点燃法治明灯
- 线上教学模式被盯上,网络付费刷课形成灰色产业链
- 云南保山:170公里边境线,4000余人日夜值守
- 警方查处故宫周边各类违法人员12人
- 农业农村部:确保秋粮丰收到手、明年夏季粮油播种
- 受南海热带低压影响 海南海口三港预计停运将持续到10日白天
- 多地网友投诉遭遇旅游消费骗局,呼吁有关部门严查乱象
- 神经科学“罗塞塔石碑”来了:迄今为止最完整的大脑细胞图谱
- 汾河新绛段发生决口
- 陕西支援14省份采暖季保供用煤3900万吨
- 这场红色故事“云比拼”,穿越时空为我们指引方向
- 受琼州海峡封航影响 10月7日、8日进出海南岛旅客列车停运
- 辽宁省工信厅发布10月8日电力缺口橙色预警
- 广州10月8日至20日对所有从省外来(返)穗人员实施核酸检测
- 假期怎么过得这么快?国庆5.15亿人次出游,你咋过的?
- 国庆假期全国道路交通总体安全平稳有序
- 哈尔滨市南岗区爱达88小区将调整为低风险地区
- 新疆霍尔果斯市2例无症状感染者新冠病毒均为德尔塔变异株
- 百闻不如一见——北京大学留学生参访新疆
- 看,生机勃勃的中国
- 国庆假期中国预计发送旅客4.03亿人次
- 新疆兵团可克达拉市:195名密接者已全部隔离医学观察
- 山西平遥消防4天29次救援:拖着腿走路也要完成任务
- 国庆假期北京接待游客861.1万人次
- 冷空气自西向东影响中国大部地区 气温将下降4℃至6℃
- 新疆哈密市巴里坤县发生4.3级地震 震源深度9千米
- 国庆假期中国国内旅游出游5.15亿人次
- 公安部交管局:国庆假期日均出动警力18万余人次,5位交警辅警牺牲
- 受南海热带低压影响广东将暂别高温天气
- “数说”杭州无障碍改造:触摸城市“爱的厚度”
- 新疆霍尔果斯无症状感染者新冠病毒属德尔塔变异株 未发现高度同源的基因组序列
- 新疆伊犁州:妥善做好滞留旅客安置返回工作
- 国庆假期广西累计接待游客逾3611万人次 实现旅游消费272.41亿元
- 2021年MAGIC3上海市青少年三对三超级篮球赛落幕
- 新疆兵团第四师可克达拉市1名无症状感染者为餐饮从业人员
- 哥伦比亚遇上广州:洋茶人“云上”喫茶 传播中国茶“味道”
- 厦门同安区四区域调整为低风险 全市无中高风险地区
- 直径2米“面气球”亮相 山西首届“寿阳味道”美食大赛启幕
- 世界第一埋深高速公路隧道大峡谷隧道出口端斜井掘进完成
- 浙南沿海村村发展有妙招 搭乘共富快车打造“海上花园”
- 新疆霍尔果斯两例无症状感染者新冠病毒均属德尔塔变异株
- 南沙港铁路国庆假期不停工 力争今年年底开通
- 添加陌生人为好友 内蒙古两女子被骗126万
- 中国国庆假期出行热:数字改变“关键小事”
- 水能载物亦能“生金” 浙江遂昌山村以水为媒奔共富
- 铁路人国庆雨中巡查排险记:一身雨衣、一把铁锹保安全畅通
- 铁路迎返程高峰 西安局集团公司加开79趟高铁列车
- 受热带低压影响 琼州海峡北岸等待过海车辆排长龙
- 哈尔滨市学校有序恢复线下教学
- 哈尔滨一地风险等级调整为低风险
- 从进“培训班”到看《长津湖》
- 安徽黄山国庆假期迎客12万余人 旅游市场稳步复苏
- 山西解除持续近90小时的暴雨四级应急响应
- 科学拦峰错峰削峰 嘉陵江洪水过境重庆中心城区“有惊无险”
X 关闭
资讯
X 关闭
行业动态
-
数禾科技X瓴羊:通过Dataphin进行数据资产体系建设|天天简讯
- 数禾科技X瓴羊:通过Dataphin进行数据资产体系建设|天天简讯
- 城际轨道交通是什么_城际轨道是什么意思 环球速看料
- 当前聚焦:2023年五一连休五天,又被网友骂上热搜
- 评论丨林俊杰元宇宙“炒房”浮亏91%:虚拟的货币真实的泡沫 全球今亮点
- 每日简讯:【IPO审核周记】上周IPO审核仅2家企业,审核放缓了吗?
- 当前观察:iPhone 15新配色来了:红酒质感!
- 合肥百货聚焦主业聚力转型 上市以来累计分红24次|当前短讯
- 四特酒造势2023糖酒会,彰显中国白酒的品质力量! 今日最新
- 特斯拉将在上海建储能超级工厂,马斯克回应:作为加州工厂Megapack产能扩充
- 国联安上证科创板50ETF净值上涨1.47% 请保持关注 世界热讯