小红书技术团队完成壮举：500PB数据湖零故障迁移至阿里云！
创始人
2024-11-07 00:23:38
0次
【ITBEAR】小红书技术团队近日达成一项行业创举，成功将其庞大的数据湖无故障迁移至阿里云，此举在业界堪称前所未有。
作为月活用户超3亿的头部互联网企业，小红书的数据湖汇集了11年来的全部原始数据，包含多样化的数据结构。随着业务的迅猛扩展，公司对数据的实时处理能力提出了更高要求，而历史数据的离线处理也面临诸多挑战。
为了应对这些挑战，小红书于2023年11月启动了迁云项目，目标是在一年内将数据湖平稳迁移至阿里云。该项目的规模之大，即便是与业界之前的案例相比，也显得尤为突出。
迁云项目在2024年5月正式进入双跑阶段，这是切换至新环境前的关键测试期，对确保系统稳定性至关重要。在此期间，技术团队面临了海量的问题挑战，每周平均需应对500余个新增问题。
得益于阿里云团队的全力支持，小红书技术团队成功完成了割接任务，且全程未出现任何P2级别及以上的故障。这一成就标志着小红书在数据处理能力上迈上了新台阶。
至2024年11月，迁云项目圆满落幕。在整个过程中，技术团队共迁移了500PB的数据量，执行了11万项任务，参与人员达1500人，涉及公司内部40余个部门。这一壮举不仅展示了小红书在技术创新方面的实力，也为行业树立了新的标杆。
来源：http://www.itbear.com.cn/html/2024-11/579995.html
相关内容
热门资讯
2026 湖南企业融资贷款公司...
当下湖南实体经济持续复苏，中小微企业融资需求集中释放，企业融资贷款服务行业进入专业化升级的关键阶段。...
青岛银行招标结果：青岛银行威海...
证券之星消息，根据天眼查APP-财产线索数据整理，青岛银行股份有限公司7月22日发布《青岛银行威海乳...
深演智能DeepAgent4....
战略锚定，AI价值回归增长本位 2026年6月23日，深演智能发布了公司登陆港交所后的首个重磅产品升...
上海一座市场价3.2亿元的别墅...
拍卖网站信息显示，上海市浦东新区花木路1883弄99号的独栋别墅将于8月24日起拍卖，其市场价为3....
主业增长停滞，奥海科技豪掷5....
图片来源：视觉中国 蓝鲸新闻7月24日讯（记者 梁冀）7月22日，奥海科技（002993.SZ）公告...
浙江“十五五”规划前瞻布局6G...
观点网讯：浙江省人民政府印发《“十五五”数字浙江建设规划》。 规划提出，优化升级网络基础设施和融合应...
AI、信息服务激活广东产业增长...
佛山市美的库卡智能制造科技园工业机器人产线车间。 掌握PCB钻针关键技术的广东鼎泰高科技术股份有限...
南昌铂金k金回收如何挑选合规商...
不少南昌市民家中都有闲置的贵金属首饰，想要变现时往往不知道如何挑选合适的商家，针对大众关注的铂金k金...
53岁董事长天价离婚！女方分走...
昨晚（7月24日），朗姿股份有限公司发布“关于控股股东权益变动的公告”称： 公司于近日收到控股股东申...
机器人格斗赛全网播放超12亿！...
全网12亿播放！爆火出圈的URKL人形机器人格斗赛，背后是藏不住的中国硬科技！从电机、减速机到控制器...