
Yandex开源大数据存储和处理平台YTsaurus
声明:该文章来自(OSCHINA)版权由原作者所有,K2OS渲染引擎提供网页加速服务。
因为众所周知的原因,俄罗斯开发者在开源领域遭到了各种 “不公正” 的对待。但即便如此,俄罗斯大型科技公司 Yandex 近日依然在 GitHub 上开源了一个项目,该项目名为 YTsaurus,这是一个用于存储和处理大数据的平台,大多数 Yandex 服务均在使用。
Yandex 分布式计算的负责人 Maxim Babenko 表示:
Yandex 自 2010 年以来一直在开发 YTsaurus(在内部称之为 YT)。因为市场上没有一个解决方案可以满足我们所有的要求,我们决定开始建立自己的大数据生态。现在 YTsaurus 是 Yandex 内部基础设施的关键技术之一。
根据官方说法,YTsaurus 适用于广泛的任务,从数据分析到训练具有数十亿参数的复杂模型。例如:Yandex Search 用它建立搜索索引、自动驾驶汽车用它来处理海量数据和改进算法、YTsaurus 还管理着 Yandex 的超级计算机,分配负载,使计算能力得到尽可能有效的利用。
YTsaurus 具有的平台优势包括:
多租户生态
可靠性和稳定性
可扩展性
丰富的功能
由 ClickHouse 提供支持的 CHYT
由 Apache Spark 提供支持的 SPYT
Yandex Cloud 的负责人 Alexey Bashkeev 则表示:
YTsaurus 已经在 Yandex 内部证明了自己,现在我们把它提供给所有开发者。在数以千计的服务器上处理大量数据,并且负载不断增加的大公司将获得最大收益。我们相信将 YTsaurus 开源可以使其进入一个新的发展阶段,正如我们的其他产品那样。
YTsaurus 的源代码和文档都可以在 GitHub 上找到,该项目采用的是 Apache 2.0 许可。项目地址如下:链接。
[超站]友情链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
- 1 “把造福人民作为根本价值取向” 7904681
- 2 微信能自动发消息了 7809668
- 3 4岁男童全麻拔乳牙身亡 医院回应 7714454
- 4 三预警齐发 这些地区出行需注意 7619203
- 5 万元手表卖不动 Swatch甩锅给中国 7522597
- 6 全球110多个国家发现基孔肯雅病毒 7428330
- 7 92岁网红猫奶奶去世 7333872
- 8 24小时不间断交易 股市大动作来了吗 7235124
- 9 特朗普又决定“退群” 7138796
- 10 应届生拒绝offer被HR威胁业内封杀 7048149