目录大数据全系列 教程
1869个小节阅读：467.9k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
2000台真的比一台快吗？
由于涉及到计算机之间文件传输，千兆带宽1000Mb/S也就是100MB/s
注意：1b = 1bit 1B=1Byte=8bit
拉取网卡100MB/S ，之前忽略了上传时间：1TB/100(MB/S) = 1000 000MB/100(MB/S) =10000S
10000S/3600S = 3H
• 如果考虑分发上传文件的时间呢？
• 如果考虑每天都有1TB数据的产生呢？
• 如果增量了一年，最后一天计算数据呢？
| 时间（天） | 单机所需时间 | 集群分布式所需时间 |
|---|---|---|
| 1 | 2*30=1H | 3H1M2S |
| 2 | 2H | 3H1M4S |
| 3 | 3H | 3H1M6S |
| 4 | 4H | 3H1M8S |
| ... | ... | ... |
| 300 | 300H | 3H11M |
