[caption id="attachment_70538" align="alignnone" width="1536"] 英伟达/Nvidia[/caption] 认识我的朋友都知道，我一直坚持面试，但现在的我只把目标放在大厂。不是大厂，不去面。这并不是傲气，而是现实：在微软剑桥研究院/MSRC之后，真正能让自己继续成长的地方确实不多。

一年后再战 Nvidia：我真的变强了 从拒信到进步：与 Nvidia 的两次较量 面试是照妖镜：每一次都让我更清楚自己 被拒不是终点，而是下一次更强的开始 为什么我只面大厂：两次 Nvidia 面试的成长记录 Nvidia 两轮面试，让我看清自己的短板 来自大厂的拒信，如何成为我的成长燃料？ 技术人最真实的成长路径：不断面试，不断升级 我与 Nvidia 的两次交手：从 k8s 到 C++ 的自我进化 90 分钟技术面，三天等待：再见了 Nvidia，也谢谢你 那封 Nvidia 拒信，帮我补齐了最关键的短板 Nvidia，我又来了，这次我更硬了 大厂面试：一场持续升级的修行 被 Nvidia 拒绝两次后，我越来越强了

去年我首次挑战 Nvidia——如今世界上最值钱，也是第一个迈入 5 万亿美元级别的科技巨头。我投的是 JR1981163 Senior Software & Cloud Architect。第一轮和 Hiring Manager 谈完后没多久，我就收到了拒信。当时被问到 k8s 底层的理解，我坦诚地说自己只懂命令层面、不懂核心组件。 [caption id="attachment_70537" align="alignnone" width="1353"] 英伟达/Nvidia最值钱的公司[/caption] 那一刻我知道：差距在哪里。 今年，我再次向 Nvidia 发起冲击。岗位换成了 JR1997486 HPC and AI Software Architect。第一轮交流非常顺利，双方深入分享了经历与背景。 第二轮则是一场 90 分钟的硬核技术赛跑：C++ 代码、CPU 架构、内存原理、性能优化……题目扎实、密度极高。 等待的三天里，内心既平静又期待。最终依旧是拒信，但这次不同——我能明显感受到自己的进步。我知道自己在哪些问题上犹豫、在哪些地方被提醒才想起来，也因此更清楚下一步该补什么。

很遗憾，团队决定不推进您的申请。虽然反馈是积极的，但其他候选人的技能更符合要求。 Unfortunately the team have decided not to move forward with your application. The feedback was positive however there were just other candidates whose skillset was a stronger match.

自我安慰一下：据说大厂一个职位通常会收到上百份简历，最终只会挑出大约 8 个人进入面试，每一轮还要淘汰一半。能通过简历筛选，其实已经相当不容易了。 面试从来不是输赢，而是一面镜子。它告诉我：我还可以更强。面试就是最实在的“市值检测器”。每面一次，我就知道自己哪块短板被揪出来了，然后再狠补回去。正如年中挑战 ARM principal 时让我意识到自己 C++ 生疏，又促使我在之后疯狂补课一样。 PS：我还特意问了Nvidia是不是有和其它大厂一样的冷冻期，回答是没有，可以同时申请多个职位，并且没有限制。

Q: Is there a cool down period before I can apply to another position? A: No there isn’t, you can apply for as many roles as you wish.

[bctt tweet="这一路，我一直在成长，也一直在靠近更好的自己。"] [show_file file="/var/www/wp-post-common/justyy.com/interview.php"] 英文：NVIDIA, I'm Coming Again! This Time I'm Tougher!

Amdahl 定律 vs Gustafson 定律 — 完整教程、推导、应用场景及 Python 绘图

Amdahl 定律 vs Gustafson 定律：完整教程、推导、应用场景及 Python 绘图 理解并行加速：通过代码讲解 Amdahl 定律和 Gustafson 定律 并行计算基础：Amdahl 定律、Gustafson 定律及加速建模 并行加速原理：Amdahl 和 Gustafson 定律完整指南 并行扩展解析：推导并比较 Amdahl 和 Gustafson 定律 Amdahl vs Gustafson：并行加速完整指南（含 Python 代码） 并行性能建模：Amdahl 定律、Gustafson 定律及实际应用 学习并行加速：数学、直觉、应用场景及 Python 可视化 并行计算：必须掌握的两条定律（Amdahl & Gustafson） 工程师的并行加速：Amdahl 定律、Gustafson 定律及 Python 实现 从理论到代码：用 Amdahl 和 Gustafson 建模并行加速 实用并行加速指南：Amdahl 定律、Gustafson 定律及可视化 为什么并行不是无限的：简单解释 Amdahl vs Gustafson 并行加速真相：Amdahl 限制 vs Gustafson 扩展 并行计算神话与现实：Amdahl 和 Gustafson 的教训

引言

并行计算在现代计算中至关重要：多核 CPU、GPU、分布式集群、云工作负载、LLM 训练以及 HPC 模拟。 为了分析程序在更多处理器下能加速多少，主要有两种数学模型：

• Amdahl 定律 — 固定规模工作负载的性能
• Gustafson 定律 — 可扩展规模工作负载的性能

这两条定律并不矛盾，它们回答的是 不同的问题。 本教程涵盖推导、直觉、比较、实际应用场景，以及展示两条定律的 Python 绘图脚本。

1. 什么是加速比？

加速比衡量程序在 N 个处理器上运行速度提升多少： [math]S(N) = \frac{T_1}{T_N}[/math] 如果程序在一个处理器上运行 10 秒，两处理器运行 5 秒，则加速比为： [math]S(2) = \frac{10}{5} = 2[/math] 完美线性加速为： [math]S(N) = N[/math] 但实际系统存在串行瓶颈，这正是 Amdahl 定律和 Gustafson 定律描述的内容。

2. Amdahl 定律（固定工作量）

2.1 直觉

Amdahl 假设：

• 总工作量保持 不变
• 部分工作是串行的，无法并行化

设：

• f = 串行比例
• 1 - f = 可并行比例

2.2 推导

一个处理器的运行时间： [math]T_1 = T_s + T_p[/math] 定义： [math]f = \frac{T_s}{T_1}[/math] 因此： [math]T_s = fT_1[/math] [math]T_p = (1 - f)T_1[/math] N 个处理器的运行时间： [math]T_N = fT_1 + \frac{(1 - f)T_1}{N}[/math] 加速比： [math] S(N) = \frac{T_1}{T_N} = \frac{1}{f + \frac{1 - f}{N}} [/math] 其中 f 是串行工作比例，[math] 1-f [/math] 是可并行工作。Amdahl 公式也可以写成： [math] S(N) = \frac{T_1}{T_N} = \frac{1}{(1-p) + \frac{p}{N}} [/math] 其中 [math] p=1-f [/math]，[math] f=1-p [/math]

2.3 当 N → ∞ 时的极限

[math]S(\infty) = \frac{1}{f}[/math] 如果串行比例为 10%（f = 0.1）： [math]S_\infty = 10[/math] 即使处理器无限，也无法超过该值。

2.4 Amdahl 定律的实际应用场景

Amdahl 适合优化固定任务的 延迟：

• GPU 内核优化固定张量大小
• 单次请求推理延迟降低
• 视频编码、压缩、排序
• 加速固定批量作业
• 数据库查询加速

---

3. Gustafson 定律（可扩展工作量）

3.1 直觉

Gustafson 反过来问： “增加处理器，我能在相同时间内解决多大的问题？” 这反映了真实 HPC 工作负载：更多 CPU → 更高分辨率 → 更大模拟。

3.2 推导

假设程序在 N 个处理器上运行 1 个时间单位。 设：

• f = 串行比例（按规模测量）

可并行部分随处理器数量扩展，因此其运行时间保持与 N 成比例。 一个处理器的时间： [math]T_1 = f + N(1 - f)[/math] 加速比： [math]S(N) = f + N(1 - f)[/math] Gustafson 公式的 “N 减” 形式： [math]S(N) = N - (N - 1)f[/math] 或者，如果定义并行比例 [math]p = 1 - f[/math]，公式也可写为： [math]S(N) = f + N(1-f) = f + Np [/math] “N 减” 形式用 p 表示： [math] S(N) = N-(N-1)f = N - (N-1)(1-p) [/math]

3.3 解释

随着 N 增加，加速比趋近于： [math]S(N) \approx N(1 - f)[/math] 对于小串行比例，几乎呈线性增长。

3.4 Gustafson 定律的实际应用场景

Gustafson 适用于 吞吐量扩展 或可增加问题规模的工作负载：

• 天气和气候模拟
• 粒子模拟、CFD、有限元分析
• LLM 训练：更多 GPU → 更长序列或更大模型
• 大数据分析（Spark, Dask, Flink）
• 蒙特卡洛模拟

---

4. Amdahl 定律 vs Gustafson 定律（比较表）

项目	Amdahl	Gustafson
工作负载	固定	随 N 扩展
目标	降低延迟	增加吞吐量
加速比上限	有界: [math]1/f[/math]	近似线性: [math]N(1-f)[/math]
悲观/乐观	悲观	乐观
应用场景	优化现有任务	扩展大规模工作量

---

5. 实际应用场景（综合视角）

Amdahl（延迟优化）

• 减少单次 LLM 查询推理时间
• 加速数据库 join 操作
• 固定张量 GPU 内核优化
• 视频编码（相同视频）

Gustafson（吞吐量 / 扩展）

• LLM 训练（扩展至更多 GPU）
• 高分辨率天气模型模拟
• 大数据 ETL 扩展
• 科学 HPC 工作负载

6. Python 绘图脚本（显示两条定律）

下面代码生成 Amdahl 与 Gustafson 加速比曲线图。 可以调整 f（串行比例）和处理器数量 N。 脚本绘制两条曲线在同一张图上。 包括部分 [math]f[/math] 的值，例如串行部分： import numpy as np import matplotlib.pyplot as plt def amdahl_speedup(N, s): return 1.0 / (s + (1 - s) / N) def gustafson_speedup(N, s): return s + (1 - s) * N # Number of processors N = np.arange(1, 65) # Serial fractions to consider Serial = [0.05, 0.1, 0.2, 0.3, 0.5, 0.8, 0.9, 1.0] plt.figure(figsize=(10, 6)) for f in Serial: plt.plot(N, amdahl_speedup(N, f), linestyle='-', label=f"Amdahl Serial={f}") plt.plot(N, gustafson_speedup(N, f), linestyle='--', label=f"Gustafson Serial={f}") plt.title("Amdahl's Law") plt.xlabel("Number of Processors (N)") plt.ylabel("Speedup") plt.legend() plt.grid(True) plt.tight_layout() plt.savefig("parallel-speedup-amdahl-vs-gustafson.png") ## plt.show() 下面是 Amdahl 与 Gustafson 曲线图示。 [caption id="attachment_70445" align="alignnone" width="1000"] Amdahl 定律加速曲线[/caption] [caption id="attachment_70446" align="alignnone" width="1000"] Amdahl vs Gustafson 加速曲线[/caption] [caption id="attachment_70447" align="alignnone" width="1000"] Gustafson 定律加速曲线[/caption]

图示解读

• Amdahl 曲线迅速趋于平缓——受串行部分限制。
• Gustafson 曲线几乎线性上升——适用于可扩展工作负载。
• 串行比例 f 越高，两种模型差距越大。

结论

Amdahl 定律展示了固定工作负载下的并行 上限，适合延迟优化。Gustafson 定律展示了随工作负载扩展的并行 潜力。

• Amdahl 定律 → 固定规模工作负载 → 收益递减
• Gustafson 定律 → 可扩展工作负载 → 近似线性加速
• 结合使用理解硬件极限与算法特性
• Python 工具使可视化直观易懂

它们共同构成现代并行系统性能分析基础，从 HPC 到 LLM 训练，再到 GPU 计算。 英文：The Truth About Parallel Speedup: Amdahl’s Limits vs Gustafson’s Scaling