想拿下 TikTok 的 Machine Learning Engineer 新人岗？那你一定不能错过这次 TikTok VO 面试的全流程复盘！本文将详细分享真实题目、面试流程、答题思路以及备考建议，帮助你更好地了解 TikTok 面试风格，提升通过率。
TikTok MLE VO: Code
题目：给定一个数字字符串，找出所有可能的合法 IP 地址。检查每段长度为 1–3 位、数值在 0–255 之间，并且没有前导零（除非单独为“0”）。使用回溯法可高效枚举。
TikTok MLE VO: 模型 & 八股
以下配置基于某论文中 Transformer 模型及训练细节：
- 模型结构：
- 32 层，32 个 Attention 头（head size 64）
- 使用 Rotary Embedding（dim=32），context length = 2048
- 基于 Flash-Attention 优化内存和速度
- 训练细节：
- 随机初始化，固定学习率（fixed lr）
- Weight decay = 0.1
- Adam 优化器（β1=0.9, β2=0.98，ε=1e-7）
- 使用 fp16 + DeepSpeed ZeRO Stage 2
- Batch size = 2048，总训练量 150B tokens
典型面试问题
1. 什么是多头注意力 (Multi-Head Attention)？
- Head：对输入分别学习一组 (Q,K,V) 投影，提取不同特征。
- Multi-Head：并行多个 Head，从多角度捕捉依赖。
- 其他 Attention 变种：Cross-Attention、Sparse/Local Attention、Axial Attention 等。
2. Rotary Embedding 是什么？
- Rotary PE：将位置信息以旋转矩阵嵌入到 Q/K 中，属于位置编码（Positional Encoding）。
- 其他 PE 方法：Absolute PE（正余弦）、Learnable PE、Relative PE。
- 优势：自然融合相对位置信息，长距离推理和泛化更佳。
3. 如何处理长距离上下文？
- Sparse/Sliding Window Attention
- Performer / Linformer（低秩近似）
- Memory-based 机制（Longformer、BigBird）
- 分块或分层 Attention
4. Flash-Attention 是什么？
在 GPU 上进行块级计算，减少内存读写，显著加速并降低显存占用的 Attention 实现。
5. 为什么使用 Adam？其中 β1、β2、ε 有何含义？
- Adam：结合 AdaGrad 与 RMSProp，快速收敛且对超参数鲁棒。
- β1/β2：一阶、二阶动量衰减；ε：数值稳定项；lr：学习率。
6. 为什么用固定学习率而不 warm-up？
对于已成熟的初始化和超参配置，fixed lr 足够稳定，减少 warm-up 复杂度。
7. Weight Decay 是什么？
在参数更新中加入 L2 正则化项，有助于防止过拟合、提升泛化。
8. fp16 与其他精度比较？
- fp16（半精度）：加速训练、节省显存
- 其他：fp32、fp64、bf16（更大动态范围）
9. DeepSpeed ZeRO Stage 2 是什么？
分散优化器状态到多 GPU，减少单卡显存开销，适合训练更大模型。
参考
Contact Us
如果你需要面试支持服务，请 与我们联系。祝面试顺利！
END
