Biểu diễn & Căn chỉnhgiáo trình tự học
Chương 186 phút đọc

18Tài liệu tham khảo#

Biểu diễn và embedding

  1. Z. S. Harris. Distributional Structure. Word, 1954. Giả thuyết phân bố.
  2. J. R. Firth. A Synopsis of Linguistic Theory 1930–1955. Studies in Linguistic Analysis, 1957.
  3. T. Mikolov, K. Chen, G. Corrado, J. Dean. Efficient Estimation of Word Representations in Vector Space. ICLR Workshop, 2013.
  4. T. Mikolov và cộng sự. Distributed Representations of Words and Phrases and their Compositionality. NeurIPS, 2013. Lấy mẫu âm và số mũ 3/4.
  5. O. Levy, Y. Goldberg. Neural Word Embedding as Implicit Matrix Factorization. NeurIPS, 2014. Định lý 2.1.
  6. O. Levy, Y. Goldberg, I. Dagan. Improving Distributional Similarity with Lessons Learned from Word Embeddings. TACL, 2015.
  7. J. Pennington, R. Socher, C. D. Manning. GloVe: Global Vectors for Word Representation. EMNLP, 2014.
  8. J. Gao và cộng sự. Representation Degeneration Problem in Training Natural Language Generation Models. ICLR, 2019. Tính bất đẳng hướng.
  9. K. Ethayarajh. How Contextual are Contextualized Word Representations? EMNLP, 2019.
  10. M. E. Peters và cộng sự. Deep Contextualized Word Representations. NAACL, 2018. ELMo.
  11. J. Devlin, M.-W. Chang, K. Lee, K. Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, 2019.
  12. N. Reimers, I. Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP, 2019.
  13. A. van den Oord, Y. Li, O. Vinyals. Representation Learning with Contrastive Predictive Coding. arXiv:1807.03748, 2018. Hàm mất mát InfoNCE.
  14. T. Gao, X. Yao, D. Chen. SimCSE: Simple Contrastive Learning of Sentence Embeddings. EMNLP, 2021.
  15. L. Wang và cộng sự. Text Embeddings by Weakly-Supervised Contrastive Pre-training. arXiv:2212.03533, 2022. Họ mô hình E5.
  16. H. Jégou, M. Douze, C. Schmid. Product Quantization for Nearest Neighbor Search. IEEE TPAMI, 2011.
  17. Y. A. Malkov, D. A. Yashunin. Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. IEEE TPAMI, 2018.

Học chuyển giao và tinh chỉnh tiết kiệm tham số

  1. J. Howard, S. Ruder. Universal Language Model Fine-tuning for Text Classification. ACL, 2018. Mở đóng băng dần.
  2. M. McCloskey, N. J. Cohen. Catastrophic Interference in Connectionist Networks. Psychology of Learning and Motivation, 1989.
  3. N. Houlsby và cộng sự. Parameter-Efficient Transfer Learning for NLP. ICML, 2019. Adapter.
  4. E. J. Hu và cộng sự. LoRA: Low-Rank Adaptation of Large Language Models. ICLR, 2022.
  5. A. Aghajanyan, L. Zettlemoyer, S. Gupta. Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning. ACL, 2021.
  6. T. Dettmers, A. Pagnoni, A. Holtzman, L. Zettlemoyer. QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS, 2023.
  7. D. Biderman và cộng sự. LoRA Learns Less and Forgets Less. TMLR, 2024.
  8. X. L. Li, P. Liang. Prefix-Tuning: Optimizing Continuous Prompts for Generation. ACL, 2021.
  9. B. Lester, R. Al-Rfou, N. Constant. The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP, 2021.
  10. E. Ben Zaken, S. Ravfogel, Y. Goldberg. BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models. ACL, 2022.

Mô hình sinh

  1. D. P. Kingma, M. Welling. Auto-Encoding Variational Bayes. ICLR, 2014. VAE và tái tham số hoá.
  2. I. Higgins và cộng sự. beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. ICLR, 2017.
  3. M. E. Tipping, C. M. Bishop. Probabilistic Principal Component Analysis. Journal of the Royal Statistical Society B, 1999.
  4. S. R. Bowman và cộng sự. Generating Sentences from a Continuous Space. CoNLL, 2016. Sụp hậu nghiệm với bộ giải mã tự hồi quy.
  5. I. Goodfellow và cộng sự. Generative Adversarial Nets. NeurIPS, 2014. Bài toán minimax, bộ phân biệt tối ưu và hàm mất mát không bão hoà.
  6. M. Arjovsky, S. Chintala, L. Bottou. Wasserstein Generative Adversarial Networks. ICML, 2017.
  7. M. Heusel và cộng sự. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. NeurIPS, 2017. Chỉ số FID.
  8. J. Sohl-Dickstein, E. Weiss, N. Maheswaranathan, S. Ganguli. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. ICML, 2015.
  9. J. Ho, A. Jain, P. Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS, 2020. Dạng đóng, hàm mất mát dự đoán nhiễu.
  10. J. Song, C. Meng, S. Ermon. Denoising Diffusion Implicit Models. ICLR, 2021.
  11. A. Nichol, P. Dhariwal. Improved Denoising Diffusion Probabilistic Models. ICML, 2021. Lịch nhiễu cosine.
  12. T. Salimans, J. Ho. Progressive Distillation for Fast Sampling of Diffusion Models. ICLR, 2022.
  13. R. Rombach và cộng sự. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022.
  14. J. Ho, T. Salimans. Classifier-Free Diffusion Guidance. arXiv:2207.12598, 2022.

Học tăng cường và căn chỉnh

  1. R. S. Sutton, A. G. Barto. Reinforcement Learning: An Introduction, 2nd ed. MIT Press, 2018. Khởi tạo lạc quan ở Chương 2.
  2. C. J. C. H. Watkins, P. Dayan. Q-learning. Machine Learning, 1992.
  3. R. J. Williams. Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning. Machine Learning, 1992. REINFORCE và đường nền.
  4. R. S. Sutton, D. McAllester, S. Singh, Y. Mansour. Policy Gradient Methods for Reinforcement Learning with Function Approximation. NeurIPS, 2000.
  5. J. Schulman và cộng sự. High-Dimensional Continuous Control Using Generalized Advantage Estimation. ICLR, 2016.
  6. J. Schulman và cộng sự. Proximal Policy Optimization Algorithms. arXiv:1707.06347, 2017.
  7. P. F. Christiano và cộng sự. Deep Reinforcement Learning from Human Preferences. NeurIPS, 2017.
  8. N. Stiennon và cộng sự. Learning to Summarize from Human Feedback. NeurIPS, 2020.
  9. L. Ouyang và cộng sự. Training Language Models to Follow Instructions with Human Feedback. NeurIPS, 2022. InstructGPT và quy trình ba giai đoạn.
  10. Y. Bai và cộng sự. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv:2204.05862, 2022a.
  11. Y. Bai và cộng sự. Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073, 2022b.
  12. R. A. Bradley, M. E. Terry. Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons. Biometrika, 1952.
  13. L. Gao, J. Schulman, J. Hilton. Scaling Laws for Reward Model Overoptimization. ICML, 2023.
  14. R. Rafailov và cộng sự. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS, 2023.
  15. S. Xu và cộng sự. Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study. ICML, 2024.
  16. M. G. Azar và cộng sự. A General Theoretical Paradigm to Understand Learning from Human Preferences. AISTATS, 2024. IPO.
  17. K. Ethayarajh và cộng sự. KTO: Model Alignment as Prospect Theoretic Optimization. ICML, 2024.