KUKLIFE KUKLIFE

Deep-Learning/[NLP] 이론

• 금융권에서 경험한 NLP 일기장 - 1. DAPT

  Deep-Learning/[NLP] 이론 2023. 11. 10. 19:30

  신한은행에서 AI Research Engineer로 재직하며 Document AI와 LLM 분야에서 다양한 연구와 과제를 수행했었다. 특히, 유능한 사람들이 만들어준 한국어 NLP 모델을 금융에 잘 써먹기 위해서는 Domain Adaptive pre-training (이하 DAPT)의 지식이 필수적이다. 이에 DAPT를 중심으로 직접 겪으며 미리 알았으면 좋았을 이론들과 나의 경험, 그리고 고찰들을 간단하게 정리해보았다. * Vision을 전공했다보니 NLP 지식 습득을 위해 많은 고생을 했었던거 같다ㅠㅠ 그렇기에 필수적으로 알아야할 부분만 정리한 것이니 자세한 내용이 궁금하다면 원논문을 보는걸 권장! 다 쓰고 보니 너무 두서없이 적은거같네... 1. Tokenizer for Wordpiece vs. S..

  Read More

• [LLM 기초 다지기] LoRA for LLM Fine-tuning

  Deep-Learning/[NLP] 이론 2023. 11. 9. 14:06

  진작 알았다면 좋았을 NLP 및 LLM에 대한 기초 지식 11. LoRA for LLM Fine-tuning Contents 🔹 Word Embeddings: https://kuklife.tistory.com/144 🔹 Attention Mechanism: https://kuklife.tistory.com/145 🔹 Self-Attention: https://kuklife.tistory.com/148 🔹 Overview of LLMs: 🔹 LLM benchmark and Metrics: 🔹 GPT: 🔹 LLaMA2: 🔹 RAG: 🔹 Chain of Thought (CoT, Zero-shot CoT, AutoCoT, ReACT): 🔹 Fine-tuning for LLM (LoRA, P-tuning): ht..

  Read More

• [LLM 기초 다지기 ] Self Attention and Transformer

  Deep-Learning/[NLP] 이론 2023. 11. 5. 20:12

  진작 알았다면 좋았을 NLP 및 LLM에 대한 기초 지식 3. Self-Attention and Transformer Contents Contents 🔹 Word Embeddings: https://kuklife.tistory.com/144 🔹 Attention Mechanism: https://kuklife.tistory.com/145 🔹 Self-Attention: https://kuklife.tistory.com/148 🔹 Overview of LLMs: 🔹 LLM benchmark and Metrics: 🔹 GPT: 🔹 LLaMA2: 🔹 RAG: 🔹 Chain of Thought (CoT, Zero-shot CoT, AutoCoT, ReACT): 🔹 Fine-tuning for LLM (LoRA,..

  Read More

• [LLM 기초 다지기] Attention Mechanism

  Deep-Learning/[NLP] 이론 2023. 11. 3. 23:15

  진작 알았다면 좋았을 NLP 및 LLM에 대한 기초 지식 2. Attention Mechanism Contents 🔹 Word Embeddings: https://kuklife.tistory.com/144 🔹 Attention Mechanism: https://kuklife.tistory.com/145 🔹 Self-Attention: https://kuklife.tistory.com/148 🔹 Overview of LLMs: 🔹 LLM benchmark and Metrics: 🔹 GPT: 🔹 LLaMA2: 🔹 RAG: 🔹 Chain of Thought (CoT, Zero-shot CoT, AutoCoT, ReACT): 🔹 Fine-tuning for LLM (LoRA, P-tuning): https://..

  Read More

• [LLM 기초 다지기] Word Embeddings

  Deep-Learning/[NLP] 이론 2023. 10. 30. 22:44

  진작 알았다면 좋았을 NLP 및 LLM에 대한 기초 지식 1. Word Embeddings Contents 🔹 Word Embeddings: https://kuklife.tistory.com/144 🔹 Attention Mechanism: https://kuklife.tistory.com/145 🔹 Self-Attention: https://kuklife.tistory.com/148 🔹 Overview of LLMs: 🔹 LLM benchmark and Metrics: 🔹 GPT: 🔹 LLaMA2: 🔹 RAG: 🔹 Chain of Thought (CoT, Zero-shot CoT, AutoCoT, ReACT): 🔹 Fine-tuning for LLM (LoRA, P-tuning): https://kukl..

  Read More