Transformer, LLM and Vibe coding Seminar
0 likes19 views
Part 1: The Beginning of Everything - The Fundamentals of Deep LearningBefore embarking on our main journey, we will explore the fundamental principles of deep learning, the backbone of modern AI. We will easily break down, with visual aids, how artificial neural networks mimic the human brain to learn patterns, and the concepts of Backpropagation and Gradient Descent, which are the processes models use to find correct answers. You will come to understand how these foundational principles become the master key to training massive Transformer models with billions of parameters.Part 2: An Innovation in Understanding Context - The Transformer Architecture. In Part 2, "Attention Is All You Need."Tokenization and Embedding: We will learn how computers convert human language into numbers and represent the meaning of words and sentences in a vector space through techniques like Byte Pair Encoding (BPE) and Word2Vec. Attention Mechanism: We will delve into 'Self-Attention,' the most innovative concept of the Transformer. The principle of dynamically calculating the importance of words to each other within a sentence to grasp context will be explained through the concepts of Query, Key, and Value. Multi-Head Attention and Architecture: We will visualize the process of extracting rich contextual information by analyzing a sentence from multiple perspectives using several 'attention heads' rather than a single one. We will provide an overview of the entire structure, examining how the encoder and decoder interact to perform complex tasks such as translation, summarization, and question-answering. Part 3: LLM and AI Agents. We will discuss the process of fine-tuning pre-trained models on vast amounts of data for specific purposes, and the importance of Retrieval-Augmented Generation (RAG) technology with LLM hallucinations. Furthermore, we will introduce the concept and real-world examples of 'AI Agents' that go beyond simply answering questions to independently plan, use tools, and solve problems. Part 4: The Future of Development - Vibe Coding Finally, we will introduce the new wave these AI technologies have brought to the software development scene: "Vibe Coding." This is a development method where developers no longer write every line of code manually but rather converse and collaborate with AI through natural language to rapidly implement ideas into prototypes.Core Tool Analysis: We will demonstrate the pros, cons, and practical applications of the best AI coding assistant tools available today, such as GitHub Copilot, Cursor, Gemini-CLI, and OpenAI Codex, through live examples. Productivity Revolution: We will showcase a process where a Product Requirements Document (PRD) is given to an AI agent, which then automatically generates an initial version of the entire application. This will illustrate how developers can break free from repetitive tasks to focus more on creative problem-solving.
![Vibe coding. No coding
소프트웨어 엔지니어링 AI 에이전트 기술
Popular AI Agents for Devs: Chatdev, SWE-Agent & Devin [Example Project]
Software Development Life Cycle Models and Methodologies - Mohamed Sami](https://image.slidesharecdn.com/transformerllmvibecoding3-250827101412-ada8a9f9/85/Transformer-LLM-and-Vibe-coding-Seminar-16-320.jpg)
![Training dataset in Transformer source code
디코더 입력(힌트) 디코더 출력 (예측 Logits) 정답 라벨 Loss 계산
<sos> (0) Logit 1 (예: {'너': 0.3, '잘': 0.1, ...}) 너 (100)
Logit 1의 예측과 '너'가 얼마
나 다른지 계산
너 (100) Logit 2 (예: {'너': 0.1, '잘': 0.4, ...}) 잘 (101)
Logit 2의 예측과 '잘'이 얼마
나 다른지 계산
잘 (101) Logit 3 (예: {'있니': 0.5, '있다': 0.2, ...}) 있니 (102)
Logit 3의 예측과 '있니'가 얼
마나 다른지 계산
있니 (102)
Logit 4 (예: {'<eos>': 0.6, '입니다':
0.1, ...})
<eos> (1)
Logit 4의 예측과 '<eos>'가
얼마나 다른지 계산
Step 1. Tokenization
종류 목적 원본 토큰화 결과
인코더 입력 번역할 소스 문장 how are you [10, 11, 12]
디코더 입력
정답을 한 칸씩 밀어서 모델에게 힌트로 제
공 (Shifted Right)
<sos> 너 잘 있니 [0, 100, 101, 102]
정답 라벨 모델이 각 단계에서 예측해야 할 실제 정답 너 잘 있니 <eos> [100, 101, 102, 1]
<sos>: 0, <eos>: 1, <pad>: 2. how: 10, are: 11, you: 12. 너: 100, 잘: 101, 있니: 102
Step 2. Train dataset preparation
Step 3. Encoder Forward Pass > Context vector (Self attention. English feature)
Step 4. Decoder Forward Pass > Context vector (Cross attention. English + Korean feature)
Step 5. Calculate Logits Loss to labels (Cross-Entropy Loss)
Step 6. Backpropagation to decrease different between How are you and 너 잘 있니 <eos)](https://image.slidesharecdn.com/transformerllmvibecoding3-250827101412-ada8a9f9/85/Transformer-LLM-and-Vibe-coding-Seminar-43-320.jpg)
![Training transformer model
1. 처음엔 QK^T가 의미 없는 유사도를 계산함 → softmax 후 V를 평균해서 출력
2. 이 결과가 예측 라벨(예: 다음 단어)과 멀면 loss 증가
3. 역전파로 Q, K, V를 만드는 가중치 WQ, WK, Wv가 업데이트됨
4. 배치 데이터셋에 대해 1-3을 반복하면서 각 QKV가 문맥에서 다른 역할을 하도록 학습
Scaled Dot Product Attention
이 모듈은 어텐션의 기본 동작을 수행하는 핵심
요소.
입력으로 주어진 Q(Query), K(Key), V(Value) 벡터
를 이용하여 다음 연산을 수행
Multi-Head Attention
어텐션을 단일 벡터로 계산하면 정보 손실이 크
기 때문에, 여러 개의 어텐션 "헤드"를 병렬로 실
행한 후 결과를 concat하여 사용
Positional Encoding
트랜스포머는 순서를 고려하지 않기 때문에 각
단어의 위치 정보를 인코딩
이를 위해 사인(sin), 코사인(cos) 함수를 기반으
로 위치 인코딩 벡터를 생성
class ScaledDotProductAttention(nn.Module):
def forward(self, Q, K, V):
scores = torch.matmul
(Q, K.transpose(-2, -1)) / math.sqrt(d_k)
attn = F.softmax(scores, dim=-1)
return torch.matmul(attn, V)
class MultiHeadAttention(nn.Module):
def forward(self, Q, K, V):
# Q, K, V 선형 변환 및 split
# 각 헤드별 attention 계산
# concat 후 출력 선형 변환
return output
class PositionalEncoding(nn.Module):
def forward(self, x):
# sin, cos 벡터 계산 후 입력에 더함
return x + self.pe[:, :x.size(1)]
class EncoderLayer(nn.Module):
def forward(self, x):
x = x + self_attn(x, x, x) # Residual
x = LayerNorm(x)
x = x + FFN(x) # Residual
x = LayerNorm(x)
return x](https://image.slidesharecdn.com/transformerllmvibecoding3-250827101412-ada8a9f9/85/Transformer-LLM-and-Vibe-coding-Seminar-44-320.jpg)
![Transformer scratch code
# 1. 입력 및 라벨 시퀀스
input_sentence = ["I", "am", "a", "student"] # 영어 입력
target_sentence = ["<sos>", "저는", "학생", "입니다"] # 한국어 출력 입력 (디코더 입력)
target_labels = ["저는", "학생", "입니다", "<eos>"] # 예측할 실제 정답 (디코더 출력)
# 2. 인코더
X = embed(input_sentence) # 입력 시퀀스 임베딩 → [x_I, x_am, x_a, x_student]
X = position_encoding(X) # 위치 인코딩
Q_enc = linear_Q(X) # Q from encoder input
K_enc = linear_K(X) # K from encoder input
V_enc = linear_V(X) # V from encoder input
# 인코더 출력: 입력 문맥이 반영된 벡터들
encoder_outputs = self_attention(Q_enc, K_enc, V_enc)](https://image.slidesharecdn.com/transformerllmvibecoding3-250827101412-ada8a9f9/85/Transformer-LLM-and-Vibe-coding-Seminar-45-320.jpg)
![Transformer scratch code
Y = ["<sos>"] # 디코더 초기 입력 (<sos> 부터 시작)
logits_sequence = [] # 출력 로짓을 저장
# 3. 디코더
for t in range(len(target_labels)):
Y_embed = embed(Y) # 현재까지 생성된 디코더 입력 임베딩
# 디코더 Self-Attention (마스킹 포함)
Q_dec = linear_Q_dec(Y_embed) # Q from decoder input
K_dec = linear_K_dec(Y_embed) # K from decoder input
V_dec = linear_V_dec(Y_embed) # V from decoder input
dec_out = masked_self_attention(Q_dec, K_dec, V_dec) # 디코더 내부 문맥 계산(마스킹)
# Cross-Attention: 디코더 → 인코더 입력 참조
Q_cross = linear_Q_cross(dec_out) # Q from 디코더 문맥
K_cross = linear_K_cross(encoder_outputs) # K from 인코더 출력
V_cross = linear_V_cross(encoder_outputs) # V from 인코더 출력
cross_out = attention(Q_cross, K_cross, V_cross) # 입력 문장 정보에 기반한 번역 벡터
V K Q](https://image.slidesharecdn.com/transformerllmvibecoding3-250827101412-ada8a9f9/85/Transformer-LLM-and-Vibe-coding-Seminar-46-320.jpg)
![Transformer scratch code
for t in range(len(target_labels)):
…
# 출력 로짓 생성
logits = linear_output(cross_out) # vocab 크기의 예측 로짓
logits_sequence.append(logits[-1]) # 토큰 예측
# 다음 디코더 입력을 위해 정답을 넣음 (teacher forcing)
next_token = target_sentence[t + 1] # "저는" 다음은 "학생"
Y.append(next_token) # 다음 루프를 위한 디코더 입력에 추가
# 4. 손실(Loss) 계산
loss = 0
for logit, label_token in zip(logits_sequence, target_labels):
label_id = vocab_id(label_token) # 정답 토큰을 ID로 변환
loss += cross_entropy_loss(logit, label_id) # 예측 분포와 정답 ID 간의 CrossEntropy Loss
loss = loss / len(target_labels) # 평균 손실값 (시퀀스 길이만큼 나눔)
# 5. 역전파 및 파라미터 업데이트 수행](https://image.slidesharecdn.com/transformerllmvibecoding3-250827101412-ada8a9f9/85/Transformer-LLM-and-Vibe-coding-Seminar-47-320.jpg)
Transformer, LLM and Vibe coding Seminar
- 2. Study BIM, GIS, Facility Management, IoT, Scan to BIM and AX 12 books publication https://github.com/mac999
- 3. Study Members of the Nobel Committee for Chemistry at the Royal Swedish Academy of Sciences explain the work of 2024 Nobel Prize in Chemistry winners David Baker, Demis Hassabis and John M. Jumper.JONATHAN NACKSTRAND/AFP via Getty Images AI Pioneers Geoffrey Hinton And John Hopfield Win Nobel Prize For Physics | Latest News | WION
- 4. Study
- 5. 실습 권장사양 Hugging Face – The AI community building the future. 회원 가입 (무료 옵션) GitHub 회원 가입 (무료 옵션) Microsoft Copilot: Your AI companion 회원 가입 ChatGPT 회원 가입 Claude 회원 가입
- 6. LLM & AI Agent Trend mac999/LLM-RAG-Agent-Tutorial: LLM-RAG- Agent-Tutorial
- 7. AX Era Members of the Nobel Committee for Chemistry at the Royal Swedish Academy of Sciences explain the work of 2024 Nobel Prize in Chemistry winners David Baker, Demis Hassabis and John M. Jumper.JONATHAN NACKSTRAND/AFP via Getty Images AI Pioneers Geoffrey Hinton And John Hopfield Win Nobel Prize For Physics | Latest News | WION
- 8. AX Era
- 9. AX Era
- 10. LLM Large Language Models as General Pattern Machines
- 11. Multi AI Agent Yuheng Cheng, 2024, Exploring Large Language Model based Intelligent Agents: Definitions, Methods, and Prospects
- 12. Vibe coding. No coding 바이브 코딩 This Game Created by AI 'Vibe Coding' Makes $50,000 a Month. Yours Probably Won’t, Wix Acquires Six-month-old AI “Vibe Coding” Startup Base44 for $80M Cash, Cognizant’s Vibe Coding Lesson for Indian IT, Vibe Coded a Website With My Daughter Using an AI Tool Called Bolt - Business Insider Vibe Coding: The Future of Software Development or Just a Trend? - Lovable Blog Build Apps with AI in Minutes | Base44
- 13. Vibe coding. No coding
- 14. Vibe coding. No coding Gemini CLI vs Claude Code vs Cursor – Which is the best option for coding? – Bind AI IDE Is Vibe Coding the Future of Software Development? A Deep Dive into AI’s Role OpenAI Codex: Transforming Software Development with AI Agents - DevOps.com
- 15. Vibe coding. No coding 노코드(No-code) 확산 Daddy Makers: 노코드 서비스 비교 분석하기
- 16. Vibe coding. No coding 소프트웨어 엔지니어링 AI 에이전트 기술 Popular AI Agents for Devs: Chatdev, SWE-Agent & Devin [Example Project] Software Development Life Cycle Models and Methodologies - Mohamed Sami
- 18. Deep learning Deep Learning Neural Networks Explained in Plain English and Becoming Human ŷ =f(W⋅x+b) ŷ
- 19. Deep learning Fei-Fei Li & Ehsan Adeli, 2024, Stenford University Backpropagation
- 20. Deep learning Fei-Fei Li & Ehsan Adeli, 2024, Stenford University Backprop: Rumelhart, Hinton, and Williams, 1986 ∆𝑤𝑖 = −α 𝑑𝐸 𝑑𝑤𝑖 𝑤𝑛𝑒𝑥𝑡 = 𝑤 + ∆𝑤 Backpropagation
- 21. Deep learning Gradient Descent and Cost Function in Python - Startertutorials ŷ=f(W⋅x+b) target=minLOSS(y- ŷ)
- 22. Deep learning Enhancing Multi-Layer Perceptron Performance: Demystifying Optimizers | by Anand Raj | Towards AI ŷ=f(W⋅x+b) target=minLOSS(y- ŷ)
- 24. Token Token ID How 10 Are 4 You 13
- 25. Token BPE(Byte Pair Encoding) Understanding Byte Pair Encoding (BPE) in Large Language Models
- 26. Embedding http://suriyadeepan.github.io/ Intro to Word Embeddings and Vectors for Text Analysis.
- 27. Embedding for center_word, context_words in dataset: center_vec = word_embedding(center_word) for context in context_words: context_vec = word_embedding(context) loss += negative_sampling_loss(center_vec, context_vec) loss.backward() optimizer.step() Word2Vec (Google, 2013) Skip-gram과 CBOW(Continuous Bag of Words) 두 가지 학습 방법 사용. Skip-gram은 중심 단어를 입력으로 주고, 주변 단어를 예측. CBOW는 주변단어들로 중심단 어를 예측 “The quick brown fox jumps” 문장 중심 단어 ＂fox”의 윈도 크기가 2라면, 주변 단어는 ＂ brown＂과 ＂jumps＂가 됨 Word2Vec은 주변 단어를 예측하는 loss를 최소화하며 학습. 임베딩 모델들은 주로 대규모 텍스트 데이터에서 비지도 학습 방식으로 학습
- 29. Embedding vector distance distance = F.cosine_similarity(embedding("apple"), embedding("banana")) Cosine similarity
- 30. Sequence semantic similarity Computing semantic similarity of texts based on deep graph learning with ability to use semantic role label information | Scientific Reports Advances in Semantic Textual Similarity
- 31. Attention Link: 딥러닝 모델 트랜스포머 인코더 핵심 코드 구현을 통한 동작 메커니즘 이해하기
- 32. Transform Problem Masking in Transformer Encoder/Decoder Models - Sanjaya’s Blog auto-regressive manner
- 34. Sequence context calculation Cosine similiarty for seqnce context calculation Decoding strategies in Decoder models (LLMs) - Sanjaya’s Blog
- 36. Attention equation Query = Q x Qw Key = K x Kw Value = V x Vw Attention score matrix
- 37. Attention equation Context Feature Tutorial 6: Transformers and Multi-Head Attention — UvA DL Notebooks v1.2 documentation
- 38. Cross attention English Context Space K V Q Ehow Eare Eyou Korean Context Space K잘 K지내 K너 Ehow Eare Eyou English Context Space Vw Zcontext (Contextual embedding vector) Add & Norm FF Add & Norm Linear Softmax Logits (len(vocabulary)) K잘 Linear Transformation Weighted Linear Combination Self Attention Space
- 39. Contextual embedding "나는 학생" → 어텐션 → out → FFN → logits (10000차원) → softmax → "입니다" (예측) source code Self-Attention 을 통과한 벡터값은 어떤 문맥(문장)에 놓이느냐에 따라 그 의미를 반영하는 고 유한 벡터표현을 가지게 됨. 예를 들어, "과일 사과"의 임베딩과 "행위 사과"의 임베딩은 주변 단어의 영향을 받아 서로 다른 벡터 값을 가지게 됨
- 41. Position encoding how are you ? See you soon <EOS> <PAD> <PAD> 1 2 3 4 5 6 7 8 9 10 Learning Position with Positional Encoding - Scaler Topics pos = position of word in sequence d = embedding dimension i = index in embedding vector. 0 <= I <= d/2 A Gentle Introduction to Positional Encoding in Transformer Models, Part 1 - MachineLearningMaster y.com
- 42. Transformer Architecture Daddy Makers: 딥러닝 모델 트랜스포머 인코더 핵 심 코드 구현을 통한 동작 메커니즘 이해하기 Five most popular similarity measures implementation in python - Dataaspirant Tutorial 6: Transformers and Multi-Head Attention — UvA DL Notebooks v1.2 documentation
- 43. Training dataset in Transformer source code 디코더 입력(힌트) 디코더 출력 (예측 Logits) 정답 라벨 Loss 계산 <sos> (0) Logit 1 (예: {'너': 0.3, '잘': 0.1, ...}) 너 (100) Logit 1의 예측과 '너'가 얼마 나 다른지 계산 너 (100) Logit 2 (예: {'너': 0.1, '잘': 0.4, ...}) 잘 (101) Logit 2의 예측과 '잘'이 얼마 나 다른지 계산 잘 (101) Logit 3 (예: {'있니': 0.5, '있다': 0.2, ...}) 있니 (102) Logit 3의 예측과 '있니'가 얼 마나 다른지 계산 있니 (102) Logit 4 (예: {'<eos>': 0.6, '입니다': 0.1, ...}) <eos> (1) Logit 4의 예측과 '<eos>'가 얼마나 다른지 계산 Step 1. Tokenization 종류 목적 원본 토큰화 결과 인코더 입력 번역할 소스 문장 how are you [10, 11, 12] 디코더 입력 정답을 한 칸씩 밀어서 모델에게 힌트로 제 공 (Shifted Right) <sos> 너 잘 있니 [0, 100, 101, 102] 정답 라벨 모델이 각 단계에서 예측해야 할 실제 정답 너 잘 있니 <eos> [100, 101, 102, 1] <sos>: 0, <eos>: 1, <pad>: 2. how: 10, are: 11, you: 12. 너: 100, 잘: 101, 있니: 102 Step 2. Train dataset preparation Step 3. Encoder Forward Pass > Context vector (Self attention. English feature) Step 4. Decoder Forward Pass > Context vector (Cross attention. English + Korean feature) Step 5. Calculate Logits Loss to labels (Cross-Entropy Loss) Step 6. Backpropagation to decrease different between How are you and 너 잘 있니 <eos)
- 44. Training transformer model 1. 처음엔 QK^T가 의미 없는 유사도를 계산함 → softmax 후 V를 평균해서 출력 2. 이 결과가 예측 라벨(예: 다음 단어)과 멀면 loss 증가 3. 역전파로 Q, K, V를 만드는 가중치 WQ, WK, Wv가 업데이트됨 4. 배치 데이터셋에 대해 1-3을 반복하면서 각 QKV가 문맥에서 다른 역할을 하도록 학습 Scaled Dot Product Attention 이 모듈은 어텐션의 기본 동작을 수행하는 핵심 요소. 입력으로 주어진 Q(Query), K(Key), V(Value) 벡터 를 이용하여 다음 연산을 수행 Multi-Head Attention 어텐션을 단일 벡터로 계산하면 정보 손실이 크 기 때문에, 여러 개의 어텐션 "헤드"를 병렬로 실 행한 후 결과를 concat하여 사용 Positional Encoding 트랜스포머는 순서를 고려하지 않기 때문에 각 단어의 위치 정보를 인코딩 이를 위해 사인(sin), 코사인(cos) 함수를 기반으 로 위치 인코딩 벡터를 생성 class ScaledDotProductAttention(nn.Module): def forward(self, Q, K, V): scores = torch.matmul (Q, K.transpose(-2, -1)) / math.sqrt(d_k) attn = F.softmax(scores, dim=-1) return torch.matmul(attn, V) class MultiHeadAttention(nn.Module): def forward(self, Q, K, V): # Q, K, V 선형 변환 및 split # 각 헤드별 attention 계산 # concat 후 출력 선형 변환 return output class PositionalEncoding(nn.Module): def forward(self, x): # sin, cos 벡터 계산 후 입력에 더함 return x + self.pe[:, :x.size(1)] class EncoderLayer(nn.Module): def forward(self, x): x = x + self_attn(x, x, x) # Residual x = LayerNorm(x) x = x + FFN(x) # Residual x = LayerNorm(x) return x
- 45. Transformer scratch code # 1. 입력 및 라벨 시퀀스 input_sentence = ["I", "am", "a", "student"] # 영어 입력 target_sentence = ["<sos>", "저는", "학생", "입니다"] # 한국어 출력 입력 (디코더 입력) target_labels = ["저는", "학생", "입니다", "<eos>"] # 예측할 실제 정답 (디코더 출력) # 2. 인코더 X = embed(input_sentence) # 입력 시퀀스 임베딩 → [x_I, x_am, x_a, x_student] X = position_encoding(X) # 위치 인코딩 Q_enc = linear_Q(X) # Q from encoder input K_enc = linear_K(X) # K from encoder input V_enc = linear_V(X) # V from encoder input # 인코더 출력: 입력 문맥이 반영된 벡터들 encoder_outputs = self_attention(Q_enc, K_enc, V_enc)
- 46. Transformer scratch code Y = ["<sos>"] # 디코더 초기 입력 (<sos> 부터 시작) logits_sequence = [] # 출력 로짓을 저장 # 3. 디코더 for t in range(len(target_labels)): Y_embed = embed(Y) # 현재까지 생성된 디코더 입력 임베딩 # 디코더 Self-Attention (마스킹 포함) Q_dec = linear_Q_dec(Y_embed) # Q from decoder input K_dec = linear_K_dec(Y_embed) # K from decoder input V_dec = linear_V_dec(Y_embed) # V from decoder input dec_out = masked_self_attention(Q_dec, K_dec, V_dec) # 디코더 내부 문맥 계산(마스킹) # Cross-Attention: 디코더 → 인코더 입력 참조 Q_cross = linear_Q_cross(dec_out) # Q from 디코더 문맥 K_cross = linear_K_cross(encoder_outputs) # K from 인코더 출력 V_cross = linear_V_cross(encoder_outputs) # V from 인코더 출력 cross_out = attention(Q_cross, K_cross, V_cross) # 입력 문장 정보에 기반한 번역 벡터 V K Q
- 47. Transformer scratch code for t in range(len(target_labels)): … # 출력 로짓 생성 logits = linear_output(cross_out) # vocab 크기의 예측 로짓 logits_sequence.append(logits[-1]) # 토큰 예측 # 다음 디코더 입력을 위해 정답을 넣음 (teacher forcing) next_token = target_sentence[t + 1] # "저는" 다음은 "학생" Y.append(next_token) # 다음 루프를 위한 디코더 입력에 추가 # 4. 손실(Loss) 계산 loss = 0 for logit, label_token in zip(logits_sequence, target_labels): label_id = vocab_id(label_token) # 정답 토큰을 ID로 변환 loss += cross_entropy_loss(logit, label_id) # 예측 분포와 정답 ID 간의 CrossEntropy Loss loss = loss / len(target_labels) # 평균 손실값 (시퀀스 길이만큼 나눔) # 5. 역전파 및 파라미터 업데이트 수행
- 51. CLIP multimodal 2021 CLIP(Contrastive Language-Image Pre- Training. Open AI. 2021 Daddy Makers: 생성AI 멀티모달 모델 개발의 시작. OpenAI의 CLIP모델 이해, 코드 분석, 개발, 사용하기
- 52. LLM large language model history A Timeline of Large Language Model Innovation y=f(w⋅x+b)
- 53. LLM large language model Large Language Models as General Pattern Machines
- 54. Fine turning A deep learning-based framework for detecting COVID-19 patients using chest X-rays | Request PDF
- 55. Fine turning No fine tuning
- 56. Fine turning After fine tuning
- 57. Fine turning fine tuning. Epoch = 10 (over 5 hours)
- 58. Hallucination
- 59. LLM & Vector database Chroma CEO. Jeff Huber, Anton Troynikov 18M$. 2023
- 62. BIM expert agent using RAG
- 63. BIM expert agent using RAG
- 64. AI Agent with BIM
- 65. GeoGPT
- 66. LLM & Transformer mac999/LLM-RAG-Agent-Tutorial: LLM- RAG-Agent-Tutorial
- 68. Vibe coding
- 69. Vibe coding 도구 (Tool) 가격 (월. 2025/8 시점) 장점 단점 Cursor • Pro: $20 • 무료: 기능 제한 • 코드 에디터 자체에 AI 기능이 완벽 히 통합 • 프로젝트 전체 코드를 이해하고 답 하는 @Codebase 기능이 강력함 • AI를 통한 코드 생성, 수정, 리팩토 링이 직관적임 • VS Code 기반으로 기존 사용자에 게 익숙함 • 일반 에디터보다 무겁고 시스템 자원을 많이 사용 • 최신 도구라 안정성이 상대적으 로 낮을 수 있음 • 무료 플랜은 '빠른 모델' 사용 횟수가 제한적임 GitHub Copilot • Individual: $10 • Business: 사용자당 $19 • 학생/교사/오픈소 스 기여자 무료 • 업계 표준 수준의 정확하고 빠른 인 라인 코드 완성 • VS Code, JetBrains 등 기존 IDE에 확장 프로그램으로 설치하여 사용 편의성이 높음 • Microsoft/GitHub의 지원으로 안정 성과 지원이 우수함 • Cursor에 비해 프로젝트 전체의 복잡한 맥락 파악은 다소 부족 • 주로 코드 완성 기능에 집중되 어 있어 고차원적인 작업 지시 는 한계가 있을 수 있음 Claude-CLI • API 기반 (사용량 과금) • 모델(Sonnet/Opus) 과 토큰 사용량에 따라 비용 변동 • 개발자 평균 월 $100 내외 (사용량 에 따라 크게 달라 짐) • 복잡한 로직 생성, 버그 수정, 문서 화 등 높은 수준의 추론이 필요한 작업에 매우 강력 • 터미널(CLI) 기반으로 스크립트 작 성, 자동화 등 개발 워크플로우에 자유롭게 통합 가능 • 긴 컨텍스트 처리 능력이 뛰어나 전 체 파일 또는 여러 파일의 리팩토링 에 유리함 • IDE 통합이 아닌 별도 터미널 창에서 사용해야 해 번거로움 • 실시간 코드 완성과 같은 기능 은 없음 • 사용량 기반 요금제로 비용이 예측하기 어렵고, 사용량이 많 으면 비쌀 수 있음
- 70. Github
- 71. Vibe coding What is GitHub Copilot? - GitHub Docs
- 72. Vibe coding •Try Copilot for free: Use Copilot Free to explore core Copilot features with no paid plan required. •Subscribe to a paid plan: Upgrade to Copilot Pro or Copilot Pro+ for full access to premium features and more generous usage limits. You can try Copilot Pro for free with a one-time 30-day trial. •Eligible for free Copilot Pro access? Students, teachers, and open source maintainers may qualify for Copilot Pro at no cost. See Getting free access to GitHub Copilot Pro as a student, teacher, or maintainer. •Organization members: If your organization or enterprise has a GitHub Copilot plan, you can request access to Copilot by going to https://github.com/settings/copilot and requesting access under "Get Copilot from an organization." See Getting started with a GitHub Copilot plan for more information.
- 73. Vibe coding VS Code의 GitHub Copilot
- 74. Vibe coding
- 75. Vibe coding
- 76. Vibe coding Discover and install MCP Servers in VS Code
- 77. Vibe coding Discover and install MCP Servers in VS Code
- 78. Vibe coding VS Code에서 MCP 서버 검색 및 설치
- 79. Vibe coding GitHub Copilot in VS Code cheat sheet
- 80. Vibe coding Get started with GitHub Copilot in VS Code
- 81. Vibe coding Get started with GitHub Copilot in VS Code
- 82. Vibe coding GUI 기반 텍스트 편집기를 개발할꺼야. 파이썬과 Tkinter 라이브러리를 이용할꺼야. 메 뉴는 파일 메뉴, 편집 메뉴, 테마 선택 메뉴(다크모드 하위 메뉴 포함), 찾기 메뉴로 구 성됨. 이 프로그램 개발을 위한 PRD를 UI 스케치를 포함해 md 포맷으로 작성해.
- 83. Vibe coding GUI 기반 텍스트 편집기를 개발할꺼야. 파이썬과 Tkinter 라이브러리를 이용할꺼야. 메 뉴는 파일 메뉴, 편집 메뉴, 테마 선택 메뉴(다크모드 하위 메뉴 포함), 찾기 메뉴로 구 성됨. 이 프로그램 개발을 위한 PRD를 UI 스케치를 포함해 md 포맷으로 작성해. 확실하게 성공하는 Vibe coding 방법 Daddy Makers: 확실하게 성공하는 바이브 코딩 도구 사용 방법
- 84. Vibe coding
- 85. Vibe coding
- 86. Vibe coding
- 87. Vibe coding
- 88. Vibe coding
- 89. Vibe coding
- 90. Vibe coding
- 91. Vibe coding
- 92. Vibe coding
- 94. Vibe coding google-gemini/gemini-cli: An open-source AI agent that brings the power of Gemini directly into your terminal. Daddy Makers: 바이브 코딩을 위한 구글 Gemini CLI 도구 분석 및 사용 gemini cli vibe coding demo
- 95. Vibe coding gemini cli vibe coding demo
- 96. Vibe coding gemini cli vibe coding demo gemini-cli/docs/cli/commands.md at main · google-gemini/gemini-cli
- 97. Vibe coding gemini cli vibe coding demo > make photoshop web app using three.js, bootstrap. Menus includes layer, line, arc, circle, fill color with tranparent, border color, zoom in/out, pan, download file as JPG
- 98. Vibe coding gemini cli vibe coding demo
- 99. Vibe coding gemini cli vibe coding demo
- 101. Vibe coding openai/codex: Lightweight coding agent that runs in your terminal Daddy Makers: OpenAI 바이브 코딩 지원 멀 티 에이전트 Codex 도구 사용법
- 102. Vibe coding openai/codex: Lightweight coding agent that runs in your terminal Daddy Makers: OpenAI 바이브 코딩 지원 멀 티 에이전트 Codex 도구 사용법
- 103. Vibe coding
- 104. Vibe coding
- 105. Vibe coding
- 106. Vibe coding
- 107. Vibe coding
- 108. Vibe coding
- 109. Vibe coding
- 110. Vibe coding
- 111. Vibe coding
- 113. Study
- 119. Vibe coding Challenge 잘하는 것 생산성 향상 진입장벽 완화 창의성 집중 신속한 학습 및 적용 못하는 것 코드 신뢰성 및 품질 개선 라이브러리/알고리즘 과도한 의존성 디버깅과 유지보수 어려움 복잡한 맥락 이해
- 120. Join AI world Daddy Makers BIM digest podcast Computer graphics digest Software engineering digest [email protected]