전체 글 썸네일형 리스트형 트랜스포머에 대해 기본적인 트랜스포머는 인코더의 출력과 디코더의 셀프어텐션 값의 합을 통해 결과를 낸다 근데 BERT나 GPT는 인코더 둘 다 사용하지않고 하나만 사용한다(BERT=인코더, GPT=디코더) 왜? 이렇게 사용할까 라는 생각이 들어 찾아보니 두 모델들은 결과를 출력하는 과정을 다르게 가져갔기 때문이다. BERT는 문장의 중간 단어를 [마스킹]을 해서 마스킹된 단어를 추측해 문맥을 알아내는 방식(Auto-Encoder)GPT는 문장이 주어지면 다음 단어를 예측하는 방식(Auto-Regressive) BERT의 경우 [Mask]라는 토큰(단어)가 현실에 존재하지 않아 실제로 사용하기 어렵다고한다.(사실 문맥을 파악해서 다음 문장을 생성하는 방식에는 적합하지 않은것 같고 그나마 특정 Label의 결과를 낼수 있는 .. 더보기 트랜스포머 더보기 선형 회귀 더보기 인공지능 관련해서 공부한 것을 그냥 휘갈기는 블로그입니다. 석사 과정을 진행하면서 기초도 중요하지만 사실 자주 사용하지 않으면 금방 까먹어 버리고 암기같은 건 잘 못해서 그냥 아이패드나 메모장이나 그때 그때 배운걸 스크랩하거나 휘갈긴걸 올립니다 아이패드 필기로 한건 악필이니 잘 모르겠는 글씨는 편하게 댓글 남겨주세요 더보기 이전 1 2 3 4 다음
