전체 글 썸네일형 리스트형 [Claude] 이미지에 대한 설명 여러 LLM 서비스가 있지만 Claude는 무료로 이미지와 파일을 주고 설명하라고 할 수 있다.성능도 괜찮은데 무료라서 자주 사용하고있다. 해당 이미지는 트랜스포머 모델의 기본적인 아키텍쳐다.이 그림에 대해서 설명을 하라고 해보자 좀 더 디테일하게 질문을 해보자 설명을 잘한 것 같지만 뭔가 출력 형식이 불만족스러우니 JSON 형태로 출력하게 바꾸자{ "Transformer": [ { "component": "입력/출력 임베딩", "role": "텍스트를 벡터로 변환", "method": "각 단어나 토큰을 고정된 길이의 밀집 벡터로 매핑" }, { "component": "위치 인코딩", "role": "시퀀스 내 단어의 순서 정보 제공", .. 더보기 [3년차 텐서플로우 이용자의 pytorch 사용기] 커스텀 데이터 셋 사용하기 이전에 졸업 작품과 다른 연구에서 Eelectra 모델과 BERT를 이용하려고 pytorch를 사용했던 적이 있었는데 그때는 단일 모델에 CSV에 저장된 데이터를 사용했기 때문에 큰 어려운은 없었다 하지만 이번에 연구를 위해 CNN-LSTM 기반 모델을 사용하는데 데이터를 메모리에 로드하는 과정이 추가된것 코드를 간단하게 작성할 수 있는 파이토치 라이트닝을 사용할 예정이다. 일반 파이토치는 훈련과정을 에포크 for문을 통해 작성을해야해서 여간 귀찮은게 아닌... 일단 데이터셋 클래스를 작성해준다.import numpy as npfrom keras.preprocessing.image import img_to_array, load_imgfrom keras.applications.mobilenet_v2 i.. 더보기 LLM 서비스를 사용하는 방법(LLM 활용의 효율성: 초기 설정의 중요성) 완전히 새로운 연구를 위한 실험 시작이나 글쓰기, 개발을 시작할 때 첫 문장 혹은 처음 변수를 선언할 때가가장 어려운것 같다. 기존에 했던 것이라면 단어를 조금 바꿔서 시작하거나 개발이라면 변수쯤은 같은걸 써도 상관없을 텐데 새로운 것을 하면 새로운 것에 맞게 시작해야 가독성이 올라가는 법이다. 그럴 때마다 LLM을 통해 조언을 얻는데 사실 이정도야 많은 사람들이 할 수 있고 딱히 포맷같은 것이 필요하지 않으니 처음에 언어만 잘 지정해주면된다. 예를들어 ["영어로" LLM에 대한 글쓰기를 하는데 처음 보는 사람이 흥미를 가질 수 있는 첫문장을 만들어줘] \같이 조건을 명확히 해주면 생각보다 창의적이고 똑똑한데? 라는 생각이든다데이터를 이용한 통계상 수치로 출력하는거겠지만 하지만 반복적인 작업 혹은 데.. 더보기 Docker로 생성한 데이터 베이스에 자동으로 데이터를 입력하는 과정 구성하기 사용한 데이터는 AI 허브에서 제공한 여행로그 데이터를 이용한다사실 데이터 분석이나 자세한 내용을 올리고 싶었지만 저작권때문에 문제가 될만한 부분은 삭제하고 올립니다! 우선 제공하는 데이터 중 여행자 정보, 여행기간, 방문한 여행지 데이터를 이용 tn_visit_area_info_방문지정보_A.csvtn_traveller_master_여행객_Master_A.csvtn_travel_여행_A.csv 총 세개를 이용해 데이터를 구성 tabel_creation.py 파일을 실행해 필요한 테이블을 만들어줍니다. (.postgresql 컨테이너가 실행중이어야합니다)import psycopg2from dotenv import load_dotenvimport osHOST_URL = os.environ.get('HOST.. 더보기 Docker에 데이터베이스 서버 생성하기 AI hub 여행로그 데이터를 이용해 추천 서비스를 만들려고 한다. docker run -d \ --name postgres-server \ -p 5432:5432 \ -e POSTGRES_USER=myuser \ -e POSTGRES_PASSWORD=1234 \ -e POSTGRES_DB=travel_log \ postgres:14.0 를 wsl에 실행하면 서버가 실행된다. 서버가 잘실행됐는지 확인만 할것이기 때문에 postgresql CLI툴만 설치해서 확인해 보자 설치 경로에 bin 폴더에 해당 파일이 있을것이다. 파일의 경로에서 .\psql.exe -h {localhost} -p {포트번호} -U { POSTGRES_USER } -d { POSTGRES_DB }엔터 .. 더보기 Docker 설치 하기 모델을 오류 없이 배포하려테스트 환경과 실제 배포환경과 OS, 파이썬 버전, 패키지 버전, 코드, 가중치 등이 동일해야 한다. 이를 위한 소프트웨어가 바로 Docker 도커를 설치해서 실행하려고 하는데 리눅스를 위한 window 하위시스템 사용virtual machine 사용WSL2 설치하고 wsl에 우분투를 설치했지만 요런 오류가 나서 문제를 살펴보니 여기에docker-desktop-data docker-desktop이런게 뜨면서 wsl내의 우분투에서 docker의 버전을 확인할 수 있어야하는데 위 링크 https://docs.docker.com/go/wsl2/로 들어가보니 나는 분명 제대로 한것 같은데 라는 생각이 들어wsl이 최신버전이 아닌가? 라는 생각까지 이르렀고 명령어를 확인해보니.. 더보기 손실 함수(MSE, RMSE, Binary Crostentropy, Categorical CE, Sparse CCE) 더보기 MLops? 석사 졸업 논문을 끝마치고 연구를 계속하면서 취준을 하는 과정동안 공고를 많이 봤는데연구자보다는 엔지니어를 많이 뽑는 것 같은 느낌이다. 사실 연구만 해서 인공지능 모델을 서비스하는것에는 지식이 많이 없다 보니 공부를 많이 해야할 것 같아서관심있는 것 이리저리 공부하면서 엔지니어링도 같이 해야할 것 같다. 모델을 서빙하는 데에 데이터, 모델도 중요하지만서비스되는 모델과 실시간으로 추가되는 데이터를 처리 후 다시 훈련하고 서빙하는 과정을 엔지니어가 항상 할 수는 없다. 이때 중요한 것이 MLOps라고 하는데 DevOps에서 머신러닝 요소를 추가한 것 같다. 공부는 MLOps For MLE를 기반으로 진행할것 같다. 사실 기능 구현을 위한 개발은 많이 해봤지만 실시간 서비스를 위한 개발은 해본적이 없어 기대.. 더보기 이전 1 2 3 4 다음
