LLM Evaluation1. LLM Evaluation의 목적은 무엇인가요?LLM 평가의 목적은 모델의 실제 응답이 얼마나 좋은지를 수치로 측정하는 것이다. 성능을 측정하지 않으면 무엇을 개선해야 할지 알 수 없기 때문이다. 평가 대상에는 일관성, 사실성, 지연 시간 등이 포함될 수 있지만, LLM 평가 시 집중할 건 응답 품질(Response quality)이다. 답이 자연어, 코드, 수학 풀이처럼 자유로운 형식이라 채점이 어렵다.평가 방식장점한계사람 평가 (human rating)응답마다 사람이 평가하고 결과를 집계한다.- 비싸고 느리다.- 평가자마다 판단이 달라 우연 일치를 보정한 일치도를 재야 한다.규칙 기반 지표 (Rule-based metrics)전문가가 만든 참조 답안과 자동으로 비교해 ..
전체 글
I'm still working on it. We must be better.1. 기본 RAG 실습 개요구성 방식 선택아래 두 방식 중 하나를 선택해 실습해주세요.직접 설치: Chroma, Qdrant 같은 벡터 DB를 로컬이나 서버에 설치하고 문서 처리, 임베딩, 검색과 답변 생성을 연결합니다.관리형 구성: Amazon Bedrock Knowledge Bases 같은 관리형 서비스를 사용해 문서 수집, 검색과 답변 생성 흐름을 구성합니다.선택한 방식과 이유를 기록하고, 직접 구현한 부분과 서비스가 처리하는 부분을 설명해주세요.실습 데이터 선택가급적 관심 있는 주제의 공개 데이터를 직접 찾아 사용해주세요.고객센터 FAQ, 공개 PDF, 제품 설명서, 서비스 이용 안내 등 질문의 근거를 찾을 수 있는 자료를 선택하면 됩니다.자료의 제목, 출처와 선택한 이유를 기록하고 PDF는 텍스..
RAG는 모델 밖 문서를 질의 시점에 찾아 컨텍스트에 넣는 구조다. 이 구조는 최신성, 출처, 맞춤화 문제를 줄이지만 검색 품질과 근거 사용, 데이터 신뢰라는 새로운 과제를 만든다.강의는 Douwe Kiela의 Stanford CS25 V3 강의(2023년 12월 5일)다. 강의의 판단은 2023년 기준이다.RAG란?RAG의 정의와 필요성LLM의 답은 가중치에 담긴 지식과 입력 컨텍스트에서 나온다.가중치 지식 : LLM 학습 시 모델 안에 저장된 패턴. 호출마다 동일함입력 컨텍스트 : 이번 호출에 넣은 지시, 대화 이력, 문서. 호출마다 바뀌기 때문에 다를 수 있음이 두 요소에 존재하지 않는 지식을 물으면 모델은 근거 없이 답할 수 있다. RAG는 질의마다 필요한 근거를 찾아 컨텍스트에 넣어 이 빈자리를..
* Grammar in use (intermediate)+ 108 주차 : 95 ~ 96주차+ 109 주차 : 97주차English Grammarbe to 용법"현재 존재하는 상태" (be) + "미래로 향하는 화살표" (to) → 특정 목적지(미래)가 이미 정해져서 그대로 진행할 수 밖에 없는 상태용법예정 : 공식 일정 등 거대한 사회적 시스템과 결합할 때의무 : 부모-자식 등 상위에서 지시가 내려질 때가능 : 수동태와 결합하여 어떤 현상을 관찰할 때운명 : 과거 시제로 쓰이면서 결국 그렇게 되었다는 결과적 사실이 붙을 때의도 : 조건절 내부의 가상 에너지 세팅must = 내부에서 의지 폭발, have to = 외부의 압력, should = 도덕적 인력 (권고 / 당위)English thinking ..
1. LLM 개요LLM(Large Language Model)은 입력 문맥 다음에 올 토큰의 확률을 계산하고, 토큰을 하나씩 이어 붙여 응답을 만드는 모델이다. 입력에서 응답까지토큰화 : 텍스트를 토큰 단위로 나누고 각 토큰을 정수 ID로 바꾼다.임베딩 : 토큰 ID를 의미를 담은 벡터로 변환한다.문맥 계산 : 앞선 토큰들과의 관계를 반영해 입력 문맥을 변환한다.확률 계산 : 어휘 전체에 대해 다음 토큰의 확률 분포를 구한다.토큰 선택 : temperature, top-p 같은 생성 설정에 따라 토큰 하나를 고른다.반복 : 고른 토큰을 문맥에 붙이고 3~5 단계를 반복한다. 종료 토큰, max_tokens, stop sequence 중 하나에 닿으면 멈춘다.디토큰화 : 토큰 열을 텍스트로 변환하여 응답한..
1. 회원 및 인증 관리회원가입: 이메일 또는 소셜 계정 기반 가입로그인: ID/PW 로그인, 로그아웃세션 관리 : Access & Refresh 토큰사용자 프로필 : 닉네임, 사용 언어 등 계정 설정권한 관리 : 일반 사용자, 관리자 역할 구분계정 보안 : 비밀번호 변경, 로그인 실패 제한, 세션 만료계정 상태 : 활성 / 잠금 / 탈퇴 2. 홈 화면 및 종목 탐색홈 대시보드 : 가상 자산 총액, 당일 손익, 보유 종목 요약시장 요약 : 주요 지수, 상승·하락 종목종목 검색 : 종목명, 티커, 종목 코드 검색종목 상세 : 현재가, 전일 대비 등락률, 거래량관심 종목 : 관심 종목 추가·삭제·정렬인기 종목 : 거래량, 등락률 기준 랭킹최근 조회 : 최근 확인한 종목 목록종목 분류 : 국가, 업종, 자산 ..
Prometheus & Grafana 기반 기존 모니터링 스택 ┌─────────────────────────────────────────────┐ │ baemin namespace │ │ │ │ [order-service] [store-service] │ │ [user-service] [notification-service] │ │ [bff-service] │ │ │ │ │ │ annotati..
English SpeechingCadence (리듬) & Prosody (운율)Cadence는 말의 흐름(flow)와 리듬을 일컫는 단어로, 목소리의 자연스러운 고저를 통해 말의 완성도를 높인다. 시나 음악, 그리고 대중 연설에서 만족스럽거나 인상 깊은 감각을 만든다. Cadence는 두 가지 유형으로 나뉜다.Regular cadence : 예측 가능한 강세(stressed) / 비강세(unstressed) 음절을 통해 안정감과 균형감을 준다. Irregular cadence : 예측 불가능한 강세(stressed) / 비강세(unstressed) 음절을 통해 긴장감과 놀라움을 준다.Prosody는 말의 전반적인 소리와 리듬을 뜻한다. 따라서 Cadence(리듬) 뿐 아니라 pitch (음의 높낮이), ..
개요해당 포스트는 진행 중인 백엔드 프로젝트에 대한 영어와 한국어를 지원하는 I18N 구현 내용이다. 각 언어에 대한 스크립트를 백엔드에 배치하고, React SPA는 단 하나의 POST 엔드포인트를 통해 접근 가능하도록 설계했다. 어떤 프론트엔드 라이브러리 연동 없이, 백엔드만으로 구현한 서버 완전 소유형의 메시지 카탈로그다.1. Spring MessageSourceAutoConfigurationSpring Boot의 MessageSourceAutoConfiguration은 classpath(src/main/resources)에 "messages.properties"라는 파일이 존재해야만 자동으로 활성화된다. 그 외에 어떤 명시적 bean 선언이 필요하지 않다.# messages.propertiesna..