add model developing code - #31
Merged
Merged
Conversation
beomjinkim2000
added a commit
that referenced
this pull request
Aug 2, 2026
PR #31(lcwmodel)이 먼저 머지되면서 main의 프로덕션 임베딩 설정이 gpl3(ADR-010)에서 Qwen3-Embedding-4B로 덮였다. 그런데 인덱스는 재구축되지 않아 main 단독으로는 검색이 동작하지 않는다 — 질의 벡터 2560차원 vs 컬렉션 384차원으로 "Collection expecting embedding with dimension of 384, got 2560" 예외가 나고, 추천·채팅이 함께 죽는다. 충돌 2건은 gpl3 쪽을 취했다: - src/config.py — EMBEDDING_MODEL = EMBEDDING_MODEL_M3(gpl3), DATA_CHROMA = chroma_v3. Qwen은 이 값을 바꾸면서 인덱스를 같이 갈지 않아 성립하지 않는 조합이었다. - src/index/build_index.py — _get_model이 encoder.load_encoder를 타야 한다. main 쪽 구현은 허브 id로만 로드해 로컬 가중치(gpl3)를 못 읽는다. main에서 온 변경(knockout 판정, 배치 묶음 4→2, search_text 분리 등)은 그대로 유지된다. aa9381f가 추가한 model/ 실험 스크립트도 건드리지 않았다. 검증: gpl3 가중치 로드 후 chroma_v3 doc_cards 질의 성공, 후보 5건 정상 반환.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
저의 모델 개발용 코드입니다.
LoRA를 통해 e5-small 모델을 개선한 코드와
다양한 사전학습 모델을 로드하여 새로운 rfp 공고 10개에 대한 질문테스트를 한 코드입니다.
rfp 문서를 임베딩할 때 만족할 만한 모델을 개발하였습니다
e5_lora_peft3.py 가 가장 성능지표가 높은 모델 개발 코드입니다.
제 모델 개발 코드는 프로젝트 실행 스트림과 따로 실행해야되는 스크립트입니다.(청킹 전 과정까지는 미리해두시는게 시간을 아낄수있습니다.)