DevLog
당신의 독자 / 타임어택 코딩도장 Vercel 서버 로그
최근 vercel에 배포한 허깅페이스 웹들이 분석을 생성하는데 서버 오류가 자꾸 떴었다.
vercel 앱에 들어가서 로그를 확인하니까 다음과 같은 502 서버 에러를 발견함!
AI에게 결과물 텍스트를 기대했지만 정상적인 응답 데이터를 만들어내지 못해서
502 Bad Gateway(서버가 게이터웨이 역할을 하는 중 백엔드로부터 유효하지 않은 응답을 받음)를 반환한것.
라이브 실행 후 다시 한번 요청을 전송하자, 자세한 로그를 통해 허깅페이스로부터 402에러를 받은것을 확인했다.
허깅페이스 계정에는 $0.10 무료 크레딧을 제공받고있는데 크레딧을 전부 소모해서 이런 에러가 났던것이다.
코덱스로 구현하면서 처음 기획에서는 KoBERT / KcBERT라는 SKT 공개 모델을 사용하려 했으나 실제 구현 과정에서 Qwen2.5-7B-Instruct 모델로 변경됬었다.
아무리 무료 요금제라고 해도 글 7편정도 감정 분석을 맡기고 코딩테스트 문제를 1개 생성하고 의사코드분석을 1번 한 정도로 한달치 무료 요금제를 금방 소모한것으로 봐서 어딘가 효율성이 어긋나있을거다! 라고 확신했다.
Qwen2.5-7B-Instruct 사용량이 한눈에 봐도 많았다. 당신의 독자에서 단순 감정분석까지 고성능의 모델에 의존하고 있고 AI에게 물어봤을때도 Qwen2.5-7B-Instruct는 7B(7Billion) 생성형 모델은 단순 감정 분류에는 무겁다고 말했다.
감정분류/감정점수화는 감정 데이터로 파인튜닝한 KoBERT/KLUE-RoBERTa 계열, 공감/답글요약은 Qwen2.5-7B-Instruct 영어 번역은 NLLB 또는 Qwen, 핵심 문장 선택은 분류 모델의 문장별 점수 또는 Qwen로 분류해보도록 조언해줬다. 감정 분석은 소형 전용 모델, 자연어 답글은 Qwen으로 분리해서 Qwen 호출량을 줄어들게 하고 서비스를 더 많이 이용할 수 있게 할수 있게 바꿔보는게 좋을거같다.
댓글이 보이지 않으면 GitHub에 로그인한 뒤 새로고침해 주세요. 공개 댓글은 로그인 상태에서 더 안정적으로 표시됩니다.