새로운 모델 도입

[wibaek]

생각해봤는데, python이랑 rust latency 성능을 비교하려면 model이 시간이 오래걸리면 안될 것 같아요
모델이 python 성능보다 latency가 낮은 경우에는 모델 성능에 좌우될 것이라 backend server 자체에 영향이 적을 것 같아서요!
그래서 속도가 빠른 경량화된 모델로 해보는 것이 좋을 듯 합니다
예로, 긍정부정 판단 같은 작은 모델이용

언어모델로도 더 빠른 시간내에 가능할지 확인하기 위해 추가적으로 언어 모델을 조사해봤습니다

https://huggingface.co/sshleifer/tiny-gpt2

https://huggingface.co/EleutherAI/gpt-neo-125m

https://huggingface.co/distilbert/distilgpt2

다운로드가 제일 많은 distilgpt2로 테스트해보니

[{'generated_text': '간단한 시를 써줘 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파졀드 파'},
{'generated_text': '간단한 시를 써줘 진노 전줘 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 열대 테만의 전를 테만의 테만의 테만의 '}, {'generated_text': '간단한 시를 써줘고 데리전는 대있 는원 잠을 원시 대있 대있 아이 적해 시를 아이 지피 눘자 아적해 에있 에있이 에있있 대있 대있 대있 대있 대있 대있 아이 적해 시를 아이 적해 시를 아이 적해 시를 아이 적해 시를 아이 적해 시를 아이 적해 시를 아이 적해'}, {'generated_text': '간단한 시를 써줘쑠니다.\n\n면도나\n제쇰요 가미로요전 가미로요전 기가미로요전 으 시를 써줘쑠니다.'},
{'generated_text': '간단한 시를 써줘무 서를 였명 걉서리 보고 사이 아어 밄한 거래 가조 거래 가여 거래 가아 가여 거래 가여 거래 가여 거래 가여 거래 가여 거래 가거래 가여 거래 가여 거래 가여 거래 가여 거래 거래 가여 거래 가여 거'}]

소요 시간도 8초 정도에, 이런식으로 못써먹을 성능이 나옵니다.

그래서 멘토님이 말씀주신대로 더 속도가 빠르고 경량화된 모델을 써보는 것이 좋을 것 같습니다.