# 토익 스피킹 AI 학습 도우미

* 기간 : 2024.07.08 \~ 2024.07.15
* 인원 : 5명
* GitHub : <https://github.com/Toss-Project>
* Notion : <https://successful-shield-145.notion.site/AI-008bbc65dc584fef866a2a5ffd83e7ce>

## 프로젝트 목적

* 이미지와 음성을 활용하여 학습자들에게 토익스피킹 시험 준비를 지원하는 종합적인 영어 학습 도구

## 주요 기능

### 이미지

* 랜덤 또는 카테고리 이미지 제공
* 이미지에 대한 추천 문구 전달

### 음성

* 사용자의 음성 입력을 텍스트로 변환
* 발음, 억양, 유창석 분석

### 텍스트

* 사용자 답변의 일관성 제공
* AI 추천 문구와 유사도 분석

## 담당 개발 내역

### 이미지

* 랜덤 또는 카테고리 이미지 제공
  * <mark style="color:orange;">**Multi Modal LLM (Ollama llava:7b)**</mark> model에 <mark style="color:orange;">**prompt**</mark>를 통해 Random Text 생성
  * <mark style="color:orange;">**Text To Image**</mark> Model인stable diffusion 1.5 을사용하여 Image 생성
* 이미지에 대한 추천 문구 전달
  * <mark style="color:orange;">**Multi Modal LLM (Ollama llava:7b)**</mark> model에 prompt를 통해 사진에 적합한 추천 문구 생성

## 시연 영상

{% file src="<https://1160303306-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fd0zT56uqcavlGuVOxWVU%2Fuploads%2FcqNZ0RZCRGV6XZGj18im%2F%EB%9F%AC%EB%8B%9D%EB%A7%A8_TOSS_%20%EC%8B%9C%EC%97%B0%EC%97%B0%EC%83%81.mp4?alt=media&token=2f60a2da-82e0-4a5f-98b8-fe38980225d5>" %}

## 개발 환경

* Python, Fast API
* React.Js, JavaScript
* DDN
  * Text To Image : stable diffustion 1.5
  * Speech To Text : openai/whisper-large-v3
  * Sentence Similary : sentence-transformers/all-MiniLM-L6-v2
  * Grammer Collection : vennyfy/t5-base-grammer-correction
  * Prounciation Correction : transformers/gopt
* Multi Modal LLM : Ollama llava:7b
* GitHub, Sourcetree
* Notion, Figma