日常の興味と結びつけて学べる英語スピーキングアプリ、 EIGOイスト
こちらからデモ動画をご覧いただけます。
私達は、英語スピーキングができません。でも、英語スピーキングができるようになりたいと考えています。英語を話せるといいことはたくさんあり、大学生の自分たちは国際学会で大活躍間違いなしであり、社会人になっても仕事の幅が広がると考えています。また、海外旅行ができるといったわかりやすいメリットもあります。 こんなメリットがあるのに、なぜ自分たち含めて多くの人がスピーキング学習をやっていないのかという疑問がそこで浮かぶと思います。それは、「スピーキング学習が、楽しくなくハードルが高い」と多くの人が感じているからだと私達は考えました。
なぜ現状のスピーキング学習は楽しくなく、ハードルが高いかを考え、以下の課題を設定し、これをもとにアプリの「特長」を開発していきました。
-
スピーキングの題材に興味がない
既存のスピーキングの教材では、テーマが「ビジネス」、「道案内」、「学校」などの固定のテーマが多く、ユーザーの個人の日常や趣味等を直接反映したものではないため、テーマがユーザーにとって興味がないものになりやすく、楽しくない、話しにくくハードルが高い学習になりがちです。 -
1人で学習するにはハードルが高い
リーディングやリスニングの学習が1人で学びやすいのに対し、スピーキングは1人では学びにくい、成長を実感しにくいというのが現状であり、これによりスピーキング学習のハードルが高くなっています。 -
学び方のバリエーションが少ない
現状の、特に人によるスピーキング指導では、教える側が楽という理由で毎回の指導メニューが固定化されがちです。既存アプリ等の人が直接指導しないサービスにおいても、プログラムや評価が楽だという理由で学習内容が固定化されがちです。すると、ワンパターン化による飽きがユーザーに生まれてしまいます。また、人によって「楽しい」は異なるので、機能の自由度が低い場合、全てのユーザーの「楽しい」にアクセスできません。
上記課題を解決するため、私達は従来の英語アプリのようなビジネス・日常会話・道案内などの型にはまった退屈なテーマでスピーキングを学ぶのではなく、むしろ自分のエゴに従い、自分の趣味の延長にある好きなコンテンツでスピーキング練習できるアプリ「EIGOイスト」を開発しました。
- 全年齢の英語学習者
- 日常や趣味を英語に結びつけて学習したい人
- 娯楽とともにスピーキング学習したい人
- 毎日のニュース購読と組み合わせて効率よくスピーキングを勉強したい社会人
- 外食での料理や観光名所、動物、友達などの写真をちょくちょく取る人
より多くの英語学習者がこのアプリの対象ユーザーになってもらうために、後の説明の通りたくさんの機能を作りました。機能ごとの対象ユーザーは製品説明に書いてあります。
「自分が好きなことを話すのは楽しい、簡単だ」という考えに基づき、自分で選んだ好きな題材をもとに生成AIがテーマを考えてくれる仕組みを導入しました。自分の生活や趣味志向を素材として生成されたテーマを話す楽しさ、スピーチのテーマ、シチュエーションを自分でカスタマイズする楽しさを提供します。
1人でスピーキングを学習するときのハードルが高い理由を「適切に評価してくれる存在がいない」、「自分の成長を実感しにくい」の2つであると分析し、それぞれに対処しました。前者については、APIを効果的に利用したり、プロンプトを工夫したりすることで音声、内容の両方の評価にこだわりました。後者については、過去の記録をログにとってユーザーに可視化し、ランクシステムを導入することで、可視化された記録や上がったランクを見ることでユーザーが成長を実感できる仕組みを作りました。
趣味や日常に関するキーワードからテーマを生成する「好きなテーマ」モード、Youtubeという娯楽からスピーキング学習へと橋渡しが行える「Youtube」モード、多くの社会人の日課であるニュースにスピーキングを結びつけた「News」モード、日常の1枚や偶然見つけた面白い写真からスピーキングのテーマ生成ができる「画像テーマ生成」モードを実装しました。このような多機能性により多くのユーザーのニーズを満たすことが可能です。
取り組みやすいたくさんの機能を実装したので、自分にあった形で、楽しく効果的にスピーキングを勉強できます。 このアプリでは「好きなテーマ」モード、「Youtube」モード、「News」モード、「画像テーマ」モードの4つのスピーチテーマ生成コンテンツを提供しています。 それぞれのモードでは、「興味のあるモノ」(好きなテーマ、Youtube動画の内容、ニュース記事の内容、好きな画像)がテーマ生成のもととなっていて、テーマ生成ボタンを押すと、ChatGPTが 「興味のあるモノ」 に基づいた複数の多彩なスピーチテーマを提案します。 その後、気になるスピーチテーマを選び、マイクボタンを押してそのテーマについて話してみます。 最後に、その音声を提出すると、ChatGPTが内容や流暢さを分析し、改善点が丁寧にフィードバックされます！
また、これら4つの機能に、集中的な学習の側面と競技性を持たせたモードとして 「マラソンモード」 を開発しました。
各モードごとの具体的な動作の流れは、以下で説明します。
1.3. マイクボタンを押して選択した「最も話したいテーマ」に関するスピーチを行い、音声を提出すると、評価が得られる。評価では、WordPerMinute、発音と流暢さ、話した内容の独自性、発音のチェック、模範解答等を分析＆採点しています。
- 自分の好きなことならたくさん話せる人
- 動画、ニュース等を介さないシンプルなスピーキング練習をしたい人
- スピーキング学習をしながら、エンタメも楽しみたいYoutube視聴者
- 日常の娯楽の延長として英語学習をしたい人
3.2. 提案されたニュースを一つ選択することで、スピーチテーマを生成します(選択したニュースの左下を押すことで、ニュースをSafari等のブラウザで見れます)。記事のキーワードボタンを押すことでスピーチに使える重要キーワードをニュース記事から抽出してくれます。テーマ横の電球ボタンを押すことでヒントを生成してくれます。
3.3. 3.2でテーマを選択した後に、マイクボタンを押して選択したテーマに関するスピーチを行い、音声を提出すると、評価が得られる。この評価は、ChatGPTに記事の内容の全文を送ることによって精度の高い評価を実現しています。
- 時事や経済など、最新のニュース素材を題材として勉強したい人
- 社会情勢も英語学習と一緒に知っておきたい社会人
- 趣味が多いわけではないが身近なテーマでスピーキングをやりたい人
- 画像や視覚的な情報から発想を広げて学びたい人
- 自己表現を大切にする人⇒自分の経験や思いを英語で表現し、表現力を磨きたい人
- 親子の時間を楽しみたい家庭⇒子どもが好きなモノでテーマを生成し一緒に英語を学べる
5.2. 指定した回数だけテーマ生成、録音、評価を繰り返します。各フェーズにはそれぞれ制限時間がついています。また、マラソン中は直前に選択したテーマを保存しているのでテーマを固定して録音、評価を繰り返すことで同じテーマに対して何度も練習することができます。これらによってテンポのよい学習が可能です。さらに、評価画面では内容評価と音声評価を換算して200点満点にして毎回保存していきます。
5.3.指定した回数のマラソンが終了すると、各回の得点の推移を棒グラフで見ることが出来ます。この得点の平均によって背景が金、銀、銅、青のいずれかに決まります。shareボタンを押すと、スコアのグラフ画像をコメントとともにSNSに共有できます。
5.4. 設定画面に戻り「過去の記録を見る」を押すと過去のマラソンの得点の平均が折れ線グラフで表示されます。直近7日間のマラソンモードの継続日数とマラソンの得点によりgold, silver, bronze, blueのいずれかが決まり、これによりランクシステムを実現しています。こちらもshareボタンを押すと、背景画像をコメントとともにSNSに共有でき、ランクが上がった喜びを友達とシェアできます。
- 自分の成長を可視化することでモチベーションを得たい人
- ランクが上がることや競技性に楽しみを感じる人
- 日々の頑張りを共有したい人
まず一番は楽しく勉強をすることができるので、学生から大人まですべての英語学習者が楽しく継続的に英語スピーチ練習を学ぶことができます。 また、それぞれのモードを設定したのは、以下を解決することを目的にしているからです。
- 「好きなテーマ」モードでは、好きなテーマを融合させたテーマを生成して、他では見られない 「自分の好きが詰まったユニークなテーマ」 に対してスピーキングをするモードです。
- 「Youtube」モードでは、欲に負けてYoutubeを見る人でも、その内容をすぐにスピーキングでアウトプットすることで新たな勉強の流れを作っています。
- 「News」モードでは、リアルの時事問題を生かしてテーマを生成するので、長い時間英語学習をすることで社会情勢がわからくなることを防ぎ、むしろニュースを読む習慣を提供しています。
- 「画像テーマ」モードでは、日常の一枚を入力してそれを利用してテーマ生成を行うモードです。このような機能は他では見られず、視覚を介した新しく楽しい学習体験を提供します。
- 「マラソン」モードでは、上記4つのモードへの競技性の導入、ユーザーの努力の見える化、スコアと継続日数によるランクの設定、日々の頑張りの共有機能の実装により、ユーザーに高ランクを目指す楽しさを提供し、ユーザーのモチベーションをアップさせます。
このように自分の趣味や日常の延長線上に、英語スピーチ練習をすることが可能なので楽しく継続性の高い英語スピーキング学習アプリになっています。また、学習の際、自分の好きなことを題材にしているので、スピーチに詳細な具体例や個人の体験を入れやすくなります。
評価については音声、内容の両面で行っています。音声面の評価では音声認識にWhisper、評価にSpeechace APIを用い、高精度の発音分析による１人では見つけにくい発音ミスの指摘を可能にしています。内容については 「テーマとの一貫性」、「構成」、「独自性」、「文法」、「語彙の多様性」を観点にしています。スピーチが構成として整っているかを評価し、「独自性」の観点によりユーザーの具体例や個人の体験を高く評価するシステムを整えています。よって、このアプリを使うことでユーザーが英語で物事を説明する際の表現力が向上すると思います。
以上により背景の項で述べた3つの課題を私達なりのアプローチで解決しています。
- 通信機能の実装により、他者と競争しあうことで学習意欲の向上を促す
- 通知機能などを駆使して、継続的な英語学習に取り組みやすくする
- 「画像テーマモード」で画像からキャラクターや山や川の名前など、特定の固有名詞がとってこれたらより子どもが喜ぶモードになる。これはopenAIの規制的に現状では厳しい。
- メインコンテンツをスピーキング学習としながら、他の英語能力も学べるようにする
- 英語能力をRPGのようなスキルツリーやレート（あるいはレベル）として成長度を可視化すると共に、英語学習のゲーム化を目指して楽しく学べるようなアプリケーションにする
- また、スキルツリーによる可視化により、体系的な学習を可能にする
- Android版のアプリケーション開発
- まとめると、さらに楽しく、成長を実感できるアプリにしたいです！
- ワードを融合させて融合させてユニークで面白いテーマの生成
- WhisperとSpeechace APIを用いた音声認識精度の向上と、評価観点やプロンプトを工夫することでスピーチ内容の評価を充実させたこと
- 多くのユーザーにリーチするための目的が異なる4つのモード(楽しく簡単に学べる"好きなテーマ"モード、動画を見た延長線上で学ぶための"Youtube"モード、ニュースを見ることが日課である社会人に英語学習を結びつけるための"News"モード、日常の1枚やバズりそうな1枚を素材としてスピーキングができる"画像テーマ"モード)の実装
- それら4つのモードに競技性やランクシステム、友達との共有機能を結びつけたマラソンモードの実装
- Open API(GPT-4o, gpt-4-vision-preview, whisper-1)
- Youtube API
- Speechace API
- News API
- gooラボAPI キーワード抽出API
- SwiftUI
- SwiftSoup
- SDWebImageSwiftUI
- iPhone(iOS18.0以降でデモをした)
- テーマを自分の好きなキーワードから生成してそれをスピーチのテーマとするアイデア、機能
- 自分の好きなYoutubeを検索できるようにしてそのタイトルをもとにスピーチをするアイデア、機能
- ニュースのHTMLが長すぎて処理がうまくいかなかったり時間がかかりすぎる問題を、HTMLのニュース形式がバラバラであるが多くで共通の
タグによってスクレイピングすることで関数部分を除外し、ChatGPTが処理できるトークン数に収めることができることに気づき処理した機能
- 最新のVisionモデルを用いることで、実際にユーザー撮影した写真もスピーチテーマにするというアイデア
このように、ユーザーの日常や娯楽、日課に関わるありとあらゆるものを英語スピーキングのテーマへと変えてしまおうというアイデアを生成AIや多数のAPIを用いて形にしたのが、私達がハッカソンで開発した独自の技術であると考えています。