LLMの強み・弱みを理解して、効率よく資格勉強した話

LLMの強い部分

細かい説明、わかりやすい出力内容

モデルによって話し方は少し違いますが、複雑な概念をわかりやすく丁寧に説明できるという強みは共通しています。
Markdown形式で整えて出力することもできるので、重要なポイントが視覚的に分かりやすいのも大きなメリットです。

また、出力形式はプロンプトで自由に指定できるため、目的に合わせて柔軟に調整できます。
単発利用なら「〇〇を教えて」「〇〇がよく分からない」などシンプルな指示でも十分ですが、
精度を重視したい時は、以下のような構造化プロンプトをよく使いました。

# 依頼
あなたは[LLMの役割や担当]です。
そしてユーザーは[ユーザーの役割や担当]です。
以下の「処理順番」に従い、[LLMが行うタスクの内容]を行なってください。
処理が終わったら「出力内容」に従い、結果を出力してください。

## 処理順番
1. [タスク実施のために最初行うこと]
2. [タスク実施のために次行うこと]
・・・

## 出力内容
[出力してほしい内容や形式]

Markdown 形式で構造化するとモデルがタスクを誤解しにくくなるので、精度が上がります。
上記の例では役割と処理順番、出力内容を指定しましたが、タスクの目的や処理時の注意点、出力テンプレートなどを追記することが多いです。

ただし、プロンプト改善だけではどうしても限界があるため、その場合はPythonなどで前処理・後処理を追加する方が確実です。

要約や整理

LLMはテキストの要約や構造化が非常に得意です。勉強時の文章整理や、自分の考えをまとめる用途で特に役立ちました。
公開されている論文をChatGPTに読ませて、生成された要約文をもとに勉強するみたいな話もよく聞きました。

ただし、本文にない内容を補完してしまう（幻覚） ことがあるため、
生成結果をそのまま使うのではなく、一度目を通して確認することが重要です。

ファイルの読み取り

gpt-4oやGeminiなどのマルチモーダルモデルでは、テキスト以外に、画像・PDF・表・動画なども読み取れます。
画像の内容について質問したい時や特定のデータの表を探したい時に活用できると思います。

ただし、画像中の文字や複雑なグラフは誤認識しやすいという弱点があります。
この問題はプロンプトだけでは解決できないので、良い画質の画像を使うとか、入力するドキュメントの量を減らすなどの方法で改善していました。

Azure AI Document Intelligenceのlayoutモデルを使うとファイルの構造をマークダウン形式に変換できるので、表の内容を正確に把握してほしい時はlayoutモデルで表をテキストに変えてからLLMに渡してました。
そうすると、文字列と表を誤認識せず正確に読み取れるので、LLMの精度が上がります。

対話履歴を活用

ChatGPTみたいに履歴が残る場合のことですが、前にやり取りした内容をいつでも参照できます。
これで数日前に聞いた内容について再度質問したり、ChatGPTの返答でよくわからなかった部分について追加説明を出力させることができます。
LLMのapiをそのまま使う場合はおそらく対話履歴が残らないと思いますが、pythonなどで履歴を保存するように実装は可能です。

さまざまな「生成」

LLMの大きな強みのひとつは、
人間一人では思いつかないアイデアや構造を生成してくれることです。

例：

• 資料の構成案
• 説明文の雛形
• サンプルコード
• CSV・JSON の生成
• 記事のドラフト

ただし、場合によっては “もっともらしいけど間違った内容” を生成することもあるため、
出力物の内容は必ず人間が確認する必要があります。

LLMの弱い部分

計算

簡単な1+1は問題なく計算できますが、複雑な計算は難しいです。
データの中から特定の値を探して算出させたことがありますが、正確に計算できなかった場合があります。
プロンプトで改善できないなら、pythonなどで計算部分だけ実装して解決することも良いと思います。

日時の把握

これはChatGPTとやり取りする時に気づいたんですが、日付を正確に把握できていないように見えました。（モデルやサービスの設定による違いもありますが、外部に依存せず正確な日付が必要なら要注意です。）

例えば、今日が11月3日月曜日なら、ChatGPTは今日が11月3日火曜日だと出力していました。
火曜日ではなく月曜日だよと言っても、後でまた火曜日だと出力されましたね。

めっちゃ細かい部分ではありますが、日付を正確に出力させる必要があるなら、プロンプトで”今日は11月3日月曜日です。”と指定したり、pythonでこの部分のみ実装するなどの方法があると思います。

回答の正確性

LLMを使う時、最も私を不安にさせる部分です。”これ本当にあってるのか。。？”と疑うことが多いです。
そのため、できれば出力内容をすべて確認しようとしています。

プロンプト、LLMのハルシネーション、ファイル読み取りの正確さなどの原因でLLMの回答が誤っている場合があります。
プロンプトやファイル読み取りが原因であれば、プロンプト修正やファイルの前処理などで改善できますが、ハルシネーションはなかなか難しいと思います。

なので、LLMは検索エンジンとしては使わない方が良いです。”[世の中に存在しない料理]のレシピを教えて”と指示したら、嘘つきながらでもレシピを出力してくれます。

ChatGPTをどのように勉強に使うか

E資格受験時に、勉強効率を上げるためにChatGPTを使って勉強をしていました。
上記の特徴を個人が活かせる事例として共有したいです。

勉強計画の設定、更新

受験当日までの勉強スケジュールをまとめたく、ChatGPTに平日と週末、時間帯、1週間ごとの計画を立ててもらいました。

プロンプトに入力したもの：

• 試験日
• 必要な勉強内容（講義視聴や問題集勉強など）や進む順番・優先順位
• 自分の1日中の生活ルーティン
• 平日・土日の生活ルーティン

公開されている試験のシラバスなどを一緒に渡すと、内容を参照してさらに細かい計画を立てられます。
そして必要であれば、以前設定した計画を変更することもできます。

予想より早めに終わった場合や計画より時間がかかりそうな場合は、ChatGPTに状況を伝えて、スケジュールを更新してもらいました。
これで日ごと、週ごとの勉強計画を立て、受験日までの流れを把握し、毎日一定の勉強時間を確保できました。

全体のスケジュールを意識すると、途中問題が発生してもすぐ対応できますし、”次何やればいいんだっけ？”と不安になることもなくなります。

ChatGPTが作ってくれた日ごとのスケジュール

毎日の勉強報告、内容のまとめ

主に行なっていたのは、毎日の勉強内容と進捗報告でした。
一人で勉強を進んでいたので、いつも自分でノートに整理して終わりでしたが、この流れだと本当に正しく理解したか確認できないという問題がありました。

そこで、誰かに説明しながら内容を整理して、その内容を確認してもらいたいと思い、ChatGPTに毎日勉強報告をしていました。

プロンプトに入力したもの：

• 今日の日付
• 勉強時間
• 勉強した内容と質問
• 振り返りや反省

自分だけわかる内容を書くのではなく、このように人に説明する感じで報告することで、復習と理解確認ができるようになりました。
日付と勉強した時間、講義や問題集みたいに勉強に使った資料などを記入して、進捗管理も同時にできます。
そしてこの報告を送ると、内容をさらにわかりやすく表やマークダウン形式にまとめてくれます。

ChatGPTがまとめてくれた勉強内容

質問に対する回答

プロンプトには勉強した内容だけでなく、理解できなかったことや質問内容も記載しました。
そうすると、ChatGPTがその質問についても回答してくれます。

自分の目線に合わせて回答してくれるので、素早く質問を解決できると思います。
まだ間違った回答が返されたことはないですが、念のために自分で検索して確かめるのも良いと思います。

”いまだにこのaxisの概念が理解できてない。”と書いた時にChatGPTからもらった回答

クイズ

受験のための勉強なので、内容をまとめた後にしっかり理解確認もしたいと思いました。
そこでChatGPTに自分が報告した内容をもとにクイズを出すよう指示しました。

毎回クイズの難易度や形式は少しずつ異なりましたが、普通は少し簡単な問題3つが出されました。
クイズの内容は報告したことに限られているわけではなく、ChatGPTの知識も含まれていると思います。
そのため、自分が覚えた範囲以外の部分まで理解を広げられます。

このような説明して回答するクイズや選択肢の中で選ぶ感じのクイズもありました

使ったプロンプトまとめ

自分が使ったプロンプトをChatGPTに整理させました。
実際はこんなきれいじゃないので、適当に書いても聞いてくれるとは思います。。

• 勉強計画を立てる場合

資格試験に向けて勉強計画を作ってください。

【試験日】
〇月〇日

【今日の日時】
〇月〇日（〇曜日）

【現在の進捗】
・講座：〇〇まで終了（残り：〇〇）
・問題集：〇〇章まで実施（残り：〇〇）
・例題：〇回目の途中／まだやっていない など

【使える時間】
・平日：1〜4時間
・休日：3〜6時間

【やりたいこと】
例：問題集は2周以上、例題も2回以上やりたい。
例：弱点復習を直前1〜2日で固めたい。

【希望】
・毎日の具体的な勉強メニューを作成してほしい
・優先度の高いものから順にやっていきたい
・無理のない現実的な計画にしてほしい

• 勉強計画を修正したい場合

昨日までの計画から遅れている（or 早く進んでいる）ので、
今日の日付〇月〇日から試験日〇月〇日までのスケジュールを立て直してください。

【今日までの最新進捗】
・〇〇を完了
・まだ〇〇が残っている

【使える時間】
平日〇時間、休日〇時間

できれば直前2日間は総復習にあてたいです。

• 勉強報告する・報告に対するアドバイスなどがほしい場合

今日の勉強内容を整理したいので、理解できているか確認してほしい。
必要なら補足説明や明日の学習アドバイスをお願いします。

【日付】
〇月〇日

【勉強時間】
約〇時間

【今日やったこと】
・〇〇講座を視聴
・問題集〇章を解いた
・例題〇問取り組んだ

【自分でまとめた理解ポイント】
・〇〇
・〇〇

【疑問点・不安な部分】
・〇〇はこういう理解で正しい？
・〇〇との違いが曖昧

【明日やる予定】
・〇〇講座 or 〇〇問題集

各項目は自身に合わせて修正してください。
内容が長すぎると抜け漏れなどのミスが発生する可能性があるので、計画設定に必要なものを簡潔にまとめると良いです。

その他の感想

私が使ったgpt-4oだと、”今日めっちゃ疲れたーやる気ないー”みたいに弱音を吐いたら、”疲れてるのに少しでも勉強できてえらい！”みたいにめっちゃ励まされました。
勉強方針についての質問もできるので、活用方法は本当様々だと思います。（検索エンジンとしては使わないように。。）

勉強スケジュールを立てるのに曜日をずっと間違えてたのは面白かったです。普通は”これじゃないよ。◯◯だよ。”と送ったら修正してもらえたのですが、曜日だけは一生正しく修正されなかったですね笑
これは重要な部分ではないから、気にしなくても大丈夫です。

勉強報告は必ず毎日やらないといけないわけではないです。
あくまでも勉強効率を上げるためにChatGPTを活用するということなので、自身のペースに合わせて適切に使用するのが大事だと思います。

この記事を書いたメンバー