AIが出力した記事を、何とかして実用レベルにするために工夫してみた

このコンテンツは有料note「webライターとメディア運営者の、実践的教科書(安達裕哉著)」より転載しています。


「文書生成AIは本当に使えるのか?」という問いに対しては、「使わないと仕事が進まなくなる時が来るかも」という程度には実用的になってきた。
 
実際、PCも黎明期は「パソコンなど使わなくても仕事は進む」と言われていたが、現在は利用なしに仕事は進まない。
文書生成AIもPCと同様のツールであることを考えると、ある程度使い方に習熟しておくことは重要であるように見える。
ということで、ここ1ヶ月ほど、ChatGPTを用いて、AIになんとか面白い記事を書かせようと、あるいは、AIのアシストが有用になるよう、様々な試みを行ってきた。
しかし、現状のAIの文書生成のクオリティだと、人間の手をかなりかけないと、面白い記事が書けない。
実際、AIを使おうが、使うまいが、あまり手間が変わらないのが現実だ。
例えばほとんどの文書生成AIは、「テーマ/キーワード」か「書き出し」を与えると、文書を生成する。
そこで、私が昔書いた以下の記事の書き出し使って、この後の文章がどの程度の品質を実現してくれるかを確かめた。
 
妻から、「友達の旦那が、最近転職した」という話を聞いた。
そこそこの良い企業に勤めていたと聞いていたし、企業が採用を手控えているこの時期だ。求職者にとっては転職に不利益になる可能性も高い。だから「なんでこの時期に?」と聞いた。
すると妻は「テレワークをやめて、出社に切り替えろと言われたので、会社の方針に呆れて転職したんだって」という。
へえ、そんなことがあるのか、と思い、周りの人にも聞いてみると、確かにそのような理由での転職が増えているようだ。
中には、「この時期に出社を強制するということは、社員とその家族の健康を軽んじている」という方もいた。
そういうことか。
私は合点がいった。
つまり「テレワークに消極的な会社」を見放す人が増えているのだ。
 
この書き出しをもとに、AIに、続きを書かせてみると、以下のようになる。
読むとわかるが、「コタツライターの書いたSEO記事」という感じが否めない。というのも、主張に根拠がなく、意外性もないからだ。
はっきり言えば、信用できないし、それに加えて、つまらない。
なお、Notionに書かせても、大差はない。
問題点と利点、展望を書いておしまい。面白いことに、ChatGPTの生成文書と似ている。学習データが被っているのだろうか。
 
では、これをどう料理するべきか。
まず「記事のクオリティ」最低限のラインとして、主張に対する根拠が示されていないのは致命的だ。
 
そこで、AIに対して「主張に対する、客観的な証拠はあるのか?」と、注文をつけてみた。
すると、AIの回答はまたもや「意見」だった。
これは、AIが実際に経験しているわけではないから、信用できない。
そこで、「それは意見ではないか?」と、更に注文をつけてみる。
これに対するAIの回答は、「ごめんなさい、証拠を改めて提出します」といい、2つの文献を提出してきた。
だが、この2つのジャーナルを調べてみると、ジャーナル自体は存在しているようなのだが、論文自体は存在しない。
 
したがって、主張はデタラメなのだ。
以下の記事でも検証したように、ChatGPTは「ウソを付く」ので、文献が出てきたとしても、ちゃんと調べない限り、信用してはいけない。
 
なお、同じ質問をNotionでも入力してみたが、こちらは二つのリンクを提供してきた。
Owl Labsはリンク切れだったが、ハーバードビジネスレビューはリンクが機能しており、「社会的孤立」の項目が確かに見つかった。
 
これは使えるかも、と思ったが続けて、見出しとなっている「テレワークに将来性がある、との主張に対しての客観的なデータはあるか?」と聞いたところ、2つのリンクが提供されたが、いずれもリンクは切れており、同タイトルの文献も見つからなかった。
なお、これはAIが文書を生成するときの根源的な制約であると私は考えている。
性能の向上で解決できる問題ではない。
 
というのも、AIが述べていることを「信用」してよいのかどうかは、webページに書いてあることと同じように、どこまで行っても「出典は何か?」「誰が主張に根拠を与えているのか?」に左右されるからだ。
出典や論拠となる経験を明らかにしない主張は、基本的には「使えない」という前提で見たほうが良い。
したがって、今のままでは文書生成AIは、使い物にならない。(少なくとも、記事を書くという点においては、という限定付きだが)
 
ではどうするか。
代替のAIを探ってみると、MicrosoftのBingがあった。
 
Bingは検索エンジンとAIの掛け合わせによるサービスで、ChatGPTとは異なり、主張の根拠をwebサイトとして示してくれる。
 
少なくとも「何を根拠としているのか」を調べられるはずだ。
そこで、全く同じ質問を投げかけてみた。
https://www.bing.com/
ChatGPTとは異なり、出典として下にいくつかのサイトが示されている。
そこで、サイトを巡回してみたが、実は「テレワークにおいて、コミュニケーションやチームビルディングの促進が重要」という客観的な証拠が掲載されたサイトは、少なくとも検索の上位には存在していなかった。
ただ、最も問題なのは、上位の記事が「AIで出力された記事」とあまりクオリティにおいて変わらなかった点だ。
つまりキーワードによっては、「現在、Google検索の上位に上がってきている記事」程度は、AIに書かせることができるのである。
 
ただし、これはAIの責任ではない。おそらく「学習データ」の問題だ。
大量の薄い記事を読み込んで学習したAIは、薄い記事しか出力できない。だから「根拠」や「意外性」に欠ける記事しか、書けないのだ。要は「AIが薄い記事しか出せない」のは、web上に大量に存在している「薄い記事」を学習データとしたからではないか。
もちろん優れた記事を学習データとして使い、今後優れた記事がどのようなものなのかをAIが学べば、もしかしたらAIの出力する記事は、人間が太刀打ちできないものになるかもしれない。

文章の手のかけどころ

ただ、私は「薄いSEO記事」を作りたいわけではないので、しぶしぶ、人力にて、Googleの論文検索にて、そうした調査が存在しているかどうかを調べた。
すると、いくつかの文献が見つかった。
 
さらに、書籍まで調査範囲を広げると、それに該当するものが見つかった。
 
タイトルは「テレワーク導入による生産性向上戦略 (関西学院大学研究叢書 第181編)」。2015年の本で、コロナ前の調査だ。
あるいは、上の私の記事の中で取り上げた、以下の本も、チームビルディングの重要性を詳しく説いている。
この本は学術研究ではないが、ジェイソン・フリードというベンチャー企業の経営者が、実際に自社でテレワークを利用したときに、コミュニケーションやチームビルディングを以下に行ったかを克明に記した本で、現場の生々しい状況が書かれている。
 
客観的証拠、というには足りないが、ケースの一つとして信用できる事例と言える。
これに加えてさらに、以下のような「自分の会社でテレワークを行った経験」まで加えれば、かなり面白い記事が書けるだろう。
Books&Appsを運営する弊社は、現在フルリモートワークで仕事をしている。
といっても、小規模な会社なので大企業が言うフルリモートワークとはちがい、「やってみましょう」の一言で、結構気楽にやれている。
そして実際に二年ほどフルリモートワークをやってみると、利点や欠点がよくわかる。
もともと、弊社は昭和63年に、わたしの父が創業した。
ほとんど税金対策でしか機能していなかったので、父の引退とともに、休眠状態であった。ところが私が会社をつくるとき、父が私に使わせるために会社を潰さず残しておいた、と言ってくれたので、私は起業とともに「ティネクト株式会社」と名前を改め、会社を運営し始めた。
その時のメンバーは私ともう一名の合計二名。「たった二人でオフィスなんかいらないよ」という考え方もあった。
普通に考えれば、上に引用したChatGPTの提出する記事よりも、こちらの2つの書籍と、幾人かの経営者の経験に言及するほうが、遥かに面白く、かつ信用のおける記事だと言える。
また、取材をして、直接テレワークを行っている企業へ聞き取りをすることも有効だろう。
 

AIが出力した記事を、何とかして実用レベルにするための3つの要素

これまで見たように、AIが出力した記事を、何とかして実用レベルにするためには、3つの要素がある。
1.文献調査
2.取材
3.経験
 

1.文献調査

AIは、「学習データ」をwebなどに依存している以上、「平均以下の能力のライターの書く文章」程度の出力しかできない。(今のところ)
 
もちろん、おそらくこれから「専門特化したAI」が出現し、記事の作成に最適な学習をさせたAIが出てくると予想されるが、現時点ではAIを利用するにあたって、「出力結果の真偽を検証できる調査能力」は必須となる。
個人でのAI利用は「何となく正しそう」で問題はないが、記事にするには根拠を用意しなければならない。
したがって、文献をあたって、主張の真偽を調査できる、文献の調査能力があるライターのほうが、AIを圧倒的にうまく利用できる可能性が高い。
例えばChatGPTの学習データは、以下のように定義されている。
 
https://github.com/openai/following-instructions-human-feedback/blob/main/model-card.md
 
基本はwebにアップロードされたテキストが学習の対象になっている。
図書からのデータ(図書コーパス)も学習対象となっているが、webに比べると、圧倒的にその規模は小さいだろう。
webは残念ながら、根拠としての能力が低いため、書籍を文献として引ける能力がライターにあると、それだけでAIに対して有利である。
つまり読書量の多いライターは、AIが出力した結果を「書籍」の文献と関連付けて語ることができるため、文章のクオリティを上げることができる。
 

2.取材

当然、「文書化」されていない事実は、学習の対象とならない。
そして、文書化されてない事実があるのは、現場だ。
そのため、現場にいる記者やライターはAIよりも早く、豊富な情報を現場では取ることが可能であり、記事のクオリティはAIよりもはるかに高いものになるだろう。
なお「単なる事実の報道」であれば、AIが適当にニュースを組み合わせて記事にしてしまう可能性があるので、取材力+視点 を記事において提供する必要があるのは間違いない。
 

3.経験

経験は、AIには決してなしえない行為であり、今後AIが極めて発達したとしても、記者、ライターがAIに対して有利になれるコンテンツである。
したがって、数多くの、普通の人が経験しないイベントや事件、出来事に触れれば、必然的にAIの「一般的なことしか言えない」記事よりも、クオリティの高い記事を作ることができる。
 

AIをうまく使ってクオリティの高い記事を作るには

題材は、上でAIに出力させた、記事テーマを利用しよう。
以下に再掲する。
 
この文章に、一つ一つ根拠を取り付けていく。
それが、以下だ。
 

はじめに

・導入部で自分自身の経験を述べても良い。
・2020年、コロナウイルスが蔓延し、企業はテレワークに切り替える必要がありました → どの程度の会社がテレワークに切り替えたのか?
・テレワークに慣れていない企業は、社員の監視が難しく、業務の遅延やコミュニケーションの問題が発生しました。 → 具体的に何の問題がどの程度の会社に起きたのか?
・2021年に入り、テレワークに消極的な会社を見放す社員は本当に増えているのか? → データを用意
 

テレワークを受け入れない企業の問題点

・出勤を強制する会社が直面している課題を調査 → データを用意
 

テレワークを推進する会社のメリット

・通勤時間の短縮による、ストレス軽減の効果はどの程度なのか?
→ データを用意
 
・出勤しないことで、社員同士のコミュニケーションはどう変化したか?
→ データを用意
・オフィススペースの減少は、コスト削減につながったのか?
→ データを用意
・実際にテレワーク導入企業に取材した結果や、テレワークの経験があれば、それを記述
 

テレワークの将来性

・テレワークを続けるとした会社が語る展望
→ 取材やインタビューを抜粋
・テレワークによる生産性の向上は本当に起きているのか?
→ データを紹介
 
元記事へのリンクを以下に貼るので、比較してほしい。
 

まとめ

AIが提案した記事を、現実的に「クオリティの高い記事」に仕上げようとすれば、追加で10個の文献調査、取材、経験談などを適宜追加する必要がある。
「データをよこせ」とAIに命じたときに、データをよこしてくれればよいのだが、冒頭に示したように、でたらめなデータを紹介されることが圧倒的に多い。
このことから、AIによる文章生成は、現在のところ、加工の手間を考えると、
・構成案の作成
・文章の要約
・メールの返信
などの用途で利用するのがよさそうだ。
 

 

【お知らせ】
現在ティネクトではChatGPTを活用したマーケティング業務の内製化をテーマとして社内勉強会を行っております。


【概要】
様々な使われ方をされているChatGPTの事例を紹介しわかりやすく分類した上で、実際にマーケティング現場で活用されている実践例を紹介

【目的】
マーケティング業務にChatGPTを活用するためのヒントを与える

【内容】
1.ChatGPTの使い方4つの分類(10分)
2.Webマーケティングの役割は2つしかない(5分)
3.オウンドメディアコンテンツ作成にChatGPTを使った事例 (15分)
4.3.ChatGPTを経営課題の解決に使う:「顧客理解」のための9steps(15分)
4.Q&A(15分)


お申込み詳細・ご相談は こちら「ChatGPTを活用してマーケティングを内製化するための勉強会のご案内」ページをご覧ください

(2024/2/22更新)

 

【著者プロフィール】

安達裕哉

元Deloitteコンサルタント/現ビジネスメディアBooks&Apps管理人/オウンドメディア支援のティネクト創業者/ 能力、企業、組織、マーケティング、マネジメント、生産性、知識労働、格差について。

◯Twitter:安達裕哉

◯Facebook:安達裕哉

◯有料noteでメディア運営・ライティングノウハウ発信中(webライターとメディア運営者の実践的教科書