「Assured」の評価フォーマット(質問表)はどう改訂されているのか

こんにちは、エンジニアの岩松です。スプラトゥーン3発売以降ずっと遊んでいましたがポケモンの新作も発売され、余暇の使い方に選択と集中を迫られています。

Assuredはクラウドサービスのリスク評価情報を集約したプラットフォームです。このリスク評価情報は、クラウドサービス事業者様にセキュリティに関する評価項目へご回答いただき、その内容をセキュリティの専門資格を保有するAssuredのリスク評価チームが評価することで集約しています。セキュリティチェックといえば、メールやエクセルでのやりとり(いわゆるセキュリティチェックシート)が一般的ですが、Assuredはサービス内に独自の評価フォーマット(質問表)を用意しており、常に最新のセキュリティトレンドに合わせた網羅的な評価が集約できるよう改訂を続けています。

Assuredの評価フォーマット回答画面

なぜ改訂するのか

Assuredの評価フォーマットはNISTやISO、経済産業省総務省、FISCなど、国内外の複数のフレームワークガイドラインを参考として100を超える設問を有しており、既存の評価フォーマットを網羅的に集約出来ています。そのなかで、

  • 話題性の高いインシデントが起きた
  • 法改正、ガイドラインの改訂があった
  • お客様の要望が出てきた
  • 設問の改善点が見えた

等のイベントを常にウォッチし、定期的にアップデートを続けています。なぜならAssuredでは常にクラウドサービス事業者様から最新かつ正しい情報を収集できていることがサービスの価値となるからです。

なぜ改訂するのかについてはアシュアード代表取締役である大森の記事でより詳しく説明されているので、良ければご一読ください。このなかでも触れられているように、改訂に伴いクラウドサービス事業者様のご負担を少しでも軽減するため、開発面においても様々な取り組みをしています。今回の記事ではその取り組みについても具体的にお伝え出来ればと思います。

note.com

セキュリティ評価フォーマット改訂の計画手順

Assuredにはドメインエキスパートとも言われるセキュリティ領域の専門家がいます。

blog.visional.inc

こういった専門家が中心となり、前述したイベントに応じて評価フォーマットの改訂を取りまとめています。

また、セキュリティが専門領域でないユーザーの皆さまでも回答に迷わないよう、わかりやすい表現を心がけています。回答する立場の気持ちを汲むために、Assured開発チームの意見を取り入れることもあります。ここでは

  • 不自然な表現となっていないか
  • 答えやすい形式となっているか
  • 用語に齟齬がないか

といったことを確認しており、特に「監査」と「開発」では用いられる用語やニュアンスが異なる場合があるため、辞書を設定することもあります。

評価フォーマット回答画面の辞書機能

評価フォーマット改訂における工夫点

GitHubによる管理

以前のブログ記事でご紹介したように、評価フォーマットを編集管理する上では

  • 設問ごとにメタ情報(変更履歴や議論等)を管理する必要がある
  • 文章表現と内容に高い正確性が求められる
  • Excelの整形コストが高い

といった課題があるため、編集作業はGitHubで完結できるようにしています。構造化されたデータ(YAML)として管理しているので、CIで校閲(textlint)やスペルチェックができるようにもなっています。

CIで見つかった文章表現ミスはPullRequestへコメントされます。

ちなみに既存のtextlintルールだけでは防ぎきれないミスも出てくるので、新たなルールも自作しながら運用しています。

github.com

回答移行ルールの設定

評価フォーマットを改訂すると、更新された設問に対して再度ご回答いただく場合があります。しかし、クラウドサービス事業者様が何度もこういった対応をするとなると手間がかかってしまいますしAssuredとしてはなるべくその手間を減らしたいと考えています。そこでドメインエキスパートとも相談しながら、既存の回答を持ち越せる場合は新しい設問の回答を補完するようにしています。具体的には XXX と YYY に回答している(新しい設問である) ZZZ はあらかじめ回答済みとする といったルールを改訂ごとに調整しています(それでも改訂のたびにクラウド事業者様の再回答は発生してしまうので、負担を最小化する工夫は今後も検討したいです…)。

再回答フラグの設定

さらに、改訂された設問には「文言変更としては微々たるものだが、設問のニュアンスが大きく変わる」というものがあります。ユーザーが改訂の内容に気づき、正しく回答できるよう XXX で YYY と回答していたら、再回答を促す といったフラグも設定しています。前述の「ユーザーが再回答するコストを最小に」という考えとは相反するようですが、クラウドサービス事業者様が意図せぬ回答によって不利益を被らないよう配慮しています。

再回答フラグが設定された設問

改訂項目の検証

機械的校閲やスペルチェックをしているといっても実際には

  • 論理的に矛盾した設問、選択肢となっている
  • textlintがカバーできない誤字脱字を含んでいる
  • 計画していた変更が反映できていない

いったことを防ぐため、細かな検証が重要となってきます。また、当然最終的にはAssuredシステム上で正しく回答ができることを確認しなければなりません。項目修正のたびに検証環境を用意してシステム上で確認していると、速いイテレーションで評価フォーマットの検証が難しくなってしまうため、CIによるSpreadsheetの自動出力を活用しています。これにより開発チーム以外のメンバーでも校閲に参加しやすくなっています。

PullRequest(Commit)に応じてCIがSpreadsheetを自動生成しています。

おわりに

ここまで紹介したように改訂項目の反映には多くの工数も発生しますが、冒頭で述べたように 常にクラウドサービス事業者様から最新かつ正しい情報を収集できていることがサービスの価値 ということを念頭におき、なるべく作業を効率化し質を高められるように努めています。

Assuredにより多くの情報が集まることで、クラウドサービス事業者様がプロダクトの安全性を証明するために要していた手間と時間を効率化し、よりものづくりに向けられるようにしていけたらと思いますし、より網羅的でトレンドに合わせた評価項目によって、クラウド事業者様のセルフチェックにもご活用いただけるようなものを目指していきたいと考えていますので、ぜひAssuredのセキュリティチェックにご協力賜われれば嬉しいですし、設問のフィードバックも随時募集しています。

この記事を通して少しでもAssuredに興味を持っていただけた方とは、ぜひカジュアルにお話しできればと思います。以下のリンクからご応募ください!

forms.gle

careers.assured.jp