ベンチマークを計測するサンプルコード

ベンチマークを計測するサンプルコードです。
iterNum で繰り返し回数を指定します。

• C#
• VB

---

C# 版

• 画像分類の場合: L.14 BenchMark()
• アノマリー検出の場合: L.14 BenchMark()
• MVCNN の場合: L.130- BenchMarkMVCNN()

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using FVIL;
using FVIL.Data;
using FVIL.PDL;
 
namespace SamplesCS
{
    partial class Program
    {
        static void BenchMark(String modelPath, String imagePath, UInt32 iterNum)
        {
            // 閾値は任意、必要であれば引数としても良い
            const Double threshold = 10.0;
            // アノマリー検出での異常度マップ画像の型 ( UC8 または F32 )
            const ImageType anomaly_map_image_type = ImageType.UC8;
 
            // 計測回数のエラーチェック
            if (0 >= iterNum)
            {
                Console.WriteLine("iterNum must be positive ( >0 )");
                return;
            }
 
            try
            {
                var has_license = Model.CheckLicense();
                if (false == has_license) { throw new Exception("no license"); }
 
                // モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Model model = new Model(modelPath);
 
                // 推論対象画像の読込
                CFviImage image = new CFviImage(imagePath);
 
                // 推論対象画像の有効性確認
                var is_valid_img = model.IsValidImage(image);
                if (false == is_valid_img) { throw new Exception("invalid image"); }
 
                // アノマリー検出での異常度マップ画像
                CFviImage anomaly_map = new CFviImage(image.HorzSize, image.VertSize, anomaly_map_image_type, 1);
 
                // 計測用のストップウォッチ
                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
 
                // 計測結果のリスト
                long[] msecs = new long[iterNum];
 
                var contents = "msec, score0,...";
                Console.WriteLine("msec, score0,...");
                for (var i = 0; i < iterNum; i++)
                {
                    switch (model.ModelCategory)
                    {
                        case ModelCategory.Classification:// 画像分類
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var scores = model.PredictClassification(image);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                for (var i_score = 0; i_score < scores.Length; i_score++)
                                {
                                    contents += $", {scores[i_score]}";
                                }
                            }
                            break;
                        case ModelCategory.AnomalyDetection:// アノマリー検出
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var tuple = model.PredictAnomaly(image, (float)threshold, anomaly_map);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                //contents = $"{sw.ElapsedMilliseconds:000}";
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                contents += ", " + (tuple.Item1 ? "anomaly" : "normal") + $", {tuple.Item2}";
                            }
                            break;
                        case ModelCategory.Unknown:
                        case ModelCategory.MultiViewCNN:
                        default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                    }
 
                    // リストへ格納
                    msecs[i] = sw.ElapsedMilliseconds;
 
                    Console.WriteLine(contents);
 
                    // ファイルに保存したいとき
                    // - "result.csv" は任意のパスを設定
                    // - 上記の contents 生成に改行を追加
                    //System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    // 次の計測のためのリセット
                    sw.Reset();
                }
 
                // 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}");
                Console.WriteLine($"Min: {msecs.Min():.00}");
                Console.WriteLine($"Max: {msecs.Max():.00}");
            }
            catch (CFviException ex)
            {
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
        }
 
        static void BenchMarkMVCNN(String modelPath, String imageFolder, UInt32 iterNum)
        {
            // 計測回数のエラーチェック
            if (0 >= iterNum)
            {
                Console.WriteLine("iterNum must be positive ( >0 )");
                return;
            }
 
            try
            {
                var has_license = Model.CheckLicense();
                if (false == has_license) { throw new Exception("no license"); }
 
                // モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Model model = new Model(modelPath);
 
                // モデル種別のエラーチェック
                switch (model.ModelCategory)
                {
                    case ModelCategory.MultiViewCNN:
                        break;
                    case ModelCategory.Unknown:
                    case ModelCategory.Classification:
                    case ModelCategory.AnomalyDetection:
                    default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                }
 
                // 推論対象画像の読込と有効性の確認
                List<CFviImage> target_images = new List<CFviImage>();
                for (var i_img = 0; i_img < model.NumViews; i_img++)
                {
                    // imageFolder フォルダ内に、0-index の通し番号の画像が保存されていることを想定
                    var img_path = System.IO.Path.Combine(imageFolder, String.Format("{0}.bmp", i_img));
                    var image = new CFviImage(img_path);
 
                    // 推論対象画像の有効性確認
                    var is_valid_img = model.IsValidImage(image);
                    if (false == is_valid_img) { throw new Exception("invalid image"); }
 
                    // 推論対象画像のリストに追加
                    target_images.Add(image);
                }
 
                // 計測用のストップウォッチ
                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
 
                // 計測結果のリスト
                long[] msecs = new long[iterNum];
 
                var contents = "msec, score0,...";
                Console.WriteLine("msec, score0,...");
                for (var i = 0; i < iterNum; i++)
                {
                    // 計測開始
                    sw.Start();
 
                    // 推論実行
                    var scores = model.PredictMultiViewCNN(target_images);
 
                    // 計測終了
                    sw.Stop();
 
                    // 結果の文字列
                    //contents = $"{sw.ElapsedMilliseconds:000}";
                    contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                    for (var i_score = 0; i_score < scores.Length; i_score++)
                    {
                        contents += $", {scores[i_score]}";
                    }
 
                    // リストへ格納
                    msecs[i] = sw.ElapsedMilliseconds;
 
                    Console.WriteLine(contents);
 
                    // ファイルに保存したいとき
                    // - "result.csv" は任意のパスを設定
                    // - 上記の contents 生成に改行を追加
                    //System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    // 次の計測のためのリセット
                    sw.Reset();
                }
 
                // 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}");
                Console.WriteLine($"Min: {msecs.Min():.00}");
                Console.WriteLine($"Max: {msecs.Max():.00}");
            }
            catch (CFviException ex)
            {
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
        }
    }
}

VB 版

• 画像分類の場合: L.11 BenchMark()
• アノマリー検出の場合: L.11 BenchMark()
• MVCNN の場合: L.114- BenchMarkMVCNN()

Imports System
Imports System.Collections.Generic
Imports System.Linq
Imports System.IO
Imports FVIL
Imports FVIL.Data
Imports FVIL.PDL
 
Namespace SamplesCS
    Partial Class Program
        Private Shared Sub BenchMark(ByVal modelPath As String, ByVal imagePath As String, ByVal iterNum As UInteger)
            ' 閾値は任意、必要であれば引数としても良い
            Const threshold = 10.0
            ' アノマリー検出での異常度マップ画像の型 ( UC8 または F32 )
            Const anomaly_map_image_type = ImageType.UC8
 
            ' 計測回数のエラーチェック
            If 0 >= iterNum Then
                Console.WriteLine("iterNum must be positive ( >0 )")
                Return
            End If
 
            Try
                Dim has_license = PDL.Model.CheckLicense()
                If False = has_license Then
                    Throw New Exception("no license")
                End If
 
                ' モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Dim model As Model = New Model(modelPath)
 
                ' 推論対象画像の読込
                Dim image As CFviImage = New CFviImage(imagePath)
 
                ' 推論対象画像の有効性確認
                Dim is_valid_img = model.IsValidImage(image)
                If False = is_valid_img Then
                    Throw New Exception("invalid image")
                End If
 
                ' アノマリー検出での異常度マップ画像
                Dim anomaly_map As CFviImage = New CFviImage(image.HorzSize, image.VertSize, anomaly_map_image_type, 1)
 
                ' 計測用のストップウォッチ
                Dim sw As Stopwatch = New Stopwatch()
 
                ' 計測結果のリスト
                Dim msecs = New Long(iterNum - 1) {}
 
                Dim contents = "msec, score0,..."
                Console.WriteLine("msec, score0,...")
                For i = 0 To iterNum - 1
                    Select Case model.ModelCategory
                        Case ModelCategory.Classification ' 画像分類
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim scores = model.PredictClassification(image)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            For i_score = 0 To scores.Length - 1
                                contents += $", {scores(i_score)}"
                            Next
                        Case ModelCategory.AnomalyDetection ' アノマリー検出
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim tuple = model.PredictAnomaly(image, threshold, anomaly_map)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            'contents = $"{sw.ElapsedMilliseconds:000}";
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            contents += ", " & If(tuple.Item1, "anomaly", "normal") & $", {tuple.Item2}"
                        Case Else
                            Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                    End Select
 
                    ' リストへ格納
                    msecs(i) = sw.ElapsedMilliseconds
 
                    Console.WriteLine(contents)
 
                    ' ファイルに保存したいとき
                    ' - "result.csv" は任意のパスを設定
                    ' - 上記の contents 生成に改行を追加
                    'System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    ' 次の計測のためのリセット
                    sw.Reset()
                Next
 
                ' 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}")
                Console.WriteLine($"Min: {msecs.Min():.00}")
                Console.WriteLine($"Max: {msecs.Max():.00}")
            Catch ex As CFviException
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            Catch ex As Exception
                Console.WriteLine($"Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            End Try
        End Sub
 
        Private Shared Sub BenchMarkMVCNN(ByVal modelPath As String, ByVal imageFolder As String, ByVal iterNum As UInteger)
            ' 計測回数のエラーチェック
            If 0 >= iterNum Then
                Console.WriteLine("iterNum must be positive ( >0 )")
                Return
            End If
 
            Try
                Dim has_license = PDL.Model.CheckLicense()
                If False = has_license Then
                    Throw New Exception("no license")
                End If
 
                ' モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Dim model As Model = New Model(modelPath)
 
                ' モデル種別のエラーチェック
                Select Case model.ModelCategory
                    Case ModelCategory.MultiViewCNN
                    Case Else
                        Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                End Select
 
                ' 推論対象画像の読込と有効性の確認
                Dim target_images As List(Of CFviImage) = New List(Of CFviImage)()
                For i_img = 0 To model.NumViews - 1
                    ' imageFolder フォルダ内に、0-index の通し番号の画像が保存されていることを想定
                    Dim img_path = Path.Combine(imageFolder, String.Format("{0}.bmp", i_img))
                    Dim image = New CFviImage(img_path)
 
                    ' 推論対象画像の有効性確認
                    Dim is_valid_img = model.IsValidImage(image)
                    If False = is_valid_img Then
                        Throw New Exception("invalid image")
                    End If
 
                    ' 推論対象画像のリストに追加
                    target_images.Add(image)
                Next
 
                ' 計測用のストップウォッチ
                Dim sw As Stopwatch = New Stopwatch()
 
                ' 計測結果のリスト
                Dim msecs = New Long(iterNum - 1) {}
 
                Dim contents = "msec, score0,..."
                Console.WriteLine("msec, score0,...")
                For i = 0 To iterNum - 1
                    ' 計測開始
                    sw.Start()
 
                    ' 推論実行
                    Dim scores = model.PredictMultiViewCNN(target_images)
 
                    ' 計測終了
                    sw.Stop()
 
                    ' 結果の文字列
                    'contents = $"{sw.ElapsedMilliseconds:000}";
                    contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                    For i_score = 0 To scores.Length - 1
                        contents += $", {scores(i_score)}"
                    Next
 
                    ' リストへ格納
                    msecs(i) = sw.ElapsedMilliseconds
 
                    Console.WriteLine(contents)
 
                    ' ファイルに保存したいとき
                    ' - "result.csv" は任意のパスを設定
                    ' - 上記の contents 生成に改行を追加
                    'System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    ' 次の計測のためのリセット
                    sw.Reset()
                Next
 
                ' 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}")
                Console.WriteLine($"Min: {msecs.Min():.00}")
                Console.WriteLine($"Max: {msecs.Max():.00}")
            Catch ex As CFviException
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            Catch ex As Exception
                Console.WriteLine($"Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            End Try
        End Sub
    End Class
End Namespace