ベンチマークを計測するサンプルコード

ベンチマークを計測するサンプルコードです。
iterNum で繰り返し回数を指定します。

• C#
• VB

---

C# 版

• 画像分類の場合: L.14- BenchMark()
• アノマリー検出の場合: L.14- BenchMark()
• 多視点画像分類の場合: L.152- BenchMarkMultiView()
• 多視点アノマリー検出の場合: L.152- BenchMarkMultiView()
• セマンティックセグメンテーションの場合: L.297- BenchMarkSegmentation()
• パノプティックセグメンテーションの場合: L.297- BenchMarkSegmentation()
• 物体検出の場合: L.405- BenchMarkObjectDetection()
• マルチラベル画像分類の場合: L.14- BenchMark()

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using FVIL;
using FVIL.Data;
using FVIL.PDL;
 
namespace SamplesCS
{
    partial class Program
    {
        static void BenchMark(String modelPath, String imagePath, UInt32 iterNum)
        {
            // 閾値は任意、必要であれば引数としても良い
            const Double threshold = 10.0;
            // アノマリー検出での異常度マップ画像の型 ( UC8 または F32 )
            const ImageType anomaly_map_image_type = ImageType.UC8;
 
            // 計測回数のエラーチェック
            if (0 >= iterNum)
            {
                Console.WriteLine("iterNum must be positive ( >0 )");
                return;
            }
 
            try
            {
                var has_license = Model.CheckLicense();
                if (false == has_license) { throw new Exception("no license"); }
 
                // モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Model model = new Model(modelPath);
 
                // 推論対象画像の読込
                CFviImage image = new CFviImage(imagePath);
 
                // 推論対象画像の有効性確認
                var is_valid_img = model.IsValidImage(image);
                if (false == is_valid_img) { throw new Exception("invalid image"); }
 
                // アノマリー検出での異常度マップ画像
                CFviImage anomaly_map = new CFviImage(image.HorzSize, image.VertSize, anomaly_map_image_type, 1);
 
                // 計測用のストップウォッチ
                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
 
                // 計測結果のリスト
                long[] msecs = new long[iterNum];
 
                var contents = "msec, score0,...";
                Console.WriteLine("msec, score0,...");
                for (var i = 0; i < iterNum; i++)
                {
                    switch (model.ModelCategory)
                    {
                        case ModelCategory.Classification:// 画像分類
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var scores = model.PredictClassification(image);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                for (var i_score = 0; i_score < scores.Length; i_score++)
                                {
                                    contents += $", {scores[i_score]}";
                                }
                            }
                            break;
                        case ModelCategory.AnomalyDetection:// アノマリー検出
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var tuple = model.PredictAnomaly(image, (float)threshold, anomaly_map);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                //contents = $"{sw.ElapsedMilliseconds:000}";
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                contents += ", " + (tuple.Item1 ? "anomaly" : "normal") + $", {tuple.Item2}";
                            }
                            break;
                        case ModelCategory.MultiLabelClassification:// マルチラベル画像分類
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var scores = model.PredictMultiLabelClassification(image);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                for (var i_score = 0; i_score < scores.Length; i_score++)
                                {
                                    contents += $", {scores[i_score]}";
                                }
                            }
                            break;
                        case ModelCategory.MultiViewCNN:
                        case ModelCategory.MultiViewAD:
                        case ModelCategory.SemanticSegmentation:
                        case ModelCategory.PanopticSegmentation:
                        case ModelCategory.Unknown:
                        default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                    }
 
                    // リストへ格納
                    msecs[i] = sw.ElapsedMilliseconds;
 
                    Console.WriteLine(contents);
 
                    // ファイルに保存したいとき
                    // - "result.csv" は任意のパスを設定
                    // - 上記の contents 生成に改行を追加
                    //System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    // 次の計測のためのリセット
                    sw.Reset();
                }
 
                // 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}");
                Console.WriteLine($"Min: {msecs.Min():.00}");
                Console.WriteLine($"Max: {msecs.Max():.00}");
            }
            catch (CFviException ex)
            {
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
        }
 
        static void BenchMarkMultiView(String modelPath, String imageFolder, UInt32 iterNum)
        {
            // 閾値は任意、必要であれば引数としても良い
            const Double threshold = 10.0;
            // アノマリー検出での異常度マップ画像の型 ( UC8 または F32 )
            const ImageType anomaly_map_image_type = ImageType.UC8;
 
            // 計測回数のエラーチェック
            if (0 >= iterNum)
            {
                Console.WriteLine("iterNum must be positive ( >0 )");
                return;
            }
 
            try
            {
                var has_license = Model.CheckLicense();
                if (false == has_license) { throw new Exception("no license"); }
 
                // モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Model model = new Model(modelPath);
 
                // モデル種別のエラーチェック
                switch (model.ModelCategory)
                {
                    case ModelCategory.MultiViewCNN:
                    case ModelCategory.MultiViewAD:
                        break;
                    case ModelCategory.Unknown:
                    case ModelCategory.Classification:
                    case ModelCategory.AnomalyDetection:
                    case ModelCategory.SemanticSegmentation:
                    case ModelCategory.PanopticSegmentation:
                    default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                }
 
                // 推論対象画像の読込と有効性の確認
                List<CFviImage> target_images = new List<CFviImage>();
                for (var i_img = 0; i_img < model.NumViews; i_img++)
                {
                    // imageFolder フォルダ内に、0-index の通し番号の画像が保存されていることを想定
                    var img_path = System.IO.Path.Combine(imageFolder, String.Format("{0}.bmp", i_img));
                    var image = new CFviImage(img_path);
 
                    // 推論対象画像の有効性確認
                    var is_valid_img = model.IsValidImage(image);
                    if (false == is_valid_img) { throw new Exception("invalid image"); }
 
                    // 推論対象画像のリストに追加
                    target_images.Add(image);
                }
 
                // アノマリー検出での異常度マップ画像
                CFviImage anomaly_map = new CFviImage(target_images[0].HorzSize, target_images[0].VertSize, anomaly_map_image_type, 1);
 
                // 計測用のストップウォッチ
                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
 
                // 計測結果のリスト
                long[] msecs = new long[iterNum];
 
                var contents = "msec, score0,...";
                Console.WriteLine("msec, score0,...");
                for (var i = 0; i < iterNum; i++)
                {
                    // モデル種別のエラーチェック
                    switch (model.ModelCategory)
                    {
                        case ModelCategory.MultiViewCNN:
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var scores = model.PredictMultiViewCNN(target_images);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                //contents = $"{sw.ElapsedMilliseconds:000}";
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                for (var i_score = 0; i_score < scores.Length; i_score++)
                                {
                                    contents += $", {scores[i_score]}";
                                }
                            }
                            break;
                        case ModelCategory.MultiViewAD:
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var tuple = model.PredictMultiViewAD(target_images, (float)threshold, anomaly_map);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                //contents = $"{sw.ElapsedMilliseconds:000}";
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                contents += ", " + (tuple.Item1 ? "anomaly" : "normal") + $", {tuple.Item2}";
                            }
                            break;
                        case ModelCategory.Unknown:
                        case ModelCategory.Classification:
                        case ModelCategory.AnomalyDetection:
                        case ModelCategory.SemanticSegmentation:
                        case ModelCategory.PanopticSegmentation:
                        default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                    }
 
 
                    // リストへ格納
                    msecs[i] = sw.ElapsedMilliseconds;
 
                    Console.WriteLine(contents);
 
                    // ファイルに保存したいとき
                    // - "result.csv" は任意のパスを設定
                    // - 上記の contents 生成に改行を追加
                    //System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    // 次の計測のためのリセット
                    sw.Reset();
                }
 
                // 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}");
                Console.WriteLine($"Min: {msecs.Min():.00}");
                Console.WriteLine($"Max: {msecs.Max():.00}");
            }
            catch (CFviException ex)
            {
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
        }
 
        static void BenchMarkSegmentation(String modelPath, String imagePath, UInt32 iterNum)
        {
            // 計測回数のエラーチェック
            if (0 >= iterNum)
            {
                Console.WriteLine("iterNum must be positive ( >0 )");
                return;
            }
 
            try
            {
                var has_license = Model.CheckLicense();
                if (false == has_license) { throw new Exception("no license"); }
 
                // モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Model model = new Model(modelPath);
 
                // 推論対象画像の読込
                CFviImage image = new CFviImage(imagePath);
 
                // 推論対象画像の有効性確認
                var is_valid_img = model.IsValidImage(image);
                if (false == is_valid_img) { throw new Exception("invalid image"); }
 
                // 計測用のストップウォッチ
                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
 
                // 計測結果のリスト
                long[] msecs = new long[iterNum];
 
                var contents = "msec, score0,...";
                Console.WriteLine("msec, score0,...");
                for (var i = 0; i < iterNum; i++)
                {
                    switch (model.ModelCategory)
                    {
                        case ModelCategory.SemanticSegmentation:// セマンティックセグメンテーション
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行: 後処理を行わない最も単純なメソッド
                                var segm_result_image = model.PredictSemanticSegmentation(image);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                            }
                            break;
                        case ModelCategory.PanopticSegmentation:
                            {
                                // パノプティックセグメンテーション固有の検出パラメータの設定 ( ここではデフォルト値と同じ値を設定 )
                                //model.SetPanopticSegmentationParams(1024, 0.1, 32, -1);
 
                                // 計測開始
                                sw.Start();
 
                                // 推論実行: 後処理を行わない最も単純なメソッド
                                var segm_result_image = model.PredictSemanticSegmentation(image);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                            }
                            break;
                        case ModelCategory.Classification:
                        case ModelCategory.AnomalyDetection:
                        case ModelCategory.MultiViewCNN:
                        case ModelCategory.MultiViewAD:
                        case ModelCategory.Unknown:
                        default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                    }
 
                    // リストへ格納
                    msecs[i] = sw.ElapsedMilliseconds;
 
                    Console.WriteLine(contents);
 
                    // ファイルに保存したいとき
                    // - "result.csv" は任意のパスを設定
                    // - 上記の contents 生成に改行を追加
                    //System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    // 次の計測のためのリセット
                    sw.Reset();
                }
 
                // 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}");
                Console.WriteLine($"Min: {msecs.Min():.00}");
                Console.WriteLine($"Max: {msecs.Max():.00}");
            }
            catch (CFviException ex)
            {
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
        }
 
        static void BenchMarkObjectDetection(String modelPath, String imagePath, UInt32 iterNum)
        {
            // 計測回数のエラーチェック
            if (0 >= iterNum)
            {
                Console.WriteLine("iterNum must be positive ( >0 )");
                return;
            }
 
            try
            {
                var has_license = Model.CheckLicense();
                if (false == has_license) { throw new Exception("no license"); }
 
                // モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Model model = new Model(modelPath);
 
                // 推論対象画像の読込
                CFviImage image = new CFviImage(imagePath);
 
                // 推論対象画像の有効性確認
                var is_valid_img = model.IsValidImage(image);
                if (false == is_valid_img) { throw new Exception("invalid image"); }
 
                // 計測用のストップウォッチ
                System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
 
                // 計測結果のリスト
                long[] msecs = new long[iterNum];
 
                var contents = "msec, num_detections";
                Console.WriteLine("msec, num_detections");
                for (var i = 0; i < iterNum; i++)
                {
                    switch (model.ModelCategory)
                    {
                        case ModelCategory.ObjectDetection:// 物体検出
                            {
                                // 計測開始
                                sw.Start();
 
                                // 推論実行
                                var detections = model.PredictObjectDetection(image);
 
                                // 計測終了
                                sw.Stop();
 
                                // 結果の文字列
                                contents = $"{(Double)sw.ElapsedTicks / (Double)System.Diagnostics.Stopwatch.Frequency * 1000}";
                                contents += $", {detections.Count()}";
                            }
                            break;
                        default: throw new NotImplementedException($"unmatch model-category={model.ModelCategory}");
                    }
 
                    // リストへ格納
                    msecs[i] = sw.ElapsedMilliseconds;
 
                    Console.WriteLine(contents);
 
                    // ファイルに保存したいとき
                    // - "result.csv" は任意のパスを設定
                    // - 上記の contents 生成に改行を追加
                    //System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    // 次の計測のためのリセット
                    sw.Reset();
                }
 
                // 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}");
                Console.WriteLine($"Min: {msecs.Min():.00}");
                Console.WriteLine($"Max: {msecs.Max():.00}");
            }
            catch (CFviException ex)
            {
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Message={ex.Message}");
                Console.WriteLine(ex.StackTrace);
            }
        }
    }
}

VB 版

• 画像分類の場合: L.11- BenchMark()
• アノマリー検出の場合: L.11- BenchMark()
• 多視点画像分類の場合: L.130- BenchMarkMultiView()
• 多視点アノマリー検出の場合: L.130- BenchMarkMultiView()
• セマンティックセグメンテーションの場合: L.251- BenchMarkSegmentation()
• パノプティックセグメンテーションの場合: L.251- BenchMarkSegmentation()
• 物体検出の場合: L.344- BenchMarkObjectDetection()
• マルチラベル画像分類の場合: L.11- BenchMark()

Imports System
Imports System.Collections.Generic
Imports System.IO
Imports System.Linq
Imports FVIL
Imports FVIL.Data
Imports FVIL.PDL
 
Namespace SamplesCS
    Partial Class Program
        Private Shared Sub BenchMark(modelPath As String, imagePath As String, iterNum As UInteger)
            ' 閾値は任意、必要であれば引数としても良い
            Const threshold = 10.0
            ' アノマリー検出での異常度マップ画像の型 ( UC8 または F32 )
            Const anomaly_map_image_type = ImageType.UC8
 
            ' 計測回数のエラーチェック
            If 0 >= iterNum Then
                Console.WriteLine("iterNum must be positive ( >0 )")
                Return
            End If
 
            Try
                Dim has_license = PDL.Model.CheckLicense()
                If False = has_license Then
                    Throw New Exception("no license")
                End If
 
                ' モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Dim model As Model = New Model(modelPath)
 
                ' 推論対象画像の読込
                Dim image As CFviImage = New CFviImage(imagePath)
 
                ' 推論対象画像の有効性確認
                Dim is_valid_img = model.IsValidImage(image)
                If False = is_valid_img Then
                    Throw New Exception("invalid image")
                End If
 
                ' アノマリー検出での異常度マップ画像
                Dim anomaly_map As CFviImage = New CFviImage(image.HorzSize, image.VertSize, anomaly_map_image_type, 1)
 
                ' 計測用のストップウォッチ
                Dim sw As Stopwatch = New Stopwatch()
 
                ' 計測結果のリスト
                Dim msecs = New Long(iterNum - 1) {}
 
                Dim contents = "msec, score0,..."
                Console.WriteLine("msec, score0,...")
                For i = 0 To iterNum - 1
                    Select Case model.ModelCategory
                        Case ModelCategory.Classification ' 画像分類
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim scores = model.PredictClassification(image)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            For i_score = 0 To scores.Length - 1
                                contents += $", {scores(i_score)}"
                            Next
                        Case ModelCategory.AnomalyDetection ' アノマリー検出
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim tuple = model.PredictAnomaly(image, threshold, anomaly_map)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            'contents = $"{sw.ElapsedMilliseconds:000}";
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            contents += ", " & If(tuple.Item1, "anomaly", "normal") & $", {tuple.Item2}"
                        Case ModelCategory.MultiLabelClassification ' マルチラベル画像分類
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim scores = model.PredictMultiLabelClassification(image)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            For i_score = 0 To scores.Length - 1
                                contents += $", {scores(i_score)}"
                            Next
 
                        Case Else
                            Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                    End Select
 
                    ' リストへ格納
                    msecs(i) = sw.ElapsedMilliseconds
 
                    Console.WriteLine(contents)
 
                    ' ファイルに保存したいとき
                    ' - "result.csv" は任意のパスを設定
                    ' - 上記の contents 生成に改行を追加
                    'System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    ' 次の計測のためのリセット
                    sw.Reset()
                Next
 
                ' 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}")
                Console.WriteLine($"Min: {msecs.Min():.00}")
                Console.WriteLine($"Max: {msecs.Max():.00}")
            Catch ex As CFviException
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            Catch ex As Exception
                Console.WriteLine($"Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            End Try
        End Sub
 
        Private Shared Sub BenchMarkMultiView(modelPath As String, imageFolder As String, iterNum As UInteger)
            ' 閾値は任意、必要であれば引数としても良い
            Const threshold = 10.0
            ' アノマリー検出での異常度マップ画像の型 ( UC8 または F32 )
            Const anomaly_map_image_type = ImageType.UC8
 
            ' 計測回数のエラーチェック
            If 0 >= iterNum Then
                Console.WriteLine("iterNum must be positive ( >0 )")
                Return
            End If
 
            Try
                Dim has_license = PDL.Model.CheckLicense()
                If False = has_license Then
                    Throw New Exception("no license")
                End If
 
                ' モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Dim model As Model = New Model(modelPath)
 
                ' モデル種別のエラーチェック
                Select Case model.ModelCategory
                    Case ModelCategory.MultiViewCNN, ModelCategory.MultiViewAD
                    Case Else
                        Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                End Select
 
                ' 推論対象画像の読込と有効性の確認
                Dim target_images As List(Of CFviImage) = New List(Of CFviImage)()
                For i_img = 0 To model.NumViews - 1
                    ' imageFolder フォルダ内に、0-index の通し番号の画像が保存されていることを想定
                    Dim img_path = Path.Combine(imageFolder, String.Format("{0}.bmp", i_img))
                    Dim image = New CFviImage(img_path)
 
                    ' 推論対象画像の有効性確認
                    Dim is_valid_img = model.IsValidImage(image)
                    If False = is_valid_img Then
                        Throw New Exception("invalid image")
                    End If
 
                    ' 推論対象画像のリストに追加
                    target_images.Add(image)
                Next
 
                ' アノマリー検出での異常度マップ画像
                Dim anomaly_map As CFviImage = New CFviImage(target_images(0).HorzSize, target_images(0).VertSize, anomaly_map_image_type, 1)
 
                ' 計測用のストップウォッチ
                Dim sw As Stopwatch = New Stopwatch()
 
                ' 計測結果のリスト
                Dim msecs = New Long(iterNum - 1) {}
 
                Dim contents = "msec, score0,..."
                Console.WriteLine("msec, score0,...")
                For i = 0 To iterNum - 1
                    ' モデル種別のエラーチェック
                    Select Case model.ModelCategory
                        Case ModelCategory.MultiViewCNN
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim scores = model.PredictMultiViewCNN(target_images)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            'contents = $"{sw.ElapsedMilliseconds:000}";
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            For i_score = 0 To scores.Length - 1
                                contents += $", {scores(i_score)}"
                            Next
                        Case ModelCategory.MultiViewAD
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim tuple = model.PredictMultiViewAD(target_images, threshold, anomaly_map)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            'contents = $"{sw.ElapsedMilliseconds:000}";
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            contents += ", " & If(tuple.Item1, "anomaly", "normal") & $", {tuple.Item2}"
                        Case Else
                            Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                    End Select
 
 
                    ' リストへ格納
                    msecs(i) = sw.ElapsedMilliseconds
 
                    Console.WriteLine(contents)
 
                    ' ファイルに保存したいとき
                    ' - "result.csv" は任意のパスを設定
                    ' - 上記の contents 生成に改行を追加
                    'System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    ' 次の計測のためのリセット
                    sw.Reset()
                Next
 
                ' 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}")
                Console.WriteLine($"Min: {msecs.Min():.00}")
                Console.WriteLine($"Max: {msecs.Max():.00}")
            Catch ex As CFviException
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            Catch ex As Exception
                Console.WriteLine($"Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            End Try
        End Sub
 
        Private Shared Sub BenchMarkSegmentation(modelPath As String, imagePath As String, iterNum As UInteger)
            ' 計測回数のエラーチェック
            If 0 >= iterNum Then
                Console.WriteLine("iterNum must be positive ( >0 )")
                Return
            End If
 
            Try
                Dim has_license = PDL.Model.CheckLicense()
                If False = has_license Then
                    Throw New Exception("no license")
                End If
 
                ' モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Dim model As Model = New Model(modelPath)
 
                ' 推論対象画像の読込
                Dim image As CFviImage = New CFviImage(imagePath)
 
                ' 推論対象画像の有効性確認
                Dim is_valid_img = model.IsValidImage(image)
                If False = is_valid_img Then
                    Throw New Exception("invalid image")
                End If
 
                ' 計測用のストップウォッチ
                Dim sw As Stopwatch = New Stopwatch()
 
                ' 計測結果のリスト
                Dim msecs = New Long(iterNum - 1) {}
 
                Dim contents = "msec, score0,..."
                Console.WriteLine("msec, score0,...")
                For i = 0 To iterNum - 1
                    Select Case model.ModelCategory
                        Case ModelCategory.SemanticSegmentation ' セマンティックセグメンテーション
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行: 後処理を行わない最も単純なメソッド
                            Dim segm_result_image = model.PredictSemanticSegmentation(image)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                        Case ModelCategory.PanopticSegmentation
                            ' パノプティックセグメンテーション固有の検出パラメータの設定 ( ここではデフォルト値と同じ値を設定 )
                            'model.SetPanopticSegmentationParams(1024, 0.1, 32, -1);
 
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行: 後処理を行わない最も単純なメソッド
                            Dim segm_result_image = model.PredictSemanticSegmentation(image)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                        Case Else
                            Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                    End Select
 
                    ' リストへ格納
                    msecs(i) = sw.ElapsedMilliseconds
 
                    Console.WriteLine(contents)
 
                    ' ファイルに保存したいとき
                    ' - "result.csv" は任意のパスを設定
                    ' - 上記の contents 生成に改行を追加
                    'System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    ' 次の計測のためのリセット
                    sw.Reset()
                Next
 
                ' 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}")
                Console.WriteLine($"Min: {msecs.Min():.00}")
                Console.WriteLine($"Max: {msecs.Max():.00}")
            Catch ex As CFviException
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            Catch ex As Exception
                Console.WriteLine($"Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            End Try
        End Sub
 
        Private Shared Sub BenchMarkObjectDetection(modelPath As String, imagePath As String, iterNum As UInteger)
            ' 計測回数のエラーチェック
            If 0 >= iterNum Then
                Console.WriteLine("iterNum must be positive ( >0 )")
                Return
            End If
 
            Try
                Dim has_license = PDL.Model.CheckLicense()
                If False = has_license Then
                    Throw New Exception("no license")
                End If
 
                ' モデルファイルの読込を含むコンストラクタ ( インスタンスを作成して LoadModel() をする場合と同等 )
                Dim model As Model = New Model(modelPath)
 
                ' 推論対象画像の読込
                Dim image As CFviImage = New CFviImage(imagePath)
 
                ' 推論対象画像の有効性確認
                Dim is_valid_img = model.IsValidImage(image)
                If False = is_valid_img Then
                    Throw New Exception("invalid image")
                End If
 
                ' 計測用のストップウォッチ
                Dim sw As Stopwatch = New Stopwatch()
 
                ' 計測結果のリスト
                Dim msecs = New Long(iterNum - 1) {}
 
                Dim contents = "msec, num_detections"
                Console.WriteLine("msec, num_detections")
                For i = 0 To iterNum - 1
                    Select Case model.ModelCategory
                        Case ModelCategory.ObjectDetection ' 物体検出
                            ' 計測開始
                            sw.Start()
 
                            ' 推論実行
                            Dim detections = model.PredictObjectDetection(image)
 
                            ' 計測終了
                            sw.Stop()
 
                            ' 結果の文字列
                            contents = $"{sw.ElapsedTicks / Stopwatch.Frequency * 1000}"
                            contents += $", {detections.Count()}"
                        Case Else
                            Throw New NotImplementedException($"unmatch model-category={model.ModelCategory}")
                    End Select
 
                    ' リストへ格納
                    msecs(i) = sw.ElapsedMilliseconds
 
                    Console.WriteLine(contents)
 
                    ' ファイルに保存したいとき
                    ' - "result.csv" は任意のパスを設定
                    ' - 上記の contents 生成に改行を追加
                    'System.IO.File.AppendAllText("result.csv", contents + Environment.NewLine);
 
                    ' 次の計測のためのリセット
                    sw.Reset()
                Next
 
                ' 全体の結果
                Console.WriteLine($"Ave: {msecs.Average():.00}")
                Console.WriteLine($"Min: {msecs.Min():.00}")
                Console.WriteLine($"Max: {msecs.Max():.00}")
            Catch ex As CFviException
                Console.WriteLine($"ErrorCode={ex.ErrorCode}, Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            Catch ex As Exception
                Console.WriteLine($"Message={ex.Message}")
                Console.WriteLine(ex.StackTrace)
            End Try
        End Sub
    End Class
End Namespace