サンプルコード ( セマンティックセグメンテーション )

セマンティックセグメンテーションのサンプルコードです

• 最も単純なサンプルコード: L.5- smp_semseg_simple()
• ベンチマークを計測するサンプルコード: L.87: smp_semseg_benchmark()
• 推論結果画像から　FIE の関数を使用して各カテゴリのマスク画像 ( 二値画像 ) を取得するサンプルコード: L.168: smp_semseg_with_fie()

#pragma once
#include "samples.h"
#include "oal_aloc.h"
 
int smp_semseg_simple(const char* model_name, const char* img_name)
{
    INT ret = F_ERR_NONE;
    FHANDLE hsrc = NULL;
    FHANDLE hdst = NULL;
    H_MODEL hmodel = NULL;
    MODEL_CATEGORY model_category;
    MODEL_BACKEND model_backend;
    INT ch, w, h;
 
    // FIEライブラリの使用前に必ずコールする必要があります。
    fnFIE_setup();
 
    // 画像読込
    ret = fnFIE_load_img_file(img_name, &hsrc, F_COLOR_IMG_TYPE_UC8);
    printf_s("img: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    //------- ここから -------//
 
    // ライセンスチェック
    ret = fnPDL_check_license();
    printf_s("lic : %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // ハンドルの生成
    hmodel = fnPDL_create_handle();
    if (NULL == hmodel) {
        ret = F_ERR_NOMEMORY;
        printf_s("failed to create handle\r\n");
        goto finally;
    }
    else { printf_s("handle created\r\n"); }
 
    // モデル読込
    ret = fnPDL_load_model(model_name, hmodel);
    printf_s("load: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // モデルの種別の確認
    ret = fnPDL_get_model_category(hmodel, &model_category);
    printf_s("par : %d  category=%d\r\n", ret, model_category);
    if (F_ERR_NONE != ret) { goto finally; }
    if (SEMANTIC_SEGMENTATION != model_category) {
        ret = F_ERR_INVALID_OBJECT;
        printf_s("unmatch model\r\n");
        goto finally;
    }
 
    // モデルの推論バックエンドの確認
    ret = fnPDL_get_model_backend(hmodel, &model_backend);
    printf_s("ret : %d  backend=%d\r\n", ret, model_backend);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // モデルの期待する画像パラメータの確認
    ret = fnPDL_get_input_image_size(hmodel, &ch, &w, &h);
    printf_s("par : %d  ch=%d  w=%d  h=%d\r\n", ret, ch, w, h);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // セグメンテーション結果画像の確保 ( セマンティックセグメンテーションでは、元画像と同じサイズで画像型は US16、チャネル数は 1 )
    hdst = fnFIE_img_root_alloc(F_IMG_US16, 1, w, h);
    if (NULL == hdst) {
        ret = F_ERR_NOMEMORY;
        printf_s("hdst allocation error\r\n");
        goto finally;
    }
    
    // 推論実行
    ret = fnPDL_predict_segmentation(hmodel, hsrc, hdst);
    printf_s("pred: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    {
        DOUBLE maxs[1] = {0};
        DOUBLE mins[1] = {0};
        // 各ピクセルにカテゴリ番号が格納されているので、その最大値を取得
        INT max_cate_id = 0;
 
        // 画像全体のリージョンに対して fnFIE_img_maxpixel() を使用することも可  
        ret = fnFIE_img_minmaxdens(hdst, mins, maxs);
        if (F_ERR_NONE != ret) { goto finally; }
        max_cate_id = (INT)maxs[0];
        // 最大値が 0 となるのは、全てのピクセルが背景と判定されたとき
        if (0 == max_cate_id) { printf_s("all pixels are background\r\n"); }
        // 1 以上となるのは、いずれかのカテゴリと判定されたピクセルが存在するとき ( 元が US16 なので負の値になることは無い )
        else { printf_s("there are some masks, largest category id = %d\r\n", max_cate_id); }
    }
    printf_s("\r\n");
 
finally:
    // ハンドルの破棄
    fnPDL_dispose(hmodel);
 
    //------- ここまで -------//
 
    // 終了処理
    if (NULL != hsrc) { fnFIE_free_object(hsrc); }
    if (NULL != hdst) { fnFIE_free_object(hdst); }
    fnFIE_teardown();
 
    return ret;
}
 
int smp_semseg_benchmark(const char* model_name, const char* img_name, const int bench_iter)
{
    // benchmark 用
    std::chrono::system_clock::time_point start, end;
 
    INT ret = F_ERR_NONE;
    FHANDLE hsrc = NULL;
    FHANDLE hdst = NULL;
    H_MODEL hmodel = NULL;
    MODEL_CATEGORY model_category;
 
    // FIEライブラリの使用前に必ずコールする必要があります。
    fnFIE_setup();
 
    // 画像読込
    ret = fnFIE_load_img_file(img_name, &hsrc, F_COLOR_IMG_TYPE_UC8);
    printf_s("img: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // ライセンスチェック
    ret = fnPDL_check_license();
    printf_s("lic : %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // ハンドルの生成
    hmodel = fnPDL_create_handle();
    if (NULL == hmodel) {
        ret = F_ERR_NOMEMORY;
        printf_s("failed to create handle\r\n");
        goto finally;
    }
    else { printf_s("handle created\r\n"); }
 
    // モデル読込
    ret = fnPDL_load_model(model_name, hmodel);
    printf_s("load: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // モデルの種別の確認
    ret = fnPDL_get_model_category(hmodel, &model_category);
    printf_s("par : %d  category=%d\r\n", ret, model_category);
    if (F_ERR_NONE != ret) { goto finally; }
    if (SEMANTIC_SEGMENTATION != model_category) {
        ret = F_ERR_INVALID_OBJECT;
        printf_s("unmatch model\r\n");
        goto finally;
    }
 
    // セグメンテーション結果画像の確保 ( セマンティックセグメンテーションでは、元画像と同じサイズで画像型は US16、チャネル数は 1 )
    hdst = fnFIE_img_root_alloc(F_IMG_US16, 1, fnFIE_img_get_width(hsrc), fnFIE_img_get_height(hsrc));
    if (NULL == hdst) {
        ret = F_ERR_NOMEMORY;
        printf_s("hdst allocation error\r\n");
        goto finally;
    }
 
    printf_s("--- start ---\r\n");
    printf_s("ret, elapsed[msec], scores\r\n");
    // 本体ループ
    for (int i = 0; i < bench_iter; i++) {
        double elapsed;
 
        // 開始時刻
        start = std::chrono::system_clock::now();
 
        // 推論実行
        ret = fnPDL_predict_segmentation(hmodel, hsrc, hdst);
 
        // 完了時刻
        end = std::chrono::system_clock::now();
 
        if (F_ERR_NONE != ret) {
            printf_s("pred. err: %d\r\n", ret);
            goto finally;
        }
 
        // 推論時間 [msec]
        elapsed = std::chrono::duration_cast<std::chrono::microseconds>(end - start).count() / (double)1000;
 
        // コンソールに出力
        printf_s("%04d, %.3e\r\n", i, elapsed);
    }
    printf_s("--- finish ---\r\n");
    printf_s("\r\n");
 
finally:
    // ハンドルの破棄
    fnPDL_dispose(hmodel);
 
    // 終了処理
    if (NULL != hsrc) { fnFIE_free_object(hsrc); }
    if (NULL != hdst) { fnFIE_free_object(hdst); }
    fnFIE_teardown();
 
    return ret;
}
 
int smp_semseg_with_fie(const char* model_name, const char* img_name, const INT category_num)
{
    INT ret = F_ERR_NONE;
    FHANDLE hsrc = NULL;
    FHANDLE hdst = NULL;
    FHANDLE hmask = NULL;
    H_MODEL hmodel = NULL;
    MODEL_CATEGORY model_category;
 
    INT ch, w, h, type;
    INT_PTR step;
 
    // FIEライブラリの使用前に必ずコールする必要があります。
    fnFIE_setup();
 
    // 画像読込
    ret = fnFIE_load_img_file(img_name, &hsrc, F_COLOR_IMG_TYPE_UC8);
    printf_s("img: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    //------- ここから -------//
 
    // ライセンスチェック
    ret = fnPDL_check_license();
    printf_s("lic : %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // ハンドルの生成
    hmodel = fnPDL_create_handle();
    if (NULL == hmodel) {
        ret = F_ERR_NOMEMORY;
        printf_s("failed to create handle\r\n");
        goto finally;
    }
    else { printf_s("handle created\r\n"); }
 
    // モデル読込
    ret = fnPDL_load_model(model_name, hmodel);
    printf_s("load: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // モデルの種別の確認
    ret = fnPDL_get_model_category(hmodel, &model_category);
    printf_s("par : %d  category=%d\r\n", ret, model_category);
    if (F_ERR_NONE != ret) { goto finally; }
    if (SEMANTIC_SEGMENTATION != model_category) {
        ret = F_ERR_INVALID_OBJECT;
        printf_s("unmatch model\r\n");
        goto finally;
    }
 
    // セグメンテーション結果画像の確保 ( セマンティックセグメンテーションでは、元画像と同じサイズで画像型は US16、チャネル数は 1 )
    ret = fnFIE_img_get_params(hsrc, &ch, &type, &step, &w, &h);
    if (F_ERR_NONE != ret) { goto finally; }
    hdst = fnFIE_img_root_alloc(F_IMG_US16, 1, w, h);
    if (NULL == hdst) {
        ret = F_ERR_NOMEMORY;
        printf_s("hdst allocation error\r\n");
        goto finally;
    }
 
    // 推論実行
    ret = fnPDL_predict_segmentation(hmodel, hsrc, hdst);
    printf_s("pred: %d\r\n", ret);
    if (F_ERR_NONE != ret) { goto finally; }
 
    // 各カテゴリのマスク画像の確保 ( 元画像・結果画像と同じサイズで画像型は BIN、チャネル数は 1 )
    hmask = fnFIE_img_root_alloc(F_IMG_BIN, 1, w, h);
    if (NULL == hmask) {
        ret = F_ERR_NOMEMORY;
        printf_s("hmask allocation error\r\n");
        goto finally;
    }
 
    // 結果画像から各カテゴリのマスク画像を取得 ( カテゴリ番号は 1 始まり )
    for (int i_cate = 1; i_cate <= category_num; i_cate++) {
        // カテゴリ番号に一致するピクセルを取得することで、そのカテゴリのマスク画像を取得することが可能です
        ret = fnFIE_band_threshold(hdst, hmask, (DOUBLE)i_cate, (DOUBLE)i_cate);
        if (F_ERR_NONE != ret) { continue; }
        printf_s("category=%d: hmask written\r\n", i_cate);
        // hmask に対して、ブローブ解析やリージョンへの変換などの後処理を行うことが可能です
    }
    printf_s("\r\n");
 
finally:
    // ハンドルの破棄
    fnPDL_dispose(hmodel);
 
    //------- ここまで -------//
 
    if (NULL != hsrc) { fnFIE_free_object(hsrc); }
    if (NULL != hdst) { fnFIE_free_object(hdst); }
    if (NULL != hmask) { fnFIE_free_object(hmask); }
 
    // 終了処理
    fnFIE_teardown();
 
    return ret;
}