性能指标

The sktime.performance_metrics 模块包含用于评估和调整时间序列模型的指标。

可以使用 sktime.registry.all_estimators 工具列出 sktime 中的所有参数估计器，使用 estimator_types="metric"，可选择按标签过滤。可以使用 sktime.registry.all_tags 列出有效标签。

在 估计器搜索页面 上也可以找到带有标签搜索的完整表格（在“估计器类型”下拉菜单中选择“metric”）。

用于评估模型性能的指标。

预测

点预测 - 类

MeanAbsoluteScaledError([multioutput, ...])	平均绝对比例误差 (MASE)。
MedianAbsoluteScaledError([multioutput, ...])	中位数绝对比例误差 (MdASE)。
MeanSquaredScaledError([multioutput, ...])	平均平方比例误差 (MSSE) 或均方根比例误差 (RMSSE)。
MedianSquaredScaledError([multioutput, ...])	中位数平方比例误差 (MdSSE) 或中位数均方根比例误差 (RMdSSE)。
MeanAbsoluteError([multioutput, multilevel, ...])	平均绝对误差 (MAE)。
MeanSquaredError([multioutput, multilevel, ...])	平均平方误差 (MSE) 或均方根误差 (RMSE)。
MedianAbsoluteError([multioutput, ...])	中位数绝对误差 (MdAE)。
MedianSquaredError([multioutput, ...])	中位数平方误差 (MdSE) 或中位数均方根误差 (RMdSE)。
GeometricMeanAbsoluteError([multioutput, ...])	几何平均绝对误差 (GMAE)。
GeometricMeanSquaredError([multioutput, ...])	几何平均平方误差 (GMSE) 或几何均方根误差 (RGMSE)。
MeanAbsolutePercentageError([multioutput, ...])	平均绝对百分比误差 (MAPE) 或对称 MAPE。
MedianAbsolutePercentageError([multioutput, ...])	中位数绝对百分比误差 (MdAPE) 或对称版本。
MeanSquaredPercentageError([multioutput, ...])	平均平方百分比误差 (MSPE)，或 RMSPE，或对称 MSPE，RMSPE。
MedianSquaredPercentageError([multioutput, ...])	中位数平方百分比误差 (MdSPE)，或 RMdSPE，或对称 MdSPE，RMDsPE。
MeanRelativeAbsoluteError([multioutput, ...])	平均相对绝对误差 (MRAE)。
MedianRelativeAbsoluteError([multioutput, ...])	中位数相对绝对误差 (MdRAE)。
GeometricMeanRelativeAbsoluteError([...])	几何平均相对绝对误差 (GMRAE)。
GeometricMeanRelativeSquaredError([...])	几何平均相对平方误差 (GMRSE)。
MeanAsymmetricError([multioutput, ...])	计算非对称损失函数的均值。
MeanLinexError([a, b, multioutput, ...])	计算平均 Linex 误差。
RelativeLoss([multioutput, multilevel, ...])	计算预测相对于基准预测的相对损失。

点预测 - 函数

make_forecasting_scorer(func[, name, ...])	从指标函数创建指标类。
mean_absolute_scaled_error(y_true, y_pred[, ...])	平均绝对比例误差 (MASE)。
median_absolute_scaled_error(y_true, y_pred)	中位数绝对比例误差 (MdASE)。
mean_squared_scaled_error(y_true, y_pred[, ...])	平均平方比例误差 (MSSE) 或均方根比例误差 (RMSSE)。
median_squared_scaled_error(y_true, y_pred[, ...])	中位数平方比例误差 (MdSSE) 或中位数均方根比例误差 (RMdSSE)。
mean_absolute_error(y_true, y_pred[, ...])	平均绝对误差 (MAE)。
mean_squared_error(y_true, y_pred[, ...])	平均平方误差 (MSE) 或均方根误差 (RMSE)。
median_absolute_error(y_true, y_pred[, ...])	中位数绝对误差 (MdAE)。
median_squared_error(y_true, y_pred[, ...])	中位数平方误差 (MdSE) 或中位数均方根误差 (RMdSE)。
geometric_mean_absolute_error(y_true, y_pred)	几何平均绝对误差 (GMAE)。
geometric_mean_squared_error(y_true, y_pred)	几何平均平方误差 (GMSE) 或几何均方根误差 (RGMSE)。
mean_absolute_percentage_error(y_true, y_pred)	平均绝对百分比误差 (MAPE) 或对称版本。
median_absolute_percentage_error(y_true, y_pred)	中位数绝对百分比误差 (MdAPE) 或对称版本。
mean_squared_percentage_error(y_true, y_pred)	平均平方百分比误差 (MSPE) 或平方根版本。
median_squared_percentage_error(y_true, y_pred)	中位数平方百分比误差 (MdSPE) 或平方根版本。
mean_relative_absolute_error(y_true, y_pred)	平均相对绝对误差 (MRAE)。
median_relative_absolute_error(y_true, y_pred)	中位数相对绝对误差 (MdRAE)。
geometric_mean_relative_absolute_error(...)	几何平均相对绝对误差 (GMRAE)。
geometric_mean_relative_squared_error(...[, ...])	几何平均相对平方误差 (GMRSE)。
mean_asymmetric_error(y_true, y_pred[, ...])	计算非对称损失函数的均值。
mean_linex_error(y_true, y_pred[, a, b, ...])	计算平均 Linex 误差。
relative_loss(y_true, y_pred[, ...])	在给定指标下，预测相对于基准预测的相对损失。

分位数和区间预测

PinballLoss([multioutput, score_average, alpha])	Pinball 损失，也称为分位数损失，用于分位数/区间预测。
EmpiricalCoverage([multioutput, ...])	区间预测的经验覆盖率百分比。
ConstraintViolation([multioutput, ...])	区间预测中违反区间约束的百分比。

分布预测

AUCalibration([multioutput, multivariate])	分布预测的校准曲线下面积。
CRPS([multioutput, multivariate])	分布预测的连续等级概率评分。
LogLoss([multioutput, multivariate])	分布预测的对数损失。
SquaredDistrLoss([multioutput, multivariate])	分布预测的平方损失。

检测任务

检测指标可用于比较真实事件与检测到的事件，以及真实分段与检测到的分段。

检测指标通常设计用于

• 点事件，即标注的时间戳，或

• 分段，即标注的时间间隔。

sktime 中的指标可用于这两种类型的检测任务

• 分段指标将点事件解释为分段边界，分隔连续的分段

• 点事件指标通过将分段边界视为点事件来应用于分段

事件检测 - 异常点，离群值

DirectedChamfer([normalize])	事件点之间的有向 Chamfer 距离。
DirectedHausdorff()	事件点之间的有向 Hausdorff 距离。
DetectionCount([target, excess_only])	检测计数，可能超出或偏离目标计数。
WindowedF1Score([margin])	使用基于边距的匹配准则的事件检测 F1 分数。

分段检测

RandIndex([use_loc])

分段 Rand 指数指标。

传统检测指标

这些指标不遵循标准 API，将来将被弃用。

count_error(true_change_points, ...)	计算变化点数量差异的误差。
hausdorff_error(true_change_points, ...[, ...])	计算两组变化点之间的 Hausdorff 距离。
prediction_ratio(true_change_points, ...)	预测比率是预测变化点数量与真实变化点数量之比。