硬核理工的微博

@硬核理工海大富之通信水母
6小时前
来自 微博 weibo.com
已编辑
不行， 还得再锤一把神棍（@隐光战士）。 不锤一把，半夜会笑醒。

这厮眼看最后一片遮羞布都要盖不住了， 慌不择路下为了挽尊自己用的detector不行， 贬低我推荐的比赛排名第一的 Seferbekov detector，
于是copy了一段 deepfake detection challenge 官方发奖时候的话：““. Using the public dataset, this model had been ranked fourth. Similarly, the other winning models, which were second through fifth when tested against the black box environment, also ranked lower on the public leaderboard. (They were 37th, 6th, 10th and 17th, respectively.) This outcome reinforces the importance of learning to generalize to unforeseen examples when addressing the challenges of deepfake detection. ” 然后神棍表示“其他的winning model经常排名较低，第二名公开排在第37位。这段话表明在未看过的数据上，公开排名榜上的最好模型未必更好。”

我要笑吐了。 这位是连公开排名榜是个什么玩意儿都不懂吧？他以为 Seferbekov detector得冠军是因为公开排名榜？ 这满嘴的火车开的。。。

那我就正好科普一把。 办这个deepfake detection challenge 的官方， 其实手里有两套视频dataset， 一套叫public dataset （公开数据集）， 一套叫blackbox dataset (黑盒数据集）。  在比赛第一阶段， public dataset 会被公开给所有参赛者，供他们具此训练和调试自己的detector。 参赛者还可以在这个阶段把自己的detector在public dataset上的测试准确度，放到公开排名榜（public leaderboard）上，实时感受一下和其他竞赛者的差距。

到比赛的第二阶段， 也就是正式的detector评估阶段， 比赛主办方才拿出一直藏着的 blackbox dataset,  测试各家的detector 能不能正确的判断blackbox dataset里这些参赛者从来没见过的视频的真伪。 而比赛的最终排名，也叫private leaderboard，只是由对blackbox dataset 里视频判断的准确度来决定的，和公开排名榜完全无关。 Seferbekov detector 虽然在 公开排名榜上只是第四名，但能当第一就是因为它对blackbox dataset 里的陌生视频准确度最高，在最终排名上是第一（看图一）。而神棍的宝贝detector在比赛的最终排名上只有41位 (看图二）。 

神棍quote的那段官方的话， 本来是官方告诉输了的参赛者：“你们在公开排名榜上排名高，不代表你们在对陌生视频的实战上就真的行。能让自己的detector准确的判断陌生视频,， 才是最重要的。” 但神棍理解的意思是南辕北辙。 他可能连 Seferbekov detector是在哪个榜上排第一，以及评奖流程都没搞清楚。。

当然，神棍也可能是故意这样忽悠不懂英文也不懂技术的橘子呢。 人蠢无药医，的确我也没办法。 [摊手]收起