Objek yang tidak diketahui juga boleh dikenal pasti dengan mudah dan dibahagikan, dan kesannya boleh dipindahkan

Ia juga boleh membahagikan objek baharu yang belum pernah dilihat sebelum ini.

Ini ialah rangka kerja pembelajaran baharu yang dibangunkan oleh DeepMind: Penemuan objek dan rangkaian perwakilan (Odin)

Sebelumnya Kaedah pembelajaran penyeliaan kendiri (SSL) boleh menerangkan keseluruhan pemandangan besar dengan baik, tetapi sukar untuk membezakan objek individu.

Kini, kaedah Odin melakukannya, dan melakukannya tanpa sebarang pengawasan.

Bukan mudah untuk membezakan satu objek dalam imej. Bagaimana ia dilakukan?

Prinsip kaedah

Ia boleh membezakan pelbagai objek dengan baik dalam imej, terutamanya disebabkan oleh "edaran kendiri" kerangka pembelajaran Odin.

Odin mempelajari dua set rangkaian yang berfungsi bersama, iaitu rangkaian penemuan sasaran dan rangkaian perwakilan sasaran.

Rangkaian penemuan objek mengambil bahagian imej yang dipangkas sebagai input Bahagian yang dipangkas harus mengandungi sebahagian besar kawasan imej dan bahagian imej ini tidak dipertingkatkan dalam aspek lain.

Kemudian lakukan analisis kelompok pada peta ciri yang dijana daripada imej input, dan bahagikan setiap objek dalam imej mengikut ciri yang berbeza.

Paparan input rangkaian perwakilan sasaran ialah imej bersegmen yang dijana dalam rangkaian penemuan sasaran.

Selepas paparan dimasukkan, ia dipraproses secara rawak, termasuk menyelak, mengaburkan dan penukaran warna peringkat titik.

Dengan cara ini, dua set topeng boleh diperolehi Kecuali perbezaan dalam pemangkasan, maklumat lain adalah sama dengan kandungan imej asas.

Kemudian kedua-dua topeng akan mempelajari ciri-ciri yang boleh mewakili objek dalam imej dengan lebih baik melalui kehilangan kontras.

Secara khusus, melalui pengesanan kontrastif, rangkaian dilatih untuk mengenal pasti ciri-ciri objek sasaran yang berbeza, dan terdapat juga banyak ciri "negatif" daripada objek lain yang tidak berkaitan.

Kemudian, maksimumkan persamaan objek sasaran yang sama dalam topeng yang berbeza, kurangkan persamaan antara objek sasaran yang berbeza, dan kemudian lakukan pembahagian yang lebih baik untuk membezakan objek sasaran yang berbeza.

Pada masa yang sama, rangkaian penemuan sasaran akan dikemas kini dengan kerap berdasarkan parameter rangkaian perwakilan sasaran.

Matlamat utama adalah untuk memastikan sifat peringkat objek ini secara kasarnya tidak berubah merentas pandangan yang berbeza, dengan kata lain, untuk memisahkan objek dalam imej.

Jadi sejauh manakah keberkesanan rangka kerja pembelajaran Odin?

Boleh membezakan objek yang tidak diketahui dengan baik

Prestasi pembelajaran pemindahan kaedah Odin dalam segmentasi pemandangan tanpa pengetahuan awal juga sangat berkuasa.

Mula-mula, gunakan kaedah Odin untuk pralatih pada set data ImageNet, dan kemudian nilai kesannya pada set data COCO serta pembahagian semantik PASCAL dan Cityscapes.

Objek sasaran sudah diketahui, iaitu kaedah yang memperoleh pengetahuan terdahulu adalah jauh lebih baik daripada kaedah lain yang tidak memperoleh pengetahuan terdahulu semasa melakukan segmentasi adegan.

Walaupun kaedah Odin tidak memperoleh pengetahuan terdahulu, kesannya adalah lebih baik daripada DetCon dan ReLICv2 yang memperoleh pengetahuan terdahulu.

Selain itu, kaedah Odin boleh digunakan bukan sahaja pada model ResNet, tetapi juga pada model yang lebih kompleks, seperti Swim Transformer .

Dari segi data, kelebihan pembelajaran rangka kerja Odin adalah jelas.

Bandingkan imej pembahagian yang dijana menggunakan Odin dengan imej yang diperoleh daripada rangkaian yang dimulakan secara rawak (lajur 3), rangkaian seliaan ImageNet (lajur 4).

Kedua-dua lajur 3 dan 4 gagal menggambarkan dengan jelas sempadan objek, atau kekurangan ketekalan dan lokaliti objek dunia sebenar, dan kesan imej yang dijana oleh Odin jelas lebih baik.

Pautan rujukan:

[1] https://twitter.com/DeepMind/status/1554467389290561541

[2] ​https://arxiv.org/abs/2203.08777

Atas ialah kandungan terperinci Objek yang tidak diketahui juga boleh dikenal pasti dengan mudah dan dibahagikan, dan kesannya boleh dipindahkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!