Ангид утас хэрэглэж буй сурагчдыг AI-аар илрүүлэх (YOLO + Computer Vision)

Ангид утас хэрэглэж буйг AI-аар илрүүлэх гэдэг нь энгийн webcam дүрсийг YOLO object detection загвар дамжуулж, гурван шинж тэмдэгтийг нэгэн зэрэг шалгах явдал юм — харагдах утас, өвдөг дээр ойрхон гар, доош тонгойсон толгой — эдгээр нэгдэж хангалттай өндөр итгэлийн оноо гарсан үед л сешнийг тэмдэглэж, эхлэх цаг, дуусах цаг, үргэлжлэх хугацааг автоматаар бүртгэдэг.

Яагаад зүгээр л утсаа хур гэж хэлэхийн оронд үүнийг бүтээсэн бэ

Энэ системийн зорилго сурагчдыг барих гэж барих явдал биш. Энэ бол ангийн цагийг хамгаалах зорилготой. Хэрэв сурагч хичээлийн явцад scroll хийж байгаа бол тэр багшийг сонсохгүй, материалыг сурахгүй, тэднийг урагшлуулдаг бичвэр эсвэл даалгаврыг хийхгүй байна гэсэн үг. Үүнийг чимээгүйгээр тэмдэглэж чадах камер — багшийн таамаглалын оронд бодит өгөгдлөөр — хэрэгжилтийн асуудлыг хэмжилтийн асуудал болгон хувиргадаг бөгөөд энэ нь шийдэхэд хамаагүй хялбар асуудал.

Илрүүлэлт яг хэрхэн ажилладаг

Системийн цөм нь бусад багийн хөгжүүлж, GitHub-д өргөн нийтлэгдсэн object detection загвар болох YOLO дээр суурилсан Python script юм. Энгийн webcam шууд видео бичдэг бөгөөд загвар зөвхөн "утас байж болзошгүй тэгш өнцөгт" хайдаггуй. Энэ гурван зүйлийг нэгэн зэрэг шалгадаг: хүрээнд утас харагдаж байна уу, гар өвдгийн дэргэд доош байрлаж байна уу (ширээн доогуур утас барих ердийн байрлал), толгой доош тонгойсон уу.

Эдгээр гурван шинж тэмдэгтийг нэгтгэх нь системийг худал дуудлага өгөхөөс сэргийлдэг зүйл юм. Сурагч хичээлийн ном уруу харсан эсвэл хөлөө маажих үед гурван шинж тэмдэг бүгд нэгэн зэрэг гарахгүй тул итгэлийн оноо бага хэвээр үлдэж, юу ч бүртгэгддэггуй. Зөвхөн эдгээр шинж тэмдэг зэрэгцэх үед системийг бодит утас хэрэглэсэн үзэгдэл гэж үзнэ.

Юу бүртгэгддэг вэ, өгөгдлийн чанар ямар вэ

Илрүүлсэн сешн бүр эхлэх цаг, дуусах цаг, нийт үргэлжлэх хугацаа, итгэлийн оноотой бүртгэгддэг. Туршилтаар нэг сешн 7 секунд үргэлжилж өндөр итгэлийн оноотой байсан, хоёр дахь нь 8 секунд үргэлжилж ойролцоогоор 0.85 итгэлтэй байсан — 1.0 дээд хэмжээнд ойрхон буюу систем утас үнэхээр хэрэглэгдэж байгаад маш итгэлтэй байсан гэсэн үг. Оноо 1.0-д ойртох тусам тухайн сешний илрүүлэлт илүү нарийвчлалтай болно.

Энэ "сурагч анхаарал сарнисан мэт харагдсан" гэсэн тодорхойгүй сэрэмжлүүлэг биш. Энэ бол хэмжигддэг итгэлийн түвшинтэй, цаг тэмдэгтэй үзэгдэл бөгөөд сургуулиуд сурагчийн зан байдлыг хянах мэт эмзэг зүйл дээр ямар нэгэн арга хэмжээ авахаасаа өмнө шаардлагатай өгөгдлийн яг тэр төрөл юм.

Илрүүлэлтээс хэн нэгний ширээн дээрх тайлан хүртэл

Зан байдлыг барих нь зөвхөн тэр мэдээлэл нэмэлт гар ажилгүйгээр зөв хүнд хүрвэл л үнэ цэнэтэй. Сешн бүртгэгдсэний дараа CSV болгож автоматаар экспортлогдох эсвэл шууд Google Sheet рүү очих боломжтой бөгөөд тэндээс захирал эсвэл багшийн desktop рүү шууд чиглэгдэж болно. Хэн ч түүхий камерын бичлэгийг суугаад шалгах шаардлагагүй; тэд зөвхөн үзэгдлийн тайланг л харна.

Бодит хязгаарлалт, мөн үүнийг хэрхэн засах вэ

Энэ системийг бүтээхэд ойролцоогоор нэг долоо хоног, нэлээд оролдлого хийх шаардлагатай байсан бөгөөд үнэнээр хэлэхэд энэ нь бэлэн бүтээгдэхүүн биш, ойролцоогоор 95% production-ready гэж дүгнэх нь зөв. Хамгийн гол хязгаарлагч хүчин зүйл бол техник хангамж: энэ хувилбар 2017 оны MacBook Pro-ийн суулгасан RGB камер дээр ажилласан бөгөөд энэ нь өнөөгийн стандартаар даруухан, хуучирсан мэдрэгч юм.

Энэ хязгаарлалт байсан хэдий ч камер сурагчийг шууд урдаас хардаг байх үед илрүүлэлт сайн ажилласан, учир нь утас тэр өнцгөөс илүү тодорхой, хавтгай хэлбэр шиг харагддаг — мөн утас өнцгөөр барьсан байсан ч харьцангуй сайн илэрсэн. Гурван сайжруулалт нарийвчлалыг цаашид дээшлүүлнэ: камерыг лаптопын таг дээр биш ангийн буланд байрлуулах, сурагчид гэрлийг багасгасан ч илрүүлэлт ажиллахын тулд infrared нэмэх, системийг дэвсгэрээс 3D хүн, зүйлийг илүү сайн тусгаарлахад туслах depth sensing нэмэх. Эдгээр гурав нь камер, мэдрэгчийн сайжруулалт, илрүүлэлтийн логик дотор өөрчлөлт биш — YOLO суурьтай арга нь өгсөн техник хангамжийн хязгаарт аль хэдийн зохистой ажилладаг.

AI coding agent-тай хамт бүтээгдсэн, GitHub рүү чиглэж байна

Систем өөрөө Python хөгжүүлэлтийг хурдасгахын тулд AI agent IDE builder ашиглан бүтээгдсэн — ийм зүйл бүтээхэд заавал шаардлагатай зүйл биш, гэхдээ нэг долоо хоногийн оролдлогын явцад бодит цаг хэмнэгч байсан. Доод YOLO загвар, тодруулбал YOLO Pro хувилбар нь нээлттэй код бөгөөд GitHub дээр байдаг, мөн энэ төслийн кодыг тэнд нийтлэх төлөвлөгөө байгаа тул бусад сургууль, хөгжүүлэгчид үүнийг хар хайрцаг гэж үзэхийн оронд шалгаж, дахин ашиглаж, өргөтгөж болно.

Нууцлалыг эхнээс нь бодолцсон: metadata, бичлэг биш

Энэ систем юу бүртгэж, юу бүртгэдэггүйг шууд хэлэх нь зохистой. Энэ сурагчийн видео бичлэгийг хадгалж, дараа нь багш гүйлгэж үзэх боломж олгодоггуй. Энэ сешний metadata — эхлэх цаг, дуусах цаг, үргэлжлэх хугацаа, итгэлийн оноог — бүртгэдэг бөгөөд яг энэ л CSV эсвэл Google Sheet рүү экспортлогдож, захирал эсвэл багшид чиглэгддэг. Энэ ялгаа ийм систем авч үзэж буй сургуульд чухал: гарц нь аудит хийх боломжтой үзэгдлийн лог, хяналтын архив биш.

Цаашид юу хийх вэ

Дараагийн логик алхам бол "нэг webcam нэг ширээг харж байна" гэдгээс "нэг систем бүхэл анги харж байна" болгон өргөжих явдал юм, ширээний бүс тус бүрийг зурж тодорхойлж, ижил илрүүлэлтийн логикоор камерын шууд урд байгаа нэг сурагчаас гадна олон сурагчийг нэгэн зэрэг хянах. Энэ нь загварын асуудлаас илүү техник хангамж, калибрацийн асуудал — доод YOLO суурьтай илрүүлэлт хангалттай тодорхой харагдацтай байх цагт аль хэдийн сайн ерөнхийлдэг.

Энэ юунд зориулагдсан бэ

Энэ нэг ангид зориулсан төсөл болж эхэлсэн, гэхдээ доод илрүүлэлтийн логик — гурван шинж тэмдэгийг нэгтгэж итгэлийн оноо гаргах, түүхий бичлэгийн оронд цаг тэмдэгтэй үзэгдэл болгон бүртгэх — зөвхөн утас, анги танхимд хязгаарлагдахгуй. Сургуулиуд нь онцгойлон тохирдог, учир нь асуудал (багш өрөөгөөр харж байхдаа тогтвортой илрүүлэхэд үнэхээр хэцүү анхаарал сарнил) түгээмэл бөгөөд шийдэл (тогтвортой, тал гаргалгаагүй, бүртгэгддэг илрүүлэлт) үүнийг шууд шийддэг.

Гол дүгнэлтүүд

• Систем гурван шинж тэмдэгийг — харагдах утас, гарын байрлал, толгойн тонгойлт — нэг итгэлийн оноо болгон нэгтгэдэг, зөвхөн нэг шинж тэмдэгт найддаггуй.
• Энэ нь байгаа object detection загвар болох YOLO дээр суурилсан бөгөөд энгийн webcam дүрсийг Python script-аар ажиллуулдаг.
• Сешн бүр эхлэх цаг, дуусах цаг, үргэлжлэх хугацаа, итгэлийн оноог бүртгэдэг тул өгөгдөл тодорхой, аудит хийх боломжтой, зүгээр л тодорхойгүй сэрэмжлүүлэг биш.
• Тайланг CSV болгож автоматаар эсвэл шууд Google Sheet рүү экспортлож, гар аргаар шалгах шаардлагагүйгээр багш, захиралд шууд хүргэж болно.
• Одоогийн хамгийн гол хязгаарлалт бол камерын техник хангамж; илүү сайн камерын байрлал, infrared, depth sensing нарийвчлалыг сайжруулах хамгийн тодорхой зам юм.
• Дараагийн логик алхам бол нэг суудлын оронд бүхэл ангийг хянахын тулд ширээний бүсийг зурж тодорхойлох явдал юм.

Таны сургууль, бизнесэд ийм зүйл бүтээхийг хүсэж байна уу?

Ийм computer vision системийг нэг ангийн камераас гадна бусад хяналтын хэрэгцээнд зориулж тохируулж болно.