همینطور باش! داستانهای علمی تخیلی ، محاسبات و فضا

نویسنده دیوید سی. براک ، سرپرست و مدیر ، مرکز تاریخ نرم افزار

یک گروه فرهنگی وجود دارد که سازندگان محاسبات و کاربران مشتاق فداکاران علم هستند ( و فانتزی ، زیرا ژانرها بسیار قوی هستند). من می دانم که این ارادت در مورد مورخان محاسبات از تجربیات دست اول نیز صادق است: من فقط N.K. زمین شکسته جسمین…

راهنمای ساده بینایی رایانه در خرده فروشی

چرا از روباتیک استفاده می کنیم وقتی مشتری ارزان ترین ربات موجود است؟

عکس توسط Korie Cull در Unsplash

فناوری خرده فروشی به سرعت در حال پیشرفت است. هوش مصنوعی ، به ویژه ، موارد کاربرد جالبی دارد که می تواند به طور گسترده در کل صنعت مورد استفاده قرار گیرد. آینده خرده فروشی اینجاست و شما را می بیند.

کامپیوتر رویایی

عکس توسط جان بارکیپل در Unsplash

قطع شده سیم ها قطع شده است سرم خالی است چیزی جز

جرقه های رعد و برق دور جمجمه ام کشتی سوراخ شده است آنها بدنه

آن افکار مهاجم را زیر پا گذاشتند من خیلی نرم فکر کردم آینده ام را خاکستری کرده اند همه خیلی تیره

است

بهبود بازی تنیس با دید کامپیوتر

تفسیر تصویری و تصویری دیجیتالی ، که به عنوان بینایی رایانه ای شناخته می شود ، در دهه گذشته بسیار توسعه یافته است. شرکت هایی مانند Sportlogiq از این فناوری برای ردیابی حرکت بازیکنان و مسیر حرکت توپ استفاده می کنند و نوع جدیدی از تجزیه و تحلیل و بینش عمیق را در اختیار مربیان و بازیکنان قرار می دهند. در یک پروژه اخیر ، ما با توسعه یک مربی تنیس کاملاً دیجیتال ، بینایی رایانه را بیشتر مورد بررسی قرار دادیم. تنیسورها باید بتوانند خود را ضبط کنند ، فیلم را بارگذاری کنند و تجزیه و تحلیل بازی خود را دریافت کنند. به طور دقیق تر ، آنها باید در مورد مواردی که برای بازی در تنیس بسیار مهم است ، بازخورد بگیرند: زمان نوسانات نسبت به پرواز توپ ، موقعیت بدن و زاویه ها و منحنی نوسانات نسبت به حالت حرفه ای بازیکنان.

در این مقاله ما نحوه ساختن یک نمونه اولیه کاملاً کارآمد که می تواند همه اینها را انجام دهد ، و موارد دیگر را توضیح خواهیم داد.

تشخیص حرکت بدن

در ابتدا ، ما باید راهی برای تشخیص حرکت و حالت بدن پیدا کنیم. "OpenPose" آخرین وضعیت در برآورد ژست انسان است ، بنابراین یک نقطه شروع طبیعی برای نمونه اولیه ما بود.

ما از فیلم به عنوان وسیله ای برای تشخیص حرکات بدن با تمرکز بر روی هر فریم از یک مورد استفاده کردیم. توالی. برای به دست آوردن تفسیر دقیق افراد در یک تصویر یا فیلم ، اعضای بدن آنها باید با برخی از نکات کلیدی مشخص شود.

نکات کلیدی ، در این مورد ، به قسمت های بدن ، یعنی مفاصل و اندام ها اشاره دارد. ، در مجموع بیش از سی نفر. برای بدست آوردن نکات کلیدی از شبکه های عصبی کانولوشن (CNN) استفاده کردیم ، زیرا این یکی از قابل اطمینان ترین روش ها برای به دست آوردن این نوع داده ها است. CNN ها شباهت زیادی به یک شبکه عصبی مصنوعی ساده دارند ، با این تفاوت که معماری CNN برای ورودی بصری طراحی شده است. ) به دنبال ارتباط احتمالی بین آنها هستند. از اینجا ، چند روش برای ساختن و برآورد ژست وجود دارد. موردی که انتخاب کردیم بر اساس یک مدل گرافیکی مبتنی بر درخت است که رابطه بین مفاصل مجاور را با استفاده از قوانین مکانیک بدن انسان توصیف می کند.

هنگامی که ژست گرفتید ، می توانید انواع کارها مانند برآورد را انجام دهید. سرعت چرخش ، زاویه مفصل و غیره اگر واقعاً کنجکاو هستید و می خواهید بیشتر بخوانید ، این مقاله را توصیه می کنیم. حل آن بسیار مشکل تر از تنها با یک نفر است ، زیرا هر قاب ورودی دارای دو یا چند نقطه/مفصل کلیدی است. نگاشتن آنها در حالت انسانی کار ساده ای نیست (حتی برای چشم انسان ، چه رسد به کامپیوتر). دو راهبرد معمول برای مقابله با آن وجود دارد.

روشی که به اصطلاح از بالا به پایین گفته می شود ابتدا از تشخیص شی استفاده می کند و سپس برای هر شی (شخص) مشخص شده از برآورد یک نفره استفاده می کند. مشکل این رویکرد این است که در صورت عدم تشخیص هیچگونه خطای احتمالی وجود ندارد ، همانطور که در صورت نزدیک بودن فرد به راحتی انجام می شود. مدت زمانزمان اجرا نیز متناسب با تعداد افراد موجود در تصویر خواهد بود و به طور بالقوه بسیار کند می شود. بدن درست معایب اینجا نیز ، بسته به میزان نقاط کلیدی ، می تواند زمان پردازش بسیار طولانی برای یک تصویر باشد.

ردیابی راکت

کار ما با برآورد ژست انسانی نتایج رضایت بخشی به دست آوردیم ، اما برای این نمونه اولیه به موارد بیشتری نیاز داشتیم. برای بازیکنان تنیس ، یکی از مهمترین تکنیک های تسلط بر یادگیری نحوه چرخاندن راکت است. یادگیری نحوه ایستادن و نحوه شروع و پایان دادن به چرخش برای یک شوت عالی بسیار مهم است ، بنابراین تصمیم گرفتیم حرکت راکت را دنبال کنیم.

این کار را می توان با آموزش مجدد یک مدل موجود با حاشیه نویسی انجام داد. تصاویری از بازیکنان تنیس که راکت را در دست دارند. با این حال ، حاشیه نویسی تعداد تصاویر مورد نیاز برای تمرین مجدد بسیار چالش برانگیز بود-بنابراین ما مجبور بودیم رویکرد متفاوتی را بیابیم.

با مشاهده بازی های تنیس از نزدیک ، متوجه شدیم که مچ دست و پایه راکت با هم حرکت کنید کتابخانه ای که ما از آن استفاده می کنیم ، فهرستی کامل از تمام نکات کلیدی و اتصالات مرتبط را ارائه می دهد. این اطلاعات برای مورد استفاده ما مفید است اما کامل نیست. با سفارشی سازی کتابخانه "tf-pose-estisation" ، می توانیم از مچ دست خود به عنوان پایه ای برای ردیابی چرخش بازیکنان استفاده کنیم. از آخرین فریم پردازش شده برای ردیابی نوسان. ما برخی تغییرات را در ماژول پردازش قاب (جایی که نقاط کلیدی و اتصالات مشخص شده اند) انجام دادیم تا بتوانیم وضعیت آخرین فریم پردازش شده را ذخیره کنیم. با ترکیب اطلاعات اسکلت ، متشکل از نقاط کلیدی و مفاصل ، در قاب قبلی و فعلی ، می توانیم به راحتی حرکت مچ دست را پیگیری کنیم.

چرخش مانند سرنا

نمونه اولیه یک گام فراتر با تجزیه و تحلیل نوسانات بازیکنان حرفه ای ، می توانیم ویژگی را ایجاد کنیم که در آن کاربر چرخش خود را با حرفه ای ها مقایسه کرده و نحوه بهبود را بیاموزد. برای انجام این کار ، ما باید مطمئن شویم که ویدیوی کاربر به گونه ای ضبط شده است که نکات کلیدی مورد نیاز قابل مشاهده باشد. ما زمان زیادی را صرف تحقیق در مورد بهترین نقطه برای این کار کردیم تا بتوانیم هر چه بهتر کار کنیم.

در تنیس شوت های خاصی وجود دارد که بیشتر مورد استفاده قرار می گیرد ، به عنوان مثال. فورهند ، بک باند ، سرو ، و غیره. ما می خواهیم به طور م theseثر این نوسانات را در پردازش پس از استخراج و تحلیل کنیم. این می تواند با سفارشی سازی بیشتر کتابخانه به دست آید. ما قبلاً تغییراتی برای پیگیری آخرین حالت برآورد شده ایجاد کرده ایم و با ترکیب اطلاعات حالت فعلی و قبلی می توان نوسان را استخراج کرد. برای اینکه این کار مفید باشد ، باید موقعیت نسبی مچ دست را تا شانه ها ، لگن و زانو بررسی کنیم. با دانستن اینکه بازیکن درست یا چپ دست است ، می توان به درستی تشخیص داد که یک نوسان خاص فورهند ، پشت سر است یا سرو.

برای اینکه کاربر بتواند نوسان خود را بایک بازیکن حرفه ای ، ما باید نوع چرخش ، قد بازیکن ، دست و غیره را در نظر بگیریم و نوع چرخش و دستی را که قبلاً پوشش داده ایم. برای حل مسئله با تفاوت در ارتفاع ، ما نوسان کاربر و حرفه ای را در یک مختصات یکسان شروع می کنیم ، که این نوسان را به راحتی قابل مقایسه می کند و بازخورد ارزشمندی را برای کاربر ارائه می دهد.

پردازش و بازخورد

پس از بارگذاری ویدیوی ضبط شده توسط کاربر ، پردازش روی سرور انجام می شود. برای یک کلیپ 30 ثانیه ای ، که بیش از اندازه کافی برای یک چرخش فورهند است ، ما توانستیم خروجی را در عرض یک دقیقه پردازش کرده و برگردانیم.

در حالت ایده آل ، ما بازخورد بلادرنگ را می خواهیم. به اصطلاح تشخیص و برآورد دستگاه ، راهی عالی برای انجام این کار است. با عرضه هرچه بیشتر دستگاه های تلفن همراه ، اکنون می توان از مدلهای یادگیری ماشین به طور مستقیم در تلفن استفاده کرد. ما به استفاده از tensorflow lite ، که برای دستگاه های تلفن همراه ساخته شده است ، پرداختیم ، اما پس از آزمایش با "tf.js" برای برآورد ژست روی دستگاه ، تصمیم گرفتیم آن را رها کنیم. نتایج به سادگی قابل اعتماد نبودند تا بازخورد مفیدی به بازیکن بدهند.

در اینجا نمونه ای از تجزیه و تحلیل پیش دستی آورده شده است. تجزیه و تحلیل بازخورد کاربر را در مورد حالت و چرخش ارائه می دهد:

پیشرفتهای بیشتر

در مجموع ما از آنچه با نمونه اولیه به دست آوردیم بسیار خوشحال بودیم. با این حال ، چند مورد را می توان بهبود بخشید ، مانند تشخیص روی دستگاه برای بهبود سوار شدن کاربر و کالیبراسیون قرار دادن دوربین. ما همچنین می خواهیم تجزیه و تحلیل خود را با انواع چرخشی بیشتر ، مانند سرو ، درات شات و والی گسترش دهیم. قدرت دستگاه های امروزی همراه با کتابخانه های باز و در دسترس فرصت هایی را ایجاد می کند که ما چند سال پیش نداشتیم. ما مشتاق هستیم که این فناوری را در آینده نیز ادامه دهیم.

خاطرات فنی: Neuralink آماده برای آزمایش مغز و کامپیوتر رابط (BCI)

جایگزین ایمن چینی برای CRISPR ، اولین خودروی خورشیدی دوربرد ، ربات های کوچک و Qudits

پس از حدود دو سال وقفه ، آینده نگرانه ایلان ماسک شرکت فناوری ، که با چشم اندازی از اجازه به مغز برای برقراری ارتباط با ماشین ها و در نهایت ارائه…

شروع به کار کرد