Request for Comments - Augmented Reality Benchmark

Here is a crazy thought - is the industry mature enough for an AR benchmark? Specifically I thought such a benchmark should cover the following two topics:

  • Comparing the performance of AR frameworks (such as Qualcomm's AR SDK, Samsung SARI, etc.) using a given set of tests. 
  • Comparing the performance of devices using a given set of AR tests.
Which leads to the following questions, I'll be glad hearing your thoughts about them (in the comments, on twitter, or via email, whatever!):
  • Will such a benchmark be beneficial to any one? Interesting?
  • What tests should the benchmark include? The main problem here is that test should be easily recreated and yet meaningful. We can test "tracking success" by tracking an on screen marker that is transformed by code (to account for change in lights, motion blur, noise and other effects, which can be hard to accurately recreate using a real physical marker).
  • Would any one of you volunteer to run those tests? I don't have access to lots of AR capable devices, so unless you would like to sponsor me (i.e. buy me an iPad2), I count on the volunteers to run the actual tests and report back.
  • How about benchmarking AR applications? Does it make sense?

38 comments:

Gary Hayes said...

A quick reply:

Yes benchmarking is good and at different levels - consumer experience, developer level performance.

Be worth knowing what is defined as AR here - just recognising images and markers ? Might be worth looking at performance of GPS integration/locking and so on.

But overall hard to do as the tech is changing so fast that any benchmark will be outdated as it is published in such an immature area -

One thing I would like to see is much more on consumer experience across locative, recognition apps and devices...particularly the experiences on dedicated builds Q sdk, string, Sari etc: vs browser based more limited experiences...also which devices particularly android are best for AR and so on -

Sorry just a quick response in middle of other things...hopefully others will chip in with more thought through responses :)

Joey1058 said...

You have benchmarks only as far as early adopters will provide feedback. There are still those of us holding out for something better. Of course what that something better is, remains a separate debate.

Anonymous said...

quick respond. just waste time as they said earlier, for now, focus on implementation how to use in our daily life, until the market accept it then we talk benchmark

Anonymous said...

AR paradigm is clearly overpriced. So you learned to map the points and triangulate. Great. So what?

حكيم نور01201726286 said...


شركة نظافة عامة بالرياض
شركة تنظيف فلل بالرياض
شركة جلى بلاط بالرياض
شركة تنظيف شقق بالرياض
شركة مكافحة حشرات بالرياض
شركة مكافحة نمل ابيض بالرياض
شركة السعد لخدمات التنظيف
شركة تتنظيف بالدمام
شركة تنظيف فلل بالدمام
شركة تنظيف شقق بالدمام
شركة تنظيف خزانات بالدمام
شركة تنظيف ستائر بالدمام
شركة مكافحة حشرات بالدمام
شركة رش مبيدات بالدمام
شركة عزل اسطح بالدمام
شركة مكافحة حشرات بالدمام
شركة السعد لخدمات التنظيف
شركة تنظيف بجدة
شركة تنظيف فلل بجدة
شركة تنظيف شقق بجدة
شركة مكافحة حشرات بجدة
شركة نقل اثاث بجدة
شركة رش مبيدات بجدة
شركة عزل خزانات بجدة
شركة تسليك بيارات بجدة
شركة السعد لخدمات التنظيف
شركة تنظيف بمكة
شركة تنظيف فلل بمكة
شركة تنظيف شقق بمكة
شركة مكافحة حشرات بمكة
شركة رش مبيدات بمكة
شركة تنظيف خزانات بمكة
شركة عزل خزانات بمكة
شركة الصفاء للخدمات التنظيف

حكيم نور01201726286 said...

شركة الانوار للخدمات التنظيف
شركة تنظيف بجده
شركة تنظيف شقق بجده
شركة تنظيف فلل بجده
شركة تنظيف خزانات بجده
شركة عزل اسطح بجده
شركة عزل خزانات بجده
شركة تنظيف مجالس لجده
شركة رش مبيدات بجده
مكافحة صراصير المطبخ
شركة رش مبيدات بأبها
شركة تنظيف بأبها
شركة تنظيف شقق بأبها
شركة تنظيف فلل بأبها

حكيم نور01201726286 said...

شركة نقل اثاث بجده
شركة تنظيف بالمدينه المنوره
شركة تنظيف فلل بالمدينه المنوره
شركة تنظيف شقق بالمدينه المنوره
شركة نقل اثاث بالمدينه المنوره
شركة تنظيف عفش بالمدينه المنوره
شركة رش مبيدات بالمدينه المنوره
شركة تنظيف فنادق بالمدينه المنوره
شركة كشف تسربات المياه بجدة
شركة السعد لخدمات التنظيف
شركة تسليك مجارى بالرياض
شركة الانوار للخدمات التنظيف
شركة الصفاء للخدمات التنظيف
حشرات
نقل اثاث قى الرياض
نقل

حكيم نور01201726286 said...


شركة زهره المملكه
شركة تنظيف بابها
شركة تنظيف بيوت بابها
شركة تنظيف خزانات بابها
شركة تنظيف شقق بابها
شركة تنظيف فلل بابها
شركة تنظيف فصور بابها
شركة تنظيف مجالس بابها
شركة تنظيف مساجد بابها
شركة تنظيف موكيت بابها
شركة رش مبيدات بابها
شركةعزل خزانات بابها
شركه كشف تسربات بابها
شركه مكافحه حشرات بابها
شركه نقل اثاث بابها
شركه نقل عفش بابها

حكيم نور01201726286 said...


شركة تتنظيف بالمدينة المنورة
شركة تنظيف فلل بالمدينة المنورة
شركة تنظيف قصور بالمدينة المنورة
شركة تنظيف شقق بالمدينة المنورة
شركة تنظيف منازل بالمدينة المنورة
شركة تنظيف مجالس بالمدينة المنورة
شركة تنظيف مسابح بالمدينة المنورة
شركة تنظيف واجهات بالمدينة المنورة
شركة تنظيف خزانات بالمدينة المنورة
شركة جلى بلاط بالمدينة المنورة
شركة ترميم فلل بالمدينة المنورة
شركة مكافحة حشرات بالمدينة المنورة
شركة رش مبيدات بالمدينة المنورة
شركة مكافحة نمل ابيض بالمدينة المنورة
شركة نقل عفش بالمدينة المنورة
شركة نقل اثاث بالمدينة المنورة
شركة عزل اسطح بالمدينة المنورة
شركة عزل حمامات بالمدينة المنورة
شركة عزل خزانات بالمدينة المنورة
شركة تسليك مجارى بالمدينة المنورة
شركة كشف تسربات المياة بالمدينة المنورة
شركة شفط بيارات بالمدينة المنورة
شركة تنظيف مساجد بالمدينة المنوره
شركة تنظيف كنب المدينة المنورة

Jacob martin said...

Good way of telling, good post to take facts regarding my presentation subject matter, which i am going to deliver in my college
Online Medical Assignment Help

Matlab Assignment Helper said...

Hello, thanks for taking the time to view my profile. I am an academic writer from the US who enjoys finding new topics to research and write about.
Online Matlab Project Help

Stats Key said...

Get the dissertation writing service students look for these days with the prime focus being creating a well researched and lively content on any topic.
Histogram Statistics Help

case study said...

Mike Jasson is an academic writer of the Accounting Assignment Help. Who writes quality academic papers for students to help them in accomplishing their goals.
Case Study Homework Help

Operations Management said...

I personally like your post, you have shared good article. It will help me in great deal.
Operations Management Assignment Help

Academic Services said...

Are you looking for Cheap Essay Writing Service, stand out from our competition as the prime essay service provider.
More to visit:http://www.academicessaywritingservices.org/

Ahmed Lotfi said...

كشف تسربات المياه
تسربات المياه
شركة تسربات بالرياض
شركه كشف تسربات المياه
عزل الاسطح
شركه عزل اسطح
شركه عزل مائى
شركه عزل الاسطح
عزل خزانات
شركه عزل خزانات
شركه عزل مسابح
شركه نقل اثاث بالرياض
شركه نقل عفش بالرياض
شركه نقل اثاث
شركه نقل عفش
شركه نقل
شركه تخزين اثاث
شركه تخزين عفش
مكافحة حشرات
شركه رش مبيدات
مكافحة حشرات بالرياض
نظافه عامه
شركه نظافه عامه
شركه تنظيف بالرياض
شركه تنظيف

Abedo Ahmed said...

شركة مكافحة حشرات بالدمام
افضل شركة تنظيف بابها
شركة كشف تسربات المياه بالرياض
شركة تنظيف فلل بابها
شركة مكافحة حشرات بابها
تسليك مجارى بالدمام
شركة تنظيف بالدمام
شركة تنظيف منازل بالرياض
شركة كشف تسربات بالدمام


Academic Services said...

Are you looking for Case Study Writing Service, stand out from our competition as the prime essay service provider.
More to visit:http://www.academicessaywritingservices.org/research-paper.php

Alex Jones said...

I enjoy a couple of from the Information which has been written, and particularly the comments posted I will definitely be visiting again. Hw Help
Homework Help

Alex Jones said...


This is awesome post, thanks for this useful information think this will helps other, keep posting for update us.
Assignment Help Online
Assignment Help

stacy jhon said...

This post has unique features and amazing information thanks.
Case Study Writing Service

مصمم جرافيك | مصمم مواقع | مسوق الكترونى | تصميم مواقع | تسويق الكتروني said...

freelance graphic designer in Dubai
شركة تصميم مواقع
شركة تسويق الكتروني
شركات تسويق الكترونى فى مصر
مصمم جرافيك
مصمم مواقع
مسوق الكترونى
تصميم شعارات
مصمم شعارات
كشف تسربات المياه بالرياض
كشف تسربات المياه
عزل مائي وحراري
اخصائي تغذية
https://www.o2websitesoultion-egypt.com
https://www.almutlaqi.com

Michael Jones said...

I would like to thank you for the efforts you have made in writing this article. I am hoping the same best work from you in the future as well. . Assignment Help

David Paul said...

Current Limiting Assignment and Online Homework Help & Project Help Many general-purpose power supplies are equipped with short-circuit or overload protection.
Current Limiting Electronics Assignment Help

Stats Key said...

SPSS Stats Homework, assignment and Project Help, SPSS Homework Help It is a statistical software that is used in the discipline of statistics in order to evaluate the data or statistics.

Wilson Larrie said...

MATLAB Assignment and Matlab Homework Help MATLAB Assignment Help The purpose of our tutorial service is to give a simple introduction to the mathematical applications MATLAB.

Mike Jasson said...

Accounting Dissertation Help Homework Help, Dissertation Accounting Help Finance Homework and Project of financial management Accounting Dissertation Help It is important for the students.

Alex Conner said...

Physics Homework Help is available for Physics Projects and Homework and assignments.

safa and Marwa said...

وادي الذئاب لمكافحة الحشرات ورش المبيدات بالدمام والمنطقة الشرقية تقدم افضل خدمات مكافحة الحشرات ورش المبيدات بالدمام والخبر والجبيل والاحساء والقطيف والتي تقدمه من خلال اقوي المبيدات وافضل العمالة الماهرة وذات الخبرة العالية بمجال مكافحة الحشرات ورش المبيدات
شركة مكافحة حشرات بالدمام
شركة مكافحة حشرات بالخبر
شركة مكافحة حشرات بالاحساء

safa and Marwa said...

خدمات شركة المثالي جروب بالجبيل والخاصة بجميع خدمات الدعم المنزلي والتي تقدمها من خلال افضل العمالة الماهرة وارخص الاسعار
شركة تنظيف بالجبيل
شركة كشف تسربات المياة بالجبيل
شركة شفط بيارات بالجبيل
شركة تنظيف خزانات بالجبيل
شركة تنظيف شقق بالجبيل
شركة مكافحة حشرات بالجبيل
شركة رش مبيدات بالجبيل
شركة نقل عفش بالجبيل
شركة تنظيف مطاعم بالجبيل
شركة مكافحة فئران بالجبيل
شركة تنظيف مسابح بالجبيل
شركة تنظيف مجالس بالجبيل
شركة تنظيف منازل بالاحساء
شركة تنظيف مسابح بالاحساء
شركة تنظيف شقق بلاحساء
شركة نقل عفش بالاحساء
شركة تنظيف خزانات بالاحساء
شركة تسليك مجاري بالاحساء
شركة شفط بيارات بالاحساء
شركة كشف تسربات المياة بالاحساء

safa and Marwa said...

خدمات شركة الصفا والمروه بمدينة الجبر
شركة تنظيف بالخبر
شركة مكافحة النمل الابيض بالخبر
شركة تنظيف خزانات بالخبر
شركة نقل اثاث بالخبر
شركة كشف تسربات المياة بالخبر
شركة مكافحة النمل الابيض بالخبر
شركة تسليك مجاري بالخبر

خدمات شركة الصفا والمروه بمدينةالجبيل
شركة تنظيف منازل بالجبيل
شركة مكافحة النمل الابيض بالجبيل
شركة تسليك مجاري بالجبيل
شركة كشف تسربات المياة بالجبيل

خدمات شركة الصفا والمروه بمدينة الاحساء
شركة تنظيف بالاحساء
شركة تسليك مجاري بالاحساء
شركة كشف تسربات المياة بالاحساء
شركة مكافحة النمل الابيض بالاحساء

تقدم ايضا شركة الصفا والمروه خدمة تسليك المجاري بالاستعاة بكافة الامكانيات الحديثة والقدرة العالية علي اعطاء افضل الخدمات
شركة تسليك مجاري بالرياض
شركة تسليك مجاري بجدة
شركة تسليك مجاري بتبوك
شركة تسليك مجاري ببقيق
شركة تسليك مجاري بالطائف
شركة تسليك مجاري بالباحة
شركة تسليك مجاري بالخفجي
شركة تسليك مجاري بعنك-سيهات
شركة تسليك مجاري بالنعيرية
شركة مكافحة النمل الابيض بالخبر

safa and Marwa said...


شركة الصفا والمروه لخدمات التنظيف تقدم افضل خدمات الدعم المنزلي بجميع مدن المنطقة الشرقية من خلال افضل الامكانيات الحديثة والعمالة الاهرة وكذالك ارخص الاسعار
شركة الصفا والمروه لخدمات التنظيف
شركة تنظيف بالدمام
شركة تنظيف منازل بالدمام
شركة تنظيف خزانات بالدمام
شركة تنظيف مجالس بالدمام
شركة نقل عفش بالدمام
شركة رش مبيدات بالدمام
شركة تسليك مجاري بالدمام
شركة تنظيف شقق بالدمام
شركة تنظيف فلل بالدمام
شركة مكافحة حشرات بالدمام
شركة كشف تسربات المياة بالدمام


خدمات شركة الصفا والمروه بمدينة القطيف
شركة تنظيف بالقطيف
شركة تنظيف خزانات بالقطيف
شركة تسليك مجاري بالقطيف
شركة مكافحة النمل الابيض بالقطيف
شركة كشف تسربات المياة بالقطيف
شركة نقل عفش بالقطيف

Michael Jones said...

I am glad it was an enjoyable experience for you. I think that you should definitely do it again sometime and hopefully I will be able to make it to that one.. Assignment Help

Michael Jones said...

Truly, this article is really one of the very best in the history of articles. I am a antique ’Article’ collector and I sometimes read some new articles if I find them interesting.
Assignment Help

Tarek Ahmed said...

شركة كشف تسربات المياة بالدمام
شركة كشف تسربات المياة بالخبر
شركة كشف تسربات المياة بالجبيل
شركة كشف تسربات المياة بالقطيف
شركة كشف تسربات المياة بالاحساء
شركة كشف تسربات المياة بتبوك

شركة كشف تسربات المياة بالدمام
شركة كشف تسربات المياة بالجبيل
شركة كشف تسربات المياة بالاحساء

Michael Jones said...

Truly, this article is really one of the very best in the history of articles. I am a antique ’Article’ collector and I sometimes read some new articles if I find them interesting.
MBA Assignment Help

Michael Jones said...

I would like to thank you for the efforts you have made in writing this article. I am hoping the same best work from you in the future as well. . Buy spects frames online

Elsa Manley said...

Our professionals click here review your paper thoroughly to make it ideal.

Post a Comment