Kami telah berevolusi selama jutaan tahun untuk merasakan dunia di sekitar kita. Ketika kita menghadapi sesuatu, seseorang atau beberapa tempat, kita menggunakan lima indra kita alami untuk melihat informasi tentang hal itu, informasi yang membantu kita membuat keputusan dan memilih tindakan yang tepat untuk mengambil. Tapi bisa dibilang informasi yang paling berguna yang dapat membantu kita membuat keputusan yang tepat tidak dipahami secara alami dengan indera kita lima, yaitu data, informasi dan pengetahuan bahwa manusia telah terakumulasi tentang segala sesuatu dan yang semakin semua tersedia secara online. Meskipun miniaturisasi perangkat komputasi memungkinkan kita untuk membawa komputer di saku kita, menjaga kita terus terhubung dengan dunia digital, tidak ada hubungan antara perangkat digital dan interaksi kita dengan dunia fisik. Informasi terbatas secara tradisional di atas kertas atau digital di layar. SixthSense menjembatani kesenjangan ini, membawa berwujud, informasi digital ke dunia nyata, dan memungkinkan kita untuk berinteraksi dengan informasi ini melalui gerakan tangan alami. 'SixthSense' membebaskan informasi dari batas-batas yang dengan mulus mengintegrasikannya dengan realitas, dan dengan demikian membuat seluruh dunia komputer Anda.

The SixthSense prototipe terdiri dari saku proyektor, cermin dan kamera. Komponen perangkat keras yang digabungkan dalam liontin seperti perangkat dpt dipakai mobile. Kedua proyektor dan kamera terhubung ke perangkat komputasi mobile di saku pengguna. Proyektor proyek informasi visual yang memungkinkan permukaan, dinding dan benda-benda fisik di sekitar kita untuk digunakan sebagai antarmuka, sedangkan kamera mengakui dan melacak gerakan tangan pengguna dan benda-benda fisik dengan menggunakan teknik berbasis komputer-visi. Program perangkat lunak memproses aliran data video yang diambil oleh kamera dan melacak lokasi dari spidol berwarna (fiducials pelacakan visual) di ujung jari pengguna menggunakan teknik komputer-visi yang sederhana. Gerakan dan pengaturan fiducials ini diinterpretasikan ke gerakan yang bertindak sebagai petunjuk interaksi untuk proyeksi aplikasi antarmuka. Jumlah maksimum jari dilacak hanya dibatasi oleh jumlah fiducials unik, sehingga SixthSense juga mendukung interaksi multi-touch dan multi-user.

The SixthSense prototipe mengimplementasikan beberapa aplikasi yang menunjukkan kegunaan, kelayakan dan fleksibilitas dari sistem. Aplikasi peta memungkinkan pengguna menavigasi sebuah peta yang ditampilkan pada permukaan terdekat menggunakan gerakan tangan, mirip dengan gerakan yang didukung oleh sistem berbasis Multi-Touch, membiarkan pengguna zoom in, zoom out atau panci menggunakan gerakan tangan intuitif. Aplikasi menggambar memungkinkan pengguna menggambar di permukaan apapun dengan melacak gerakan ujung jari telunjuk pengguna. SixthSense juga mengakui gerakan freehand pengguna (postur). Sebagai contoh, sistem SixthSense mengimplementasikan kamera gestural yang mengambil foto dari adegan pengguna melihat dengan mendeteksi 'framing' isyarat. Pengguna dapat mampir setiap permukaan atau dinding dan membolak-balik foto dia / dia telah diambil. SixthSense juga memungkinkan ikon menarik pengguna atau simbol di udara dengan menggunakan gerakan jari telunjuk dan mengakui simbol-simbol sebagai petunjuk interaksi. Misalnya, menggambar simbol kaca pembesar membawa pengguna ke aplikasi peta atau menggambar sebuah '@' simbol memungkinkan pengguna memeriksa surat-suratnya. Sistem SixthSense juga menambah objek fisik pengguna berinteraksi dengan dengan memproyeksikan informasi tentang obyek diproyeksikan pada mereka. Misalnya, surat kabar dapat menampilkan berita video langsung atau informasi dinamis dapat diberikan pada selembar kertas biasa. Gerakan menggambar sebuah lingkaran di pergelangan tangan pengguna memproyeksikan jam analog.