Afstudeeropdracht Mohamed Abdelhady – Agile Eye

My name is Mohamed, I study robotics and mechatronics at the University of Twente in Enschede. I had the opportunity to complete an internship at VIRO Hengelo as a part of my MSc programme.

My main task was to develop a computer vision software component for the Agile-Eye set-up, a parallel manipulator with 3 rotational degrees of freedom. So this means using the camera in the end effector to detect, track and if possibly recognize interesting objects in the scene. To achieve this, several parts need to be integrated together. Starting with a reading of the video feed from the camera, followed by image processing to reduce the effect of noise and illumination changes and then applying object detection and segmentation techniques. Finally, the locations of the detected objects are used to command the Agile-Eye to move and follow the objects.

Successful tracking and recognition of single or multiple faces and marked objects was accomplished by the end of my work after what I can only describe as a great learning experience.

I would like to acknowledge that I have learnt a great deal from my discussions with colleagues in the department and from meetings with my supervisor dr. ir. Theo de Vries.

I was also given the freedom to explore solutions to the different challenges, which helped me shape the outcome and gain a strong feeling of ownership towards it.

Over de Agile Eye
De Agile Eye is een sferische parallelle manipulator met drie rotatievrijheidsgraden, als eerste bedacht en gebouwd door het Laboratoire de Robotique de l’Université Laval in Canada. VIRO heeft een eigen variant ontwikkeld, waarbij de armen met behulp van 3D printing zijn geproduceerd. Drie elektromotoren drijven het mechanisme aan. De manipulator is in staat om bijvoorbeeld een camera met hoge snelheid en precisie te oriënteren, waarbij een zeer grote hoekverdraaiing mogelijk is. Met behulp van software voor beeldbewerking kunnen objecten in de ruimte herkend worden; als de objecten bewegen, krijgt het mechanisme opdracht om ze te volgen. Deze eigenschappen maken de Agile Eye vergelijkbaar met het menselijk oog.