કલ્પના કરો કે તમને એક જૂનો કૌટુંબિક ફોટોગ્રાફ મળે છે જે સમય જતાં ઝાંખો પડી ગયો છે. ચહેરા ધૂંધળા થઈ ગયા છે અને કાર્ડબોર્ડ આલ્બમમાં વિતાવેલા વર્ષોની ઘણી વિગતો ભૂંસાઈ ગઈ છે. પરંપરાગત રીતે આવી છબીને પુનઃસ્થાપિત કરવા માટે સખત મહેનત અથવા હજારો ઉદાહરણો પર તાલીમ પામેલા વિશિષ્ટ સોફ્ટવેરની જરૂર પડે છે.

માનવ ચહેરામાં આંખો, મોં, નાક, વાળની રેખા અને ત્વચાની રચના જેવી વિગતો હોય છે, જે ઓળખ અને અર્થઘટન માટે જરૂરી છે. જ્યારે કોઈ ઈમેજ ખરાબ થઈ જાય છે, ત્યારે આવી વિગતોને ચોકસાઈપૂર્વક પુનઃપ્રાપ્ત કરવી મુશ્કેલ બને છે. ઈમેજ રિસ્ટોરેશન સિસ્ટમ માત્ર ઈમેજને વધુ શાર્પ દેખાડવા પૂરતી મર્યાદિત ન હોવી જોઈએ; તેણે ઈમેજમાં રહેલા લોકોના ચહેરાની રચના અને તેમની ઓળખ પણ જાળવી રાખવી જોઈએ. વધુમાં, વાસ્તવિક દુનિયાની ઈમેજોમાં એકસાથે અનેક સમસ્યાઓ હોઈ શકે છે, જેમ કે નોઈઝ (ઉદાહરણ તરીકે, તેજસ્વિતા અથવા રંગમાં થતી અનિયમિત ભિન્નતાઓ), ગુમ થયેલા ભાગો, બ્લરિંગ અને કમ્પ્રેશન આર્ટિફેક્ટ્સ (ફાઇલનું કદ ઘટાડવા માટે ઈમેજને વારંવાર સંકુચિત ફોર્મેટમાં સેવ કરવાથી થતી દૃશ્ય વિકૃતિઓ). તેને ઘણા જટિલ ટુકડાઓ ધરાવતા દૃશ્યાત્મક કોયડાને ઉકેલવા તરીકે વિચારો!

કૃત્રિમ બુદ્ધિમત્તા (AI) આધારિત ઈમેજ રિસ્ટોરેશનની ઘણી વર્તમાન પદ્ધતિઓ સુપરવાઇઝ્ડ લર્નિંગ પર ખૂબ આધાર રાખે છે. તેમાં જોડાયેલી ઈમેજોના મોટા સંગ્રહનો ઉપયોગ કરવામાં આવે છે, જેમાં દરેક જોડીમાં એક સ્વચ્છ ઈમેજ અને એક કૃત્રિમ રીતે બગાડેલી ઈમેજ હોય છે (ટ્રેનિંગ સેટ). આ પદ્ધતિ અસરકારક હોવા છતાં તેની કેટલીક મર્યાદાઓ છે. દરેક સંભવિત પ્રકારના નુકસાન માટે યોગ્ય ટ્રેનિંગ ડેટાસેટ એકત્રિત કરવું ખર્ચાળ છે અને ઘણીવાર અશક્ય પણ હોય છે. વધુમાં, અગાઉ ઉલ્લેખ કર્યા મુજબ, વાસ્તવિક દુનિયાની ઈમેજોમાં એકસાથે અનેક પ્રકારની ડિગ્રેડેશન જોવા મળી શકે છે, જેના કારણે એવી પરિસ્થિતિઓ ઊભી થાય છે જે ટ્રેનિંગ દરમિયાન ઉપયોગમાં લેવાયેલી ઈમેજોથી નોંધપાત્ર રીતે અલગ હોય છે.

શું એક એવું ટૂલ હોઈ શકે જે ચહેરાને આપમેળે પુનઃનિર્માણ કરી શકે, ભલે તેણે પહેલાં આવી ક્ષતિગ્રસ્ત ઈમેજ ન જોઈ હોય? ઈન્ડિયન ઈન્સ્ટિટ્યૂટ ઓફ ટેકનોલોજી ગાંધીનગર (IITGN) અને ઈન્ડિયન ઈન્સ્ટિટ્યૂટ ઓફ ટેકનોલોજી બીએચયુ (IIT BHU) ના સંશોધકોએ 'જનરેટિવ લેટેન્ટ ઇન્વર્ઝન ફોર બ્લાઇન્ડ ફેસ રિસ્ટોરેશન' (GenR) વિકસાવ્યું છે. આ એક એઆઈ-સંચાલિત ફેસ રિસ્ટોરેશન ફ્રેમવર્ક છે જેમાં પેર-ટ્રેનિંગ ડેટાની જરૂર પડતી નથી. આ અભ્યાસ 'પેટર્ન રેકગ્નિશન લેટર્સ'માં પ્રકાશિત થયો હતો.

GenR એ StyleGAN3-આધારિત ઇન્વર્ઝન પર કામ કરે છે. StyleGAN3 એ એક શક્તિશાળી AI છે જે કોડને ચિત્રમાં રૂપાંતરિત કરીને અત્યંત વાસ્તવિક છબીઓ જનરેટ કરે છે. StyleGAN3-આધારિત ઇન્વર્ઝનમાં રિવર્સ પ્રક્રિયા થાય છે: ચોક્કસ ચિત્રને પુનઃનિર્માણ કરવા માટે કયા કોડની જરૂર છે તે નક્કી કરવામાં આવે છે. જૂના સિક્યુરિટી કેમેરા દ્વારા કેપ્ચર કરાયેલા ધૂંધળા ફોટામાંથી પણ GenR હાઇ-ડેફિનેશન ચહેરો તૈયાર કરવાની ક્ષમતા ધરાવે છે, જેનો ઉપયોગ પોલીસ ફેસિયલ રેકગ્નિશન સોફ્ટવેરમાં કરી શકે છે.

GenRમાં ત્રણ તબક્કાની ઓપ્ટિમાઇઝેશન પ્રક્રિયા શામેલ છે. મોડેલ વૈશ્વિક માળખું અને ઓળખ/પોઝ જેવી વ્યાપક વિશેષતાઓને કેપ્ચર કરવાથી શરૂ થાય છે. ત્યારબાદ તે આંખો, નાક અને જડબાની રેખા જેવા ચોક્કસ ઘટકોને સુધારે છે. અંતે, તે ત્વચા, વાળ અને અન્ય સૂક્ષ્મ દ્રશ્ય સુવિધાઓ પર ધ્યાન કેન્દ્રિત કરે છે.

"મોડેલ ક્ષતિગ્રસ્ત ઈમેજને સુધારવાના પ્રયાસમાં મૂળ ચહેરા સાથે સુસંગત ન હોય તેવી વિગતો ઉમેરી દે તેવી શક્યતા રહે છે. જેને ઓવરફિટિંગ કહેવાય છે. GenRમાં આ જોખમને ઘટાડવા માટે નિયંત્રિત રીતે પ્રક્રિયા આગળ વધારવામાં આવે છે," તેમ IITGN ના કમ્પ્યુટર સાયન્સ એન્ડ એન્જિનિયરિંગ વિભાગના ચોથા વર્ષના પીએચડી વિદ્યાર્થી અને આ અભ્યાસના પ્રથમ લેખક અકબર અલીએ જણાવ્યું હતું.

ટીમે ચાર અલગ-અલગ ઈમેજ રિસ્ટોરેશન કાર્યો પર ટૂલની કામગીરીનું મૂલ્યાંકન કર્યું:

● ડી-નોઈઝિંગ: રેન્ડમ વિઝ્યુઅલ નોઈઝ દૂર કરવો;

● અપસેમ્પલિંગ: લો-રિઝોલ્યુશન ઈમેજને શાર્પ વર્ઝનમાં રૂપાંતરિત કરવી;

 ● ઈનપેઈન્ટિંગ: ગુમ થયેલા ભાગોને સુધારીને રિયાલિસ્ટીક લુક આપવો; અને

● ડીઆર્ટિફેક્ટિંગ: બ્લર અને પિક્સેલેશન સુધારીને ગુણવત્તા વધારવી.

પરિણામો દર્શાવે છે કે એકલ કાર્યો માટે પાઇપલાઇને લગભગ 30 સેકન્ડમાં સ્વચ્છ ઈમેજ તૈયાર કરી હતી, જે હાલની અગ્રણી પદ્ધતિઓમાં સૌથી ઝડપી છે.

જો કે, જો મૂળ ઈમેજ ખૂબ જ ખરાબ હોય તો ક્યારેક આ ટૂલ મૂળ વ્યક્તિ સાથે ન મળતી હોય તેવી છબી પણ જનરેટ કરી શકે છે. સંભવિત ઉપયોગોમાં ઐતિહાસિક ફોટોગ્રાફ્સ/ફિલ્મ ફૂટેજ જાળવવા, ફોરેન્સિક એનાલિસિસ, વીડિયો કોન્ફરન્સિંગ અને સોશિયલ મીડિયા પ્લેટફોર્મ્સનો સમાવેશ થાય છે.

CSE વિભાગના પ્રોફેસર અને હેડ ડૉ. શણમુગનાથન રમણે જણાવ્યું હતું કે, "GenR બ્લાઇન્ડ ફેસ રિસ્ટોરેશનમાં એક નોંધપાત્ર પ્રગતિ દર્શાવે છે. તે પરંપરાગત સુપરવાઇઝ્ડ પદ્ધતિઓનો ડેટા-કાર્યક્ષમ વિકલ્પ પૂરો પાડે છે. આ ફ્રેમવર્ક પરંપરાગત સુપરવાઇઝ્ડ પદ્ધતિઓના બદલે વધુ અનુકૂળ અને ઓછા ડેટાની જરૂરિયાત ધરાવતો વિકલ્પ પ્રદાન કરે છે તે જોવું રસપ્રદ હતું. GenR જેવી સિસ્ટમો ઈમેજોને ફરી જીવંત કરવામાં મહત્વપૂર્ણ ભૂમિકા ભજવી શકે છે. ભવિષ્યમાં વધુ મજબૂત અને વિવિધ પરિસ્થિતિઓમાં સારી રીતે કાર્ય કરી શકે તેવા મોડેલો વિકસાવવા પર ધ્યાન કેન્દ્રિત કરી શકાય છે.”

ડૉ. રમણ કમ્પ્યુટર સાયન્સ એન્ડ એન્જિનિયરિંગ (CSE) અને ઇલેક્ટ્રિકલ એન્જિનિયરિંગ વિભાગમાં પ્રોફેસર છે. તેઓ CSE વિભાગના વડા અને ટર વિઝન, ઇમેજિંગ અને ગ્રાફિક્સ (CVIG) લેબોરેટરીમાં પ્રિન્સિપલ ઇન્વેસ્ટિગેટર પણ છે. ટીમમાં IIT BHUના કમ્પ્યુટર સાયન્સ એન્ડ એન્જિનિયરિંગ વિભાગના આસિસ્ટન્ટ પ્રોફેસર ડૉ. ઇન્દ્ર દીપ મસ્તાન પણ સામેલ હતા.

 

પ્રોફેસર રમણ ટેક્સ્ટ-ટુ-વિડિયો જનરેશન પરના એક અભ્યાસનો પણ ભાગ હતા, જે 2026 IEEE/CVF વિન્ટર કોન્ફરન્સ ઓન એપ્લિકેશન્સ ઓફ કમ્પ્યુટર વિઝન પ્રોસિડિંગ્સમાં પ્રકાશિત થયો છે. આ કાર્ય ટેક્સ્ટમાંથી વીડિયો જનરેટ કરવા માટે ટ્રેનિંગ-ફ્રી અભિગમ રજૂ કરે છે.

કલ્પના કરો કે તમે AIને આ પ્રોમ્પ્ટના આધારે એક વીડિયો બનાવવાનું કહો: “એક છોકરી હાથમાં ગુલાબી રંગનો ફુગ્ગો લઈને પાર્કમાં દોડે છે અને ઝાડની પાસે બેઠેલા ભૂરા રંગના બિલાડીના બચ્ચાને જુએ છે.” પરંપરાગત સિસ્ટમ સારો વીડિયો બનાવી શકે છે, પરંતુ તેમાં કેટલીક વિગતો અસંગત હોઈ શકે છે. જેમ કે, ફુગ્ગાનો રંગ ગુલાબીમાંથી વાદળી થઈ જાય અથવા ઝાડ અદૃશ્ય થઈ જાય. આવું એટલા માટે થાય છે કે જ્યારે પ્રોમ્પ્ટમાં અનેક વસ્તુઓ અથવા ખ્યાલો હોય છે, ત્યારે AI સમય જતાં તેમાંથી કોઈ એક પર પૂરતું ધ્યાન ન આપી શકે. પરિણામે, બનાવવામાં આવેલા દૃશ્યમાં સંબંધિત વસ્તુમાં ફેરફાર થઈ શકે છે. આ સમસ્યાના સંભવિત ઉકેલ તરીકે, સંશોધકોએ Video-ASTAR નામની નવી પદ્ધતિ રજૂ કરી છે. તેનો હેતુ ગુલાબી ફુગ્ગા જેવી દૃશ્યમાન વસ્તુઓને પ્રોમ્પ્ટમાં તેનું વર્ણન કરતા શબ્દો સાથે જોડાયેલી રાખવાનો છે.

આમાં દરેક ફ્રેમમાં અલગ-અલગ વસ્તુઓ અને તેમની વચ્ચેના સંબંધો પર નજર રાખવામાં આવે છે, જેથી ઘણી બધી વિગતોને કારણે મૂંઝવણ ઊભી ન થાય અને બનાવવામાં આવેલો વીડિયો મૂળ વર્ણનને અનુરૂપ રહે. ટીમમાં IITGNના CVIG લેબના પોસ્ટડોક્ટરલ ફેલો ડૉ. પ્રજ્વલ સિંહ તેમજ ભારતની એડોબ રિસર્ચના સંશોધન વૈજ્ઞાનિકો ડૉ. કુલદીપ કુલકર્ણી અને ડૉ. હર્ષ રંગવાની પણ સામેલ હતા.

19 ઓગસ્ટના વિશ્વ ફોટોગ્રાફી દિવસની નજીક પહોંચતા, GenR જેવી નવીનતાઓ દૃશ્ય સ્મૃતિઓને જાળવવામાં AI આધારિત સાધનોની મહત્વપૂર્ણ ભૂમિકા પર પ્રકાશ પાડે છે. આવા સાધનો રાષ્ટ્રીય અને વૈશ્વિક સ્તરે ડિજિટલ વારસાના સંરક્ષણના પ્રયાસોને સમર્થન આપી શકે છે. આ કાર્ય ભારત સરકારના IndiaAI મિશન અને ડિજિટલ ઈન્ડિયા કાર્યક્રમના દૃષ્ટિકોણ સાથે સુસંગત છે. તે UNESCOના મેમરી ઓફ ધ વર્લ્ડ ઇનિશિયેટિવ સાથે પણ સુસંગત છે, જે એ વાત પર ભાર મૂકે છે કે વિશ્વનો દસ્તાવેજી વારસો સૌનો છે અને સૌ માટે તેનું સંરક્ષણ થવું જોઈએ.

બીજી તરફ, Video-ASTAR જેવી સિસ્ટમો એવી દૃશ્ય સ્મૃતિઓના નિર્માણમાં AIની ભૂમિકાને દર્શાવે છે, જેના માટે ક્યારેય કોઈ ફોટોગ્રાફ લેવામાં આવ્યો ન હતો. કલ્પના કરો કે એક દાદા પોતાના પૌત્ર-પૌત્રીઓને કહે છે કે જ્યારે તેઓ પાંચ વર્ષના હતા ત્યારે તેઓ પોતાના દાદા સાથે સંતાકૂકડી કેવી રીતે રમતા હતા. આ બાળકો પાસે તેમના પરદાદા કેવી રીતે કપડાં પહેરતા, ચાલતા કે વાત કરતા હતા તેનો કોઈ દૃશ્ય પુરાવો નથી. આવી સ્થિતિમાં, ટેક્સ્ટ-ટુ-વીડિયો સાધન વિગતવાર વર્ણનને દૃશ્ય સ્વરૂપમાં અનુમાનિત રીતે રજૂ કરી શકે છે, જેથી પૌત્ર-પૌત્રીઓને તેમના દાદાની સ્મૃતિમાં જ રહેલી બાબતોની એક ઝલક મળી શકે. આ રીતે, સ્મૃતિઓના દૃશ્ય સ્વરૂપો પેઢી દર પેઢી આગળ વધારી શકાય છે. તેથી, AI બંને દિશામાં મદદરૂપ થઈ શકે છે: આપણને વારસામાં મળેલી ઈમેજોને સાચવવામાં મદદ કરવી અને એવી સ્મૃતિઓને પણ દૃશ્ય સ્વરૂપ આપવું, જેના માટે અગાઉ કોઈ દૃશ્ય સ્વરૂપ અસ્તિત્વમાં ન હતું.

લેખકોએ અભ્યાસ 1 માટે વિશ્વેશ્વરૈયા PhD સ્કીમ અને અભ્યાસ 2 માટે પ્રાઇમ મિનિસ્ટર રિસર્ચ રિસર્ચ તથા જીબાબેન પટેલ ચેર ઇન આર્ટિફિશિયલ ઇન્ટેલિજન્સ તરફથી મળેલા સહયોગનો સ્વીકાર કર્યો છે. વધુમાં, અભ્યાસ 2 ડૉ. પ્રજ્વલ સિંહની Adobe ખાતેની ઇન્ટર્નશિપનો એક ભાગ હતો.

SM/BS/GP

સોશિયલ મીડિયા પર અમને ફોલો કરો :  @PIBAhmedabad    /pibahmedabad1964    /pibahmedabad  pibahmedabad1964[at]gmail[dot]com

(रिलीज़ आईडी: 2300721) आगंतुक पटल : 38