શું યંત્રમાનવો માણસજાતને ગુલામ અને રાંક બનાવી દેશે?

ઉત્કૃષ્ટ અને ભવ્ય બુદ્ધિનાં મશીનો હવે માનવીને મા'ત આપવા આવી રહ્યાં છે.
  • કવર સ્ટોરી – વિનોદ પંડ્યા

ઊથલપાથલ એ સૃષ્ટિનો અનિવાર્ય ક્રમ છે. પરિવર્તન અનિવાર્ય છે તો તેની સાથે તાલ કેમ બેસાડવો તે વ્યવસ્થા જરૃરી બને છે. તેનો વિરોધ કરવાથી સમાજ સામે નવા સમયમાં જૂના બનવાનું જોખમ પેદા થાય છે. સમાજને અમેરિકા બનવાનું પસંદ પડે છે, અફઘાનિસ્તાન બનવાનું નહીં. અહીં આપણે આર્ટિફિસિયલ ઇન્ટેલિજન્સની માનવી પર થનારી વાસ્તવિક અસરોની ચર્ચા કરવાની છે. કૃત્રિમ બુદ્ધિનાં મશીનોનાં વર્તમાન અને ભવિષ્ય તપાસવાનાં છે.

ઉત્કૃષ્ટ અને ભવ્ય બુદ્ધિનાં મશીનો હવે માનવીને મા’ત આપવા આવી રહ્યાં છે. તેઓ માનવી કરતાં સુપિરિયર હશે, માનવીનું કોઈ વજૂદ નહીં રહે અને તેઓ માણસજાત પર કબજો જમાવશે એવી ભીતિ છેલ્લાં થોડાં વરસોથી સાર્વત્રિક વ્યક્ત થઈ રહી છે. અનેક પુસ્તકો તે મુદ્દા પર લખાયાં છે. વરસ ૨૦૦૦માં મિલેનિયમ બદલાવાનું હતું. વરસ ૨૦૦૦ના આંકડા માટેનાં મીંડાંની વ્યવસ્થા આપણા કમ્પ્યૂટરોમાં કરાઈ નથી તેથી ઇન્ટરનેટ અને કમ્પ્યૂટરો બંધ પડી જશે એવો ભય સાર્વત્રિક ફેલાયો હતો. બે હજાર બેસવાની સાથે ઊડતાં વિમાનો પડી જશે એવાં એવાં ખતરનાક ભવિષ્યકથનો થયાં હતાં, પણ એમાનું કશું જ અમંગળ બન્યું નહીં. સમાજની એક ટેન્ડેન્સી રહી છે કે આવનાર ખતરાને અનેકગણો મોટો કરીને બતાવવો જેથી લોકો વધુ સાવધ બને. આ સંદર્ભમાં સુપર-ઇન્ટેલિજન્ટ મશીનો અથવા આર્ટિફિસિયલ ઇન્ટેલિજન્સ (કૃત્રિમ બુદ્ધિ)નો જે ભય વ્યક્ત થઈ રહ્યો છે તે વાજબી  છે કે કેમ? તે જાણવું જરૃરી બની રહે છે.

વર્તમાન સમયમાં પણ આપણી આસપાસ જોવા મળે છે કે માણસો જે કામો કરતાં હતા તે મશીનોેએ સંભાળી લીધા છે. ફલતઃ નોકરીઓનું પ્રમાણ ઘટી રહ્યું છે. સરકાર સમક્ષ એ પ્રાણપ્રશ્ન છે કે ધંધા નોકરીઓનું મશીનીકરણ કેટલી હદે થવા દેવું? ઊથલપાથલ એ સૃષ્ટિનો અનિવાર્ય ક્રમ છે. નવી વ્યવસ્થામાં નવા ક્રમો પણ ગોઠવાઈ જાય છે. પરિવર્તન અનિવાર્ય છે તો તેની સાથે તાલ કેમ બેસાડવો તે વ્યવસ્થા જરૃરી બને છે. તેનો વિરોધ કરવાથી સમાજ સામે નવા સમયમાં જૂના બનવાનું જોખમ પેદા થાય છે. સમાજને અમેરિકા બનવાનું પસંદ પડે છે, અફઘાનિસ્તાન બનવાનું નહીં. અહીં આપણે આર્ટિફિસિયલ ઇન્ટેલિજન્સની માનવી પર થનારી વાસ્તવિક અસરોની ચર્ચા કરવાની છે. કૃત્રિમ બુદ્ધિનાં મશીનોનાં વર્તમાન અને ભવિષ્ય તપાસવાનાં છે.

આજકાલ સર્વત્ર એઆઇની ચર્ચા ચાલી છે. પરિષદોમાં, કૉન્ફરન્સોમાં, પુસ્તકો અને લેખોમાં ભયાવહ ભવિષ્ય જણાવતાં આંકડાઓ ટાંકવામાં આવી રહ્યા છે. પૈસા લઈને સોલ્યુશનો અને સલાહ આપતી પેઢીઓ ખૂલી ગઈ છે. સરકારી એજન્સીઓ ચિંતામાં છે. નોકરી રોજગારીના ક્ષેત્રે કયામત આવી રહી છે એમ કહેવાઈ રહ્યું છે. કેન્દ્રીય પ્રધાન નીતિન ગડકરીએ ચેતવણી ઉચ્ચારી છે કે મશીનીકરણ વધવાનું છે અને તેમાં રોજગારીઓ ઘટવાની છે માટે યુવકોએ સરકાર પર આધાર રાખવાને બદલે પોતાની મેળે નવી તકો ઊભી કરવી. (જેમ કે પકોડા તળવા કે પાન વેચવા)

વરસ ૨૦૧૩માં ઑક્સફર્ડ યુનિવર્સિટીના બે શિક્ષાવિદો કાર્લ બેનેડિક્ટ ફ્રે અને માઇકલ ઓસબોર્ન દ્વારા એક અભ્યાસપત્ર પ્રસિદ્ધ કરવામાં આવ્યો હતો. તેમાં ભાખવામાં આવ્યું હતું કે, વરસ ૨૦૩૦ સુધીમાં અમેરિકામાં ૪૭ ટકા (લગભગ અરધોઅરધ) નોકરીઓ અને કામો માનવીના હાથમાંથી છીનવાઈ જશે અને મશીનોના (લોખંડના) હાથમાં જતાં રહેશે. માણસની બુદ્ધિને બદલે મશીનોની બુદ્ધિ એ કામો પાર પાડશે. ત્યાર બાદ લગભગ ચાર હજારથી વધુ પેપરોમાં આ આંકડાઓનો ઉલ્લેખ થતો રહે છે.

એ પણ હકીકત છે કે પાઇલટ વગર વિમાનો ઊડી રહ્યાં છે. વધુ અને વધુ મોટરકારો, ટ્રકો દોડતી થશે, ડ્રોન વિમાનો દ્વારા માલસામાનની ડિલિવરી અપાય છે, મશીનો પરફેક્ટ સર્જરી (વાઢકાપ) કરી આપે છે, નિદાન કરે છે અને દવાઓનું સૂચન કરે છે, રૉબોટ મશીનો યુદ્ધમાં લડવા પહોંચવાના છે, એ માણસની સુખ સુવિધાઓની તમામ પ્રકારની ચીજવસ્તુઓનું નિર્માણ કરી રહ્યા છે, ત્યાં સુધી કે મોટા રૉબોટ બીજા મોટા રૉબોટોનું નિર્માણ કરી રહ્યા છે, ઘરનાં સાધનો ચલાવે છે, ફોન જોડી આપે છે, રસોઈ બનાવી આપે છે, સેક્રેટરીની જવાબદારીઓ સંભાળી લે છે. પ્રેમ કરવા સિવાય માણસ પાસે કરવાનાં કયા કામો હવે બાકી રહ્યાં? પણ આપણો અનુભવ કહે છે કે જ્યારે જ્યારે નવી ટૅક્નોલોજીઓ વ્યવહારમાં આવી ત્યારે જૂની ટૅક્નોલોજીઓ અને તેમાં સંકળાયેલાં લોકોનાં કામકાજ જરૃર બંધ પડી ગયાં છે, પણ સાથે નવા લોકો માટે નવાં કામોની તકો પણ પેદા થઈ છે. આજે ફેક્સ સર્વિસ કે એસટીડીવાળા રહ્યા નથી, પણ મોબાઇલ ફોન, વેચાણ અને સર્વિસનો ધંધો કેવડો મોટા પાયે ખીલ્યો છે! એક બારી બંધ થાય તો નવી ખૂલે છે, પણ કયામતની આગાહીઓ કરનારા કહે છે કે આવું હંમેશાં નહીં બને. મશીનીકરણ વ્યાપક બનશે પછી માનવીઓ રોજગારી વગરના નકામા બની જશે. બેઉ બાજુ દલીલો ચાલી રહી છે.

ગયા વરસે બેન્ક ઓફ ઇંગ્લેડના મુખ્ય અર્થશાસ્ત્રી એન્ડી હોલડેને ચેતવણી જાહેર કરી હતી કે વસતિનો ખૂબ મોટો સમૂહ ટૅક્નોલોજિકલી બેરોજગાર અથવા નોકરી માટે ગેરલાયક બની જશે. એમનું કહેવું છે કે યાંત્રીકરણ અને કૃત્રિમ બુદ્ધિ મળીને જે ચોથી ઔદ્યોગિક ક્રાન્તિ આવી રહી છે તે લોકોના કામધંધાઓમાં મોટી ઊથલપાથલ મચાવશે. અગાઉની ત્રણ ક્રાન્તિઓમાં જોવા નથી મળી એવી ઊથલપાથલ ચોથીમાં જોવા મળશે. રૉબોટ તમામ કામો કરશે. લોકો પાસે ફુરસદ અને નવરાશનો ઘણો સમય હશે, પણ સાથે અઢળક બેરોજગારી હશે.

દાવોસ ખાતે દર વરસે યોજાતી વર્લ્ડ ઇકોનોમિક ફોરમની વાર્ષિક પરિષદોમાં પણ આવી ચેતવણીઓ ઘણા સમયથી વ્યક્ત થાય છે. બેસ્ટસેલર બુકોમાં મનહૂસ અને અમંગળ ભવિષ્યવાણીઓ થઈ છે. તે મુજબ સમાજ બે વિભાગોમાં વહેંચાઈ જશે. એક ધન અને રૉબોટ વડે ચાલતું ધનિકોનું તંત્ર હશે અને બીજો વર્ગ નોકરીઓ અને રોજગાર વગર બનેલા દબાયેલા-કચડાયેલા લોકોનો વર્ગ હશે. દમનકારી સરકારોએ સામાજિક તણાવને કાબૂમાં રાખવાના ખાસ પ્રયત્નો કરવા પડશે. જોકે આ ભવિષ્ય પંદર-વીસ વરસમાં સાકાર થાય એવી કોઈ શક્યતા નથી. શક્ય છે કે સમાજ પોતે જ એવાં કારણોનું મારણ શોધી કાઢશે. છતાં એ વાતનો ઇનકાર થઈ ના શકે કે મશીનોનો માર પડવાનો છે. કહે છે કે તેની સૌથી વિપરીત અસર બિનકુશળ અને મોટી ઉંમરના કામદારો પર પડશે. એ સમયે કુશળ કામદાર માટેના માપદંડ ઊંચા અને જુદા હશે.

વરસ ૨૦૧૭માં મેકિન્સી ગ્લોબલ ઇન્સ્ટિટ્યૂટ સંસ્થાએ ભાખ્યું હતું કે દુનિયાના ૪૬ દેશોના ૮૦ કરોડ લોકો, મતલબ કે દુનિયાના કુલ વર્કફોર્સના ત્રીજા ભાગના લોકોની નોકરીઓ ૨૦૩૦ સુધીમાં મશીનો આંચકી લેશે. જે પ્રવૃત્તિમાં એક સરખા કામનું સતત પુનરાવર્તન થતું હોય તે માટે મશીનો (ઑટોમેશન) તૈયાર કરવાનું સહેલું છે.  તે કામોમાં ખાસ કુશળતાની પણ જરૃર હોતી નથી. આથી મોટી ઉંમરના, જેઓ આજે કદાચ યુવાન હોય, તેવા વર્કરો પર સૌથી પ્રથમ ખરાબ અસર પડશે. આગળ જેનો ઉલ્લેખ કર્યો તે ઑક્સફર્ડના શિક્ષણવિદોએ બેરોજગારી પેદા થવાના જોખમની ગણતરી માંડવાની એક ફોર્મ્યુલા ઘડી કાઢી છે. મર્સર નામની એક સલાહકાર સંસ્થાએ એ ફોર્મ્યુલા વડે જોખમની ગણતરી કરી છે. તે મુજબ ૫૦થી મોટી ઉંમરના ચીનના ૭૫ ટકા વર્કરોના રોજગારો કે કામ રૉબોટ સંભાળી લેશે. અમેરિકામાં મોટી ઉંમરના અડધાથી વધુ વર્કરો તેમજ જર્મની અને ઇટાલીમાં લગભગ સાઠ સાઠ ટકા લોકો કામ ગુમાવશે.

અહીં એ હકીકત ધ્યાનમાં રાખવી પડે કે આ ચોથી ઔદ્યોગિક ક્રાન્તિ એક સાથે, આવતી કાલે કે આવતા વરસે આવી પડવાની નથી. તેનું ધીરે-ધીરે ક્રમશઃ આગમન થશે. તેથી કુલ અસર વીસથી પચ્ચીસ વરસ બાદ જાણી શકાય. મેસેચ્યુસેટ્સ ઇન્સ્ટિટ્યૂટ ઓફ ટૅક્નોલોજી (એમઆઈટી)ના પ્રોફેસર રોડની બ્રુકસે ગયા વરસે જાહેર કર્યું હતું કે હાલમાં જે ટેક્સીઓ ચાલે છે તેની જગ્યાએ ડ્રાઇવર વગરની ટેક્સીઓ ૨૦૩૨ની પહેલાં દોડતી નહીં થાય. ત્યાં સુધી ડ્રાઇવરો જ ટેક્સી ચલાવતા હશે. આ ઉપરાંત પગથિયાં ચડી ઊતરી શકે અને સામાન્ય ઘરમાં હરીફરી શકે તેવા રૉબોટ (યંત્રમાનવ) ૨૦૩૫ પછી વ્યાપક બનશે, તે અગાઉ નહીં. જોકે ૨૦૨૦ના દશક કૃત્રિમ બુદ્ધિથી સજ્જ યંત્રમાનવો ધીમે ધીમે ઉદ્યોગોમાં ફેલાતા જશે અને કેટલાંક કામો સંભાળી લેશે, પરંતુ તે ખૂબ ઊંચી કિંમતના મોંઘા હશે, તેમ જ માનવીય વિવેકબુદ્ધિ અને સંવેદના અને લાગણીઓની જરૃર પડે એવાં કામો સંભાળવા તે સક્ષમ નહીં હોય. ખાસ કરીને નર્સિંગ અને વ્યક્તિગત સંભાળનાં કામમાં રૉબોટ ખાસ સફળ થશે નહીં.

વાસ્તવમાં વિજ્ઞાન હજી માનવીના મગજને પૂરેપૂરું જાણી શક્યું નથી. મગજ કેવી રીતે શિખે છે તેનું માણસને હજી જ્ઞાન નથી. બેસ્ટસેલર લેખકોએ મગજને એક સાદું મશીન માની લીધું હોય એ રીતે ભવિષ્યવાણીઓ કરી રહ્યા છે. કયામતની ચેતવણીઓ આપે તો એમનાં પુસ્તકો વધારે વેચાય. સનસનાટી સમજો. મગજ કરતાં મશીનોની ક્ષમતા વધી જશે એવું સાદું સમીકરણ તેઓએ પકડ્યું, પણ મશીનોમાં ભાવના નથી. આત્મા નથી. મગજ અને ચેતના બંને જુદા હોય તેવા પુરાવા પણ મળે છે. એ ચેતના, આત્મા બુદ્ધિ અલગ-અલગ અંગો છે કે એક છે તે કહેવું મુશ્કેલ છે, પણ ઘણા લોકો જન્મતાની સાથે બુદ્ધિ લઈને આવે છે. જ્ઞાન લઈને આવે છે. બહારનાં પર્યાવરણ કે બહારની દુનિયામાંથી સંકેતો વડે બુદ્ધિ કે આત્મા મગજમાં જ્ઞાન ભરે છે કે કેમ તે કહેવું મુશ્કેલ છે, પણ પ્રાણીઓનાં વર્તન કહે છે કે કોઈએ શિખવ્યું ના હોય તો પણ પ્રાણીઓ જ્ઞાન, જાણકારી અને પ્રબળ લાગણીઓ કે ભાવનાઓ ધરાવતાં હોય છે. હમણા સમાચાર આવ્યા કે નર શ્વાન માદા સાથે બોલતી રમત રમે તેમાં માદા ખુશ રહે તે માટે જાણી જોઈને હારી જતો હોય છે. આવી તો અસંખ્ય બાબતો આ વસુંધરા પર જોવા મળે છે. મશીનોમાં આ બધું આણવું હોય તો પ્રથમ તો માણસ એ ભાવનાઓ અને બુદ્ધિના વૈજ્ઞાનિક આધાર બાબતમાં, મૂળ બાબતમાં પૂર્ણપણે જાણકાર હોવો જોઈએ, જે એ નથી. યંત્રો માણસની રોજગારી છીનવી લેશે એ ચિંતા થોડાઘણા અંશે સાચી લાગે છે, પણ ઉત્તમ બુદ્ધિનાં સુપર મશીનો માનવીને ગુલામ અને કંગાળ બનાવી દેશે એવી ચેતવણીઓમાં કોઈ બુદ્ધિ જણાતી નથી. વળી, જૂનો અનુભવ કહે છે કે ઔદ્યોગિક ક્રાન્તિઓમાં મશીનો જ વધુ ને વધુ કામ કરતાં થયાં તો પણ એ ક્રાન્તિઓને કારણે વિકાસદર ઝડપી બન્યો હતો. ઓવરઓલ માણસ વધુ સુખી બન્યો હતો.

સમાચારોને બરાબર સમજવામાં ના આવ્યા તેથી કૃત્રિમ બુદ્ધિ વિશેની ચિંતાઓ વધુ ચગી. કેટલાક લોકોનાં નિવેદનો અને કેટલાક પ્રસંગોએ તેમાં બિનજરૃરી વધારો કર્યો. ૩૧ જુલાઈ, ૨૦૧૭ના રોજ જગતભરના મીડિયામાં ફેસબુકના રૉબોટ વિષે ખબરો ફેલાઈ અને આર્ટિફિસિયલ ઇન્ટેલિજન્સ બાબતમાં ચિંતાઓ શરૃ થઈ. સમાચાર એ હતા કે, ‘ફેસબુક કંપનીના બે આર્ટિફિસિયલ ઇન્ટેલિજન્ટ રૉબોટે પોતે વિકસાવેલી ગુપ્ત ભાષામાં અંદરોઅંદર વાતચીત કરવા માંડી તેથી તેઓને બંધ કરી દેવા પડ્યા.’ અહેવાલમાં જણાવ્યું હતું કે, ‘ચેટબોટ તરીકે વિકસાવેલા એ બે એઆઇ પ્રોગ્રામ કોઈ વિચિત્ર ભાષામાં અંદરોઅંદર વાત કરી રહ્યા હતા, જે કોઈ માણસ સમજી શકે  એવી (કમ્પ્યૂટર) ભાષા ન હતી. આ ચેટબોટોએ તેઓ જે અંગ્રેજી શબ્દો જાણતા હતા તેમાંથી પોતાની એક ભાષા રચી હતી. જે લોકોએ આ ચેટબોટને પ્રોગ્રામ કર્યા હતા તેઓ એ ભાષાનો અર્થ સમજી શક્યા ન હતા. ચેટબોટોએ અંદરોઅંદર જે વાત કરી તેની ટ્રાન્સક્રિપ્ટ પણ જાહેર કરવામાં આવી હતી.

ફેસબુકના સંશોધકો આ ચેટબોટ્સને ગ્રાહકો સાથે વાટાઘાટો અને ભાવતાલ કરવાનું શિખવાડવા માગતા હતા. તેઓએ સાચી રીતે વિચાર્યું હતું કે ચેટબોટ્સ આ કુશળતા પ્રાપ્ત કરશે તો માનવીઓ જોડે સંવાદ સાધી શકશે. તેઓએ એક સાદી ગેઇમ તૈયાર કરી જેમાં આ બંને પ્લેયરો (ચેટબોટ્સ)એ પોતાની વચ્ચે ટોપીઓ, બોલ, પુસ્તકોના કલેક્શનની વહેંચણી કરવાની હતી. સૌ પ્રથમ, સંશોધકોએ, માનવીઓ વચ્ચે અગાઉ રમાયેલી હજારો મેચોમાં રમતી વખતે જે સંવાદો બોલાયા હોય તે આ બંનેને ફીડ કર્યા. ભાષા દ્વારા વાટાઘાટોની વૃત્તિ અને શૈલી ચેટબોટ્સમાં વિકસાવવાની હતી. ચેટબોટ્સ ટ્રાયલ અને એરરની ટૅક્નિકથી પોતાની રીતે પણ શિખે તેવું આયોજન એ પ્રોગ્રામમાં હતું. વધુ ને વધુ પોઇન્ટ સ્કોર કરવાનો લક્ષ્યાંક રખાતો હતો, પણ આ આખા વ્યાયામનું જે પરિણામ આવ્યું તે વિચિત્ર અને ચોંકાવનારું હતું. ફેસબુકના રિસર્ચરોએ એમ કહીને વાત પતાવી દીધી કે બંને ચેટબોટ્સના પેરામીટર્સ અપડેટ કર્યા બાદ તેઓ માનવીય ભાષાને બદલે કોઈ જુદી જ ભાષા પર ચડી ગયા. બંને પ્રોગ્રામ (મશીન) વચ્ચેના સંવાદનું લખાણ જાહેર કરાયું છે, જેમાં શબ્દો સમજાય છે, પણ તેઓને જોડીને તૈયાર થયેલાં વાક્યો માનવી સમજી ના શકે તેવાં છે, પણ એ મશીનો જરૃર સમજી શકતાં હશે, તેથી જ બોબ અને એબીસ (એ ચેટબોટ્સને અપાયેલાં નામ છે) વચ્ચેના સંવાદો આગળ ચાલે છે. જોકે આ બંનેને માત્ર સમજી શકાય તેવા અંગ્રેજીમાં ચેટ કરવાની સૂચના અપાઈ ન હતી તેથી તેઓએ સૂચનાઓનો ભંગ કર્યો છે તેમ કહી ન શકાય. હું અને તું પર ભાર આપીને તેઓ જે વાત કરી રહ્યા હતા તેમાં બંને ભાવતાલ કરી રહ્યા હશે તેમ સમજવામાં આવી રહ્યું છે.

ફેસબુકે આ બોટ્સને બંધ કરી દીધા છે અને તે માટે કારણ આપ્યું કે, ‘અમારો હેતુ લોકો સાથે વાતચીત કરે તેવા બોટ્સ વિકસાવવાનો હતો.’ પરંતુ મીડિયામાં સનસનાટી ફેલાઈ ગઈ કે, ‘ફેસબુકના એઆઇ દ્વારા પોતાની ખાનગી, ગુપ્ત ભાષા તૈયાર કરવામાં આવી’ વગેરે વગેરે. હવે ચેટબોટ્સ પોતાની ખાનગી ભાષા તૈયાર કરે ત્યારે એઆઇનું ભવિષ્ય કેવું ચમત્કારિક હશે તેની જ કલ્પના થઈ આવે. એઆઈ વડે આવી રહેલી કયામતનાં ફળકથનો ભાખનારા (ડૂમસેયર્સ) લોકોને જોઈતું હતું તે મળી ગયું. તેઓની અમંગળ ભવિષ્યવાણી સાચી પડી રહી છે તે કહેવા માટે પ્રમાણ મળી ગયું, પણ એઆઇ દ્વારા નવી ભાષા તૈયાર કરવામાં આવી હોય તેવી આ પ્રથમ ઘટના ન હતી. ગૂગલ દ્વારા ગયા વરસે ખુલાસો કરવામાં આવ્યો હતો કે ભાષાંતર માટે ગૂગલ જે એઆઇનો ઉપયોગ કરે છે તે એઆઇ (કૃત્રિમ બુદ્ધિ) દ્વારા પોતાની જ ભાષા રચવામાં આવી છે અને તે અનુવાદનું કામ પણ પોતાની એ જ ભાષામાં કરે છે, પરંતુ આ અનુવાદો અને તેની ભાષા ઓકે જણાયાં છે તેથી તે ચાલુ રખાયાં છે. મતલબ કે તે એઆઇ ગૂગલના નિષ્ણાતો ઇચ્છતા હતા તે મુજબ તરજુમો કરવાને બદલે પોતાની રીતે કરે છે. તેનો એ અર્થ થયો કે મશીનો પોતાની બુદ્ધિ પણ ચલાવી શકે છે. આવા પ્રકારના અનુભવો અન્ય સંસ્થાઓને પણ થયા છે. એઆઇ ક્ષેત્રમાં સંશોધન કરી રહેલા ‘ઓપનએઆઇ’ નામના ગ્રૂપે એમના સોફ્ટવેર બોટ્સને નવેસરથી સૂચનાઓ આપવી પડી હતી કે તેઓ સામેના એજન્ટ સાથે હરીફાઈ કરવાને બદલે સહકાર સાધવાની વૃત્તિ રાખે. ‘રિઇન્ફોર્સડ્ લર્નિંગ’ ટૅક્નિક દ્વારા મૂળ શિક્ષણ એઆઇના ભેજામાં વધુ મજબૂત રીતે ઉતારવામાં આવે છે. ઑક્ટોબર, ૨૦૧૭માં ગૂગલની માલિકીના આર્ટિફિસિયલ ઇન્ટેલિજન્સ ગ્રૂપ ‘ડીપમાઇન્ડ’ દ્વારા ‘અલ્ફાગો ઝીરો’ નામના ગેઇમ પ્રોગ્રામની અદ્યતન આવૃત્તિ લોન્ચ થઈ હતી.

આ પ્રોગ્રામમાં ચીનની ‘ગો’ નામની બોર્ડ ગેઇમ માટેનું ત્રણ હજાર વરસનું જ્ઞાન ડીપમાઇન્ડે આત્મસાત કરી લીધું હતું. આ પ્રાચીન ગેઇમ શિસ્ત, એકાગ્રતા અને સમતુલા શિખવાડે છે. ડીપમાઇન્ડે આ જ્ઞાનના આધારે, કોઈ માનવીય મદદ વગર રમતની કેટલીક નવીન અને અસરદાર મૂવ્સ (ચાલ) પણ શોધી કાઢી હતી. માત્રક તેને રમતના નિયમો જણાવવામાં આવ્યા હતા અને આ તમામ વિધિઓમાં અથવા રમવા માટે તૈયાર થવામાં ડીપમાઇન્ડને માત્ર ત્રણ દિવસ જ લાગ્યા. આટલી ઝડપથી નવી બુદ્ધિ પ્રાપ્ત કરી તેને વપરાશમાં મુકી શકે તો એઆઇ માટેનો બધો નહીં તો પણ અમુક ડર વાજબી પણ લાગે છે. માત્ર થોડા સમયમાં લાખો અને કરોડો વખત નિયમ પ્રમાણે જાતે રમત રમીને ડીપમાઇન્ડે તે આત્મસાત કરી લીધી હતી. આ એક માનવામાં ના આવે તેવી બુદ્ધિશક્તિ ગણાય. આલ્ફાગોની ૨૦૧૬ની આવૃત્તિએ આ રમતના ચાઇનીઝ માસ્ટર કેજીને ૩-૧થી હરાવી દીધો હતો. ૨૦૧૭નો આલ્ફાગો ઝીરો આવૃત્તિએ ૨૦૧૬ની આવૃત્તિને ૧૦૦-૦ના સ્કોરથી હરાવી દીધી હતી. તમામ સો વખત ૨૦૧૬ની રમત આવૃત્તિ હારી ગઈ હતી. તેનો અર્થ એ થયો કે જે કોયડા કે પ્રોબ્લેમ્સ માનવી ઉકેલી નથી શકતો તે જાતે શિખી લેતાં મશીનો ઉકેલી આપે છે. ‘ઓપનએઆઇ’ના કેસમાં રૉબોટ્સ આપસમાં સહકાર સાધવાનું અને ટ્રાયલ એન્ડ એરર અજમાવીને આપસમાં વાત કરવાનું આપમેળે શિખી ગયા હતા. તેઓએ પોતાની ભાષા તૈયાર કરી અને સંશોધકો તેઓને વધુ અઘરું કામ આપતા ગયા તો તેઓએ જે ભાષા તૈયાર કરી તે પણ ક્રમશઃ અઘરી બનતી ગઈ.

રૉબોટ્સની આવી શક્તિઓ જોઈને સંશોધકો હવે એક ભાષાંતરકાર (અનુવાદક) રૉબોટ તૈયાર કરવા માગે છે જે રૉબોટની આપસની ભાષાનું માનવીની સમજ માટે ભાષાંતર કરી આપે. તેઓની ભાષા વડે તેઓના અનુભવ અને તેઓની શિખવાની પ્રક્રિયા જાણીને માનવી વધુ કાર્યક્ષમ, વધુ ચડિયાતા રૉબોટ્સ તૈયાર કરી શકશે.

એઆઇ માનવજાત પર કબજો જમાવી શકશે કે કેમ? તેમજ એઆઇની માનવજાત પર બીજી શી અસરો પડશે તે મુદ્દાઓ પર જગતના વિજ્ઞાનીઓનો સમૂહ બે ભાગમાં વહેંચાઈ ગયો છે. નવી ટૅક્નોલોજીઓના ઉદ્યોગપતિ અને નિષ્ણાત ઇલોન મસ્કને એઆઈનો ભય સતાવે છે. જોકે એ કૃત્રિમ બુદ્ધિના આધારે જ ડ્રાઇવર વગર દોડતી ટેસલા કાર તૈયાર કરી રહ્યા છે. એ સ્પેસએક્સના સ્થાપક પણ છે અને આ કંપનીએ વારંવાર વાપરી શકાય તેવા રૉકેટ – એન્જિનો દુનિયામાં પ્રથમવાર તૈયાર કર્યા છે. એમણે કહ્યું હતું કે, ‘હું સૌથી અદ્યતન એઆઈ કાર્યક્રમોના સંપર્કમાં આવ્યો છું અને મને લાગે છે કે લોકોએ આ બાબતમાં ચિંતા કરવાની જરૃર છે, કારણ કે કૃત્રિમ બુદ્ધિ માનવ સંસ્કૃતિના અસ્તિત્વ સામે પાયાનું જોખમ છે.’

સામે પક્ષે ફેસબુકના માલિક માર્ક ઝુકરબર્ગ, ઇલોન મસ્કના આ ડરને બેજવાબદારી ગણાવે છે. એ  કહે છે કે, ‘જે લોકો નકારાત્મક છે અને કયામતની વાતો ચગાવવામાં જેમને રસ છે તેઓને હું સમજી શકતો નથી. એ વાતો ખરેખર નેગેટિવ છે અને બેજવાબદારીપૂર્ણ છે.’

ઘણી વખત દુનિયા પણ એ બેજવાબદારીને કે જવાબદારીને સમજ્યા વગર સાચી માની લેતી હોય છે. ૨૦૧૬માં રશિયામાં ઘટેલી ઘટના સમજવા જેવી છે. રશિયાના પર્મ શહેરની એક રિસર્ચ સંસ્થાની પ્રયોગશાળામાં ‘આઇઆર૭૭’ નામના રૉબોટની રચના કરવામાં આવી હતી. આ રૉબોટની રચના એવી રીતે કરવામાં આવી હતી કે તે મુક્તપણે એક રૃમમાં હરીફરી શકે અને ફરી પાછો મૂળ જગ્યા પર આવીને ગોઠવાઈ જાય. એણે આસપાસનું વાતાવરણ, વ્યવસ્થા અને પોતાના અનુભવોમાંથી શિખીને આ પ્રવૃત્તિઓ કરવાની હતી. વિજ્ઞાનીઓ આ રૉબોટને ટૂર ગાઇડ બનવાની તાલીમ આપી રહ્યા હતા. જૂન, ૨૦૧૬માં દુનિયાભરમાં સમાચાર ચમક્યા કે એક સંશોધક વિજ્ઞાની એ પ્રયોગશાળાના મકાનનો દરવાજો બરાબર બંધ કર્યા વગર જતા રહ્યા હતા એને એ તકનો લાભ લઈ આઈઆર૭૭ નામનો એ યંત્રમાનવ દરવાજામાંથી બહાર નીકળી ગયો અને બાજુની શેરીમાં ૪૫ મીટર સુધી આગળ ગયો. ત્યાં તેની બેટરી ખલાસ થઈ ગઈ અને રસ્તા પર ૪૦ મિનિટ સુધી પડી રહ્યો. પરિણામે ટ્રાફિક જામ થઈ ગયો. પોલીસે આવીને તેને હાથકડી પહેરાવી અને ગિરદીમાંથી દૂર લઈ ગઈ. જાણે હોલિવૂડની કોઈ સાયન્સ ફિક્શન જોતા હોઈએ તેવું દૃશ્ય સર્જાયું.

કહે છે કે આ રશિયન રૉબોટમાં મુક્ત બનીને ફરવાની તીવ્ર ઝંખના જાગી હતી. ત્યાર પછીના ઘણા સપ્તાહો સુધી એ વારંવાર દરવાજા સુધી પહોંચી જતો હતો. કહેવાય છે કે એની આ આદત છોડાવવા માટે એનું ધરમૂળથી રિપ્રોગ્રામિંગ કરવું પડ્યું હતું. એના વર્તનથી કંટાળી ગયેલા વિજ્ઞાનીઓએ એક સમયે તેને બંધ કરી દેવાનું વિચાર્યું હતું. જોકે આવી વિગતો લેબોરેટરી દ્વારા વહેતી કરવામાં આવી હોઈ શકે. દુનિયાના મોટા ભાગના વિજ્ઞાનીઓ આ ઘટનાને પબ્લિસિટી સ્ટંટ ગણાવે છે, પણ માની લો કે આ વાત હકીકત હોય તો શું રૉબોટને બુદ્ધિ મળી તેથી તેનામાં માનવીય ભાવનાઓ પણ પ્રવેશી? શું બુદ્ધિ અને ભાવના (લાગણીઓ) એક જ છે? શું તેઓની વચ્ચે સીધો સંબંધ છે? ભારતીય ઉપનિષદોમાં ‘ધી’ એટલે કે બુદ્ધિ, આત્મા અને ચેતના વિષે વિસ્તૃત ચર્ચા કરવામાં આવી છે. આવી ચર્ચા દુનિયાના બીજા કોઈ પ્રાચીન કે ધાર્મિક ગ્રંથોમાં નથી. બીજી મહત્ત્વની બાબત એ પુરવાર થાય છે કે રૉબોટ તો માણસે બનાવેલી બેટરીઓ પર ચાલવાના છે. રૉબોટ માણસજાતને ગુલાબ બનાવવાના હોય તો એમને શસ્ત્રોની જરૃર પડે. બીજા રૉબોટના નિર્માણની જરૃર પડે. એ કામ તો માણસ કરે તો જ થશે. રૉબોટ જાતે જઈને શસ્ત્રો માટે લોખંડ ખરીદી લાવવાના નથી. માણસ એની વીજળીનું બટન બંધ કરી દે તો રૉબોટ ગમે એટલો બુદ્ધિશાળી હોય તો પણ શા કામનો? હમણા તો સંભાવના એવી જણાય છે કે રૉબોટની મદદથી માનવી અકલ્પનીય સિદ્ધિઓ મેળવી શકશે. નવી દુનિયા રચી શકશે. મશીન લર્નિંગ અને ડીપ લર્નિંગ વડે ઘણા રહસ્યો પામી શકશે, પણ એ બધું રૉબોટ માણસના મદદગાર અથવા પૂરક બનીને કરશે. ઇલોન મસ્ક હંમેશાં વિજ્ઞાનમાં રહેવાને બદલે વિજ્ઞાનકથાઓ (સાયન્સ ફિક્શન)માં વધુ રાચે છે. અલબત્ત, એમણે ઘણુ કરી બતાવ્યું છે જે થિયરીમાં શક્ય હતું, પરંતુ એમના બધા જ તરંગો પુરવાર થયા નથી.

આપણે જોયું કે રશિયન વિજ્ઞાનીઓએ રૉબોટની સ્વિચ બંધ કરી દેવી પડી. સાચું ખોટું રામ જાણે, પણ જો સ્વિચ બંધ કરી દેવાય અને રૉબોટ તે સ્વિચ ચાલુ કરી શકે, આપોઆપ ચાલુ થઈ જાય તો રૉબોટથી ડરવાની જરૃર પડે. આવા સમાચાર પણ પ્રસિદ્ધ થઈ ચૂક્યા છે. ઓસ્ટ્રિયાના કર્ચડોર્ફ ખાતે એક મકાનમાલિકે ઘરમાં સાફસફાઈ માટે એક યંત્રમાનવ વસાવ્યો હતો. એક દિવસ ઘરમાલિક રૉબોટને બંધ કરી, સ્વિચ ઓફ્ કરી, કિચનના પ્લેટફોર્મ પર મુકીને ઘર બંધ કરીને બહાર જતા રહ્યા. ત્યાર બાદ રૉબોટ પોતાની મેળે ચાલુ થયો. હૉટપ્લેટ પરથી રસોઈનું વાસણ દૂર કરી, પોતે એ હૉટપ્લેટ (ચૂલા) પર ચડી ગયો અને પોતાને આગ લગાડી દીધી. એ ઘરકામ કરીને કંટાળી ગયો હતો તેથી ‘ઇરૉબોટ રૃમ્બા’ નામના એ રૉબોટે આત્મહત્યા કરી નાખી હતી. અહીં પણ એ જ સવાલ પેદા થાય કે શું બુદ્ધિને કારણે સંવેદનાઓ જન્મી હતી? આમ તો રૉબોટ એટલે ધાતુ કે પ્લાસ્ટિકનું સાધન ગણાય. તેને શા માટે કંટાળો આવ્યો? અને આત્મહત્યા કરવાથી એના કયા દુઃખ મટી ગયા? આ રિપોર્ટ અતિશયોક્તિ ભર્યો છે. એ કંઈ ચિઠ્ઠી લખીને મૂકતો ગયો નથી કે જેથી નક્કી કરી શકાય કે એણે આત્મહત્યા કરી. આવી તથાકથિત ઘટનાઓ કયામતની આગાહી કરનારાઓને મદદ કરે છે.

મશીનો જાતે શિખતાં થયાં છે. તેને દરેક તબક્કા માટે વારંવાર પ્રોગ્રામ કરવાની જરૃર પડતી નથી. ‘ડીપ લર્નિંગ’ એક એડવાન્સ્ડ ક્ષેત્ર છે જેમાં મશીન માનવીની જેમ શિખી અને વિચારી શકે છે, પણ શું તેનાથી સુખ-દુઃખ અનુભવે? આ એક મોટો કોયડો છે. શું તેઓમાં માનવી જેવી ચેતના આવી જાય? જો એમ હોય તો રૉબોટ કરતાં અમુક પ્રાણીઓ વધુ બુદ્ધિ અને સંવેદનાઓ ધરાવે છે. તેઓ ખૂબ દુઃખી થાય છે તો પણ આત્મહત્યા કરતા નથી. ક્યારેય સાંભળ્યું કે ખેતીવાડીના બળદે આત્મહત્યા કરી. બુદ્ધિ કોને કહેવી તે માટે માનવી હજી કોઈ સ્પષ્ટ વ્યાખ્યા નક્કી કરી શક્યો નથી. માનવીનું મગજ ૧૦૦ અબજ જેટલા કોષો ધરાવે છે જે ન્યુરોન તરીકે ઓળખાય છે. કરોડો વરસના અનુભવો અને ઉત્ક્રાંતિ બાદ માણસના મગજે જાતે શિખવાની પ્રક્રિયાને પરફેક્ટ બનાવી છે. એઆઇ મશીનો પણ મગજની માફક વિચારવાની પ્રક્રિયા હાથ ધરે છે. હવે ટેસલાના માલિક ઇલોન મસ્કે ‘ન્યુરાલિન્ક’ નામથી એક કંપની શરૃ કરી છે, જેનો ઉદ્દેશ્ય કોમ્પ્યુટરોને માનવીના મગજ સાથે જોડવાનો છે. આ કંપની એક બારીક જાળી તૈયાર કરી માનવીના મગજમાં તે રોપવા ધારે છે. તેનાથી મગજની શક્તિ અનેકગણી વધશે. માનવીના મગજને ક્લાઉડ સાથે જોડી દેવું એવો પણ ઉદ્દેશ્ય છે. ‘ધ સિંગ્યુલારિટી ઇઝ નીઅર’ નામના પુસ્તકના લેખક અને વિજ્ઞાનના નિષ્ણાત રે કુર્ઝવેલ માને છે કે ૨૦૩૦માં સુધીમાં માનવી તેના મગજના વિચારક હિસ્સા (નીઓકોરટેક્સ)ને ક્લાઉડ સાથે જોડવામાં સફળ થશે. એ ઘટના માનવી અને મશીનના સંયોજનની અજોડ ઘટના હશે. જો માણસ આ સ્થિતિ પ્રાપ્ત કરી શકે તો મશીનોની બુદ્ધિથી એણે ડરવાની જરૃર નથી, પણ વિજ્ઞાનીઓ ધારે છે તેમ માત્ર હવે પછીના દસ વરસમાં તે સ્થિતિ પ્રાપ્ત કરી શકાશે તે અતિશયોક્તિ ભર્યું લાગે છે. હજી સુધી માનવી ખુદ માનવીના મગજને બરાબર જાણી શક્યો નથી.

વિજ્ઞાનમાં હવે પછી શું બનશે તેની સ્પષ્ટ આગાહી કરવાનું મુશ્કેલ હોય છે. છેક ૧૮૭૧માં અમેરિકાની પેટન્ટ ઑફિસના વડા ચાર્લ્સ ડ્યુરેલે જાહેર કર્યું હતંુ કે વિજ્ઞાનમાં જે શોધ થવી જોઈએ તે થઈ ચૂકી છે. હવે (૧૮૭૧ બાદ) કોઈ નવી શોધ થવાની નથી. ત્યાર પછી શું બન્યું તે આપણે જાણીએ છીએ. ડ્યુરેલ જીવતો થઈને આવે તો આજની દુનિયા જોઈને જ ફાટી પડે. એ જ રીતે આર્ટિફિસિયલ ઇન્ટેલિજન્સ આપણને ૨૦૫૦ સુધીમાં ક્યાં લઈ જશે તે કહેવું મુશ્કેલ છે છતાં સાવ મુશ્કેલ પણ નથી. હમણાના નજીકનાં વરસોમાં કેવી સ્થિતિ હશે તે ચોક્સાઈપૂર્વક ધારી શકાય છે. સાયન્સ, ટૅક્નોલોજી, એન્જિનિયરિંગ અને ગણિતનું મહત્ત્વ વધશે. રૉબોટની વ્યાપકતા સાથે આ વિષયોની વ્યાપકતા વધશે. અમુક નિષ્ણાતો માને છે કે ઓછા માનવયંત્રો હશે તો વિકાસ ઝડપી નહીં બને માટે વધુ સંખ્યામાં રૉબોટ્સની જરૃર પડશે. મેકિન્સીનો પ્રતિષ્ઠિત અને વિશ્વસનીય ગણાતો રિપોર્ટ જણાવે છે કે કોમ્પ્યુટર સાયન્ટિસ્ટો, એન્જિનિયરો, આઇટી વહીવટકારો, આઇટી કર્મચારીઓ, ટૅક્નોલોજીના સલાહકારોની સંખ્યામાં ૨૦૩૦ સુધીમાં વૈશ્વિક સ્તરે બે કરોડથી પાંચ કરોડનો વધારો થશે. આ નોકરી વ્યવસાયોમાં માણસે નવા જ્ઞાનથી હંમેશાં અપટુડેટ રહેવું પડશે. આઇટી ક્ષેત્રમાં એનાલિસ્ટો, ડેટા એન્ટ્રી ઓપરેટરો, સિસ્ટમ એન્જિનિયરો અને ટેસ્ટ એન્જિનિયરોની જરૃર રહેશે નહીં, પરંતુ નવી નોકરીઓ જેમ કે રિસર્ચ સાયન્ટિસ્ટો, લેંગ્વેજ પ્રોસેસિંગ સ્પેશિયાલિસ્ટો, રૉબોટિક પ્રોસેસ ઑટોમેશન ડેવલપરો અને મેન-મશીન ટીમિંગ મેનેજરો જેવાં નવાં કામો પેદા થશે.

માનવીનું મગજ જન્મજાતપણે દૃશ્યો, ચિત્રો, સ્થિતિને જોવાનું, ભાષાનો અર્થ કાઢવાનું, નિષ્કર્ષ પર આવવાનું, બે ચીજો કે સ્થિતિઓ વચ્ચેનો તફાવત પારખવાનું વગેરે કાર્યો તે સ્થિતિને માત્ર જોઈ સાંભળીને કરી શકે છે, પરંતુ મશીનોએ એ પ્રકારની કુશળતા પ્રાપ્ત કરવી હોય તો વધુ ને વધુ વિશાળ ડેટાસેટની જરૃર પડે છે. એઆઇ આધારિત એ સિસ્ટમો માટે, તે સિસ્ટમોની પોતાની તાલીમ માટે કોમ્પ્યુટરવિદોએ મટીરિયલ્સ પૂરું પાડવું પડશે. તે કારણથી એઆઇ પ્રોફેશનલો ડિમાન્ડમાં રહેશે. ગાર્ટનર રિસર્ચ કંપનીનો અંદાજ છે કે આગામી થોડાં વરસમાં જ કેટલીક એન્ટ્રી લેવલની એઆઇ નોકરીઓનું કામ મશીનો સંભાળી લેશે તો પણ એઆઇ વ્યાવસાયિકોની જરૃર પડશે અને તેથી તેઓની સંખ્યા વધશે. આરોગ્ય, શિક્ષણ અને હોટેલ વ્યવસ્થાપનમાં એવા લોકોની વધુ જરૃર પડશે જેઓ વાક્ચાતુર્ય ધરાવતાં હોય, મિલનસાર હોય અને બીજા લોકોનો આત્મવિશ્વાસ વધારવાની કળા જાણતા હોય. આવા બધાં કાર્યો માટે ઇમોશનલ ઇન્ટેલિજન્સ અથવા ભાવનાશીલ બુદ્ધિની જરૃર રહે છે, જે ક્ષમતા માત્ર માનવી જ ધરાવે છે, મશીનો નહીં. સમાંતરે તબીબો અને હૉસ્પિટલો એનાલિટિકલ અને વહીવટી કામો માટે એઆઇની મદદ લેશે તેથી દરદીઓને પરવડે તેવા દામમાં સેવાઓ આપી શકશે.

માણસો પાસેથી યોગ્ય રીતે કામ લેવાની કળા જાણનારા મેનેજરો ડિમાન્ડમાં રહેશે. વિદ્યાર્થીઓને વ્યક્તિગત સલાહો અને માર્ગદર્શન આપવા માટે શિક્ષકોની જરૃર પડશે, પછી ભલે અભ્યાસક્રમો મશીનો દ્વારા ઘડવામાં આવે.

આઇટી ઉદ્યોગના મોટાં માથાં ગણાતી કંપનીઓ જેવી કે ભારતમાં ઇન્ફોસિસ, વિપ્રો, ટીસીએસ, કોગ્નિઝન્ટ, એચસીએલ વગેરેએ સ્વયંચાલિત મશીનોના ક્ષેત્રમાં પગ મૂક્યા તે વાતને હજી પાંચ વરસ નથી થયાં ત્યાં જ એમની કુલ આવકમાંથી ૩૦ ટકા જેવી માતબર આવક આ નવા એઆઇ વિભાગમાંથી મળતી થઈ છે. છેલ્લાં થોડાં વરસોથી ભારતની માતબર કંપનીઓએ એઆઇ વિભાગમાં પોતાના ખાસ પ્લેટફોર્મ શરૃ કર્યાં છે. ઇન્ફોસિસના પ્લેટફોર્મનું નામ ‘નીઆ’ છે, ટાટા કન્સલ્ટન્સીનું ‘ઇગ્નિયો’ છે, વિપ્રોનું ‘હોલ્મ્સ્’ અને એચસીએલનું ‘ડ્રાયઆઇસ’ તરીકે ઓળખાય છે. વૈશ્વિક સ્તરે એક્સેન્ચરનું ‘માય વિઝાર્ડ’ છે, આઇબીએમનું ‘વૉટ્સન’ છે અને માઇક્રોસોફ્ટનું ‘અઝર’ છે. આ બધી કંપનીઓ અને તેનાં પ્લેટફોર્મ્સ દુનિયાના ભવિષ્યને ઘડવામાં વ્યસ્ત છે. હવે પછીની જીવનની અગત્યતા અને વ્યવહારો તેઓ નક્કી કરશે અને છેવટે માનવીનું નસીબ માણસના હાથમાં રહેવા દેશે કે પછી મશીનોને સોંપી દેશે તે હવે પછીના વીસ-ત્રીસ વરસ બાદ સમજાશે. ચોથી ઔદ્યોગિક ક્રાન્તિનો આ તબક્કો માણસ જાતનાં કરોડો વરસના ઇતિહાસમાં સૌથી મહત્ત્વનો બની રહેશે.
——————————————

કવરસ્ટોરીમાનવયંત્રરોબોટવિનોદ પંડ્યા
Comments (0)
Add Comment